OpenAI’den Rate Limit Sonrası Yeni Dönem

OpenAI, Codex ve Sora’daki yoğun talep sonrası erişim modelini yeniden tasarladı. Şirket, kullanıcıların rate limit’e takıldığında tamamen durmak yerine kredi harcayarak devam edebileceği hibrit bir sistem geliştirdi.

Son bir yılda hem Codex hem de Sora’nın kullanımının beklentilerin ötesine geçtiği belirtiliyor. Kullanıcılar ürünü aktif biçimde kullanmaya başlıyor, değer buluyor ve ardından sistem tarafından belirlenen kullanım sınırına ulaşıyordu. OpenAI’ye göre bu “sert duruş” anları, özellikle üretim sürecinin ortasında kullanıcı deneyimini olumsuz etkiliyordu. Yeni modelde erişim bir “kapı” yerine bir “şelale” mantığıyla çalışıyor. Sistem önce ücretsiz veya plan dahilindeki rate limit’i kontrol ediyor; sınır aşıldığında ise otomatik olarak kredi bakiyesine geçiyor. Bu karar anlık olarak veriliyor ve kullanıcı herhangi bir sistem değişikliği hissetmeden çalışmaya devam edebiliyor.

OpenAI, üçüncü taraf faturalama çözümleri yerine bu sistemi kendi bünyesinde geliştirdi. Gerekçe ise gerçek zamanlı doğruluk ve denetlenebilirlik. Sistem; kullanım olaylarını, ücretlendirme kayıtlarını ve bakiye güncellemelerini ayrı veri katmanlarında tutarak her işlemin izlenebilir olmasını sağlıyor. Şirket, kısa gecikmeler pahasına “kanıtlanabilir doğruluk” ilkesini önceliklendirdiğini vurguluyor. Altyapı tarafında dağıtık bir kullanım ve bakiye sistemi kuruldu. Her istek tek bir değerlendirme yolundan geçiyor; rate limit tüketimi senkron biçimde kontrol edilirken kredi düşümleri asenkron ama izlenebilir şekilde işleniyor.

Çifte ücretlendirmeyi önlemek için idempotency anahtarları kullanılıyor ve tüm bakiye güncellemeleri atomik işlemlerle kaydediliyor. OpenAI’nin mesajı net: Kullanıcı üretim akışındayken sistem engel çıkarmamalı. Rate limit ve krediler arka planda çalışmalı, kullanıcı yalnızca üretmeye odaklanmalı. Şirket, bu altyapının gelecekte daha fazla ürüne genişletileceğini belirtiyor. Codex ve Sora ise bu dönüşümün ilk adımı.

Kaynak: Beyond Rate Limits – OpenAI