ChatGPT'nin depolama katmanı saniyede 22 milyon isteği karşılıyor

Bir yapay zekâ ürününün görünmeyen tarafı genellikle modelin kendisi değil, onu ayakta tutan altyapı. OpenAI, ChatGPT'nin depolama katmanını anlatan bir yazı dizisine başladı.

Yazının konusu Habitat adlı sistem. Başlangıçta bir Python kütüphanesi olan bileşen, bugün küresel olarak dağıtılmış bir depolama platformuna dönüşmüş durumda.

Paylaşılan ölçek rakamları sistemin büyüklüğünü gösteriyor: 1 milyar ChatGPT kullanıcısı ve saniyede 22 milyon istek. Bu hacimde bir sistemde tasarım kararları farklı bir sınıfa geçiyor; tek bir bölgedeki gecikme ya da tutarlılık tercihi doğrudan kullanıcı deneyimine yansıyor.

Bu ölçekteki sistemlerde mühendislik kararları farklı bir sınıfa geçiyor. Saniyede milyonlarca isteğe hizmet veren bir depolama katmanında, tek bir bölgedeki gecikme ya da tutarlılık tercihi doğrudan kullanıcı deneyimine yansıyor.

Sohbet ürünlerinin depolama ihtiyacı da kendine özgü. Her konuşma büyüyen bir kayıt; kullanıcı geçmişe dönebiliyor, konuşmayı sürdürebiliyor ve aynı hesaba farklı cihazlardan erişebiliyor. Bu, veriye hem hızlı hem tutarlı erişim gerektiriyor — dağıtık sistemlerde bu ikisi arasındaki gerilim temel bir tasarım problemi.

Bir kütüphaneden küresel platforma geçiş de yaygın bir örüntü. Büyük sistemlerin çoğu, iç ihtiyaç için yazılmış küçük bileşenlerin ölçek büyüdükçe yeniden kurulmasıyla ortaya çıkıyor; asıl mühendislik işi genellikle bu geçiş aşamasında yapılıyor.