Cloudflare AI Gateway'e Auto Router geldi: Her isteğe uygun model otomatik seçiliyor

Cloudflare, AI Gateway hizmeti için Auto Router adlı model yönlendirme özelliğini duyurdu. Geliştiriciler isteklerinde model adı olarak cloudflare/auto kullandığında, Auto Router her isteği görevi karşılayabilecek yetenekte bir modele otomatik olarak yönlendiriyor.

Nasıl çalışıyor?

Yönlendirme iki aşamada yapılıyor. İlk aşamada, Cloudflare'in uç ağındaki GPU'larda Workers AI üzerinde çalışan bir sınıflandırıcı model, isteği ve konuşma bağlamını inceliyor. Sınıflandırıcı isteği kodlama, planlama ve araştırma gibi 14 görev türünden birine ayırıyor; ayrıca isteğin karmaşıklığını, belirsizliğini, hata maliyetini ve önceki bağlama ne kadar bağlı olduğunu 1-5 arası puanlıyor.

İkinci aşamada sistem, beklenen kalite ile maliyeti dengeleyen bir hesaplamayla modeli seçiyor. Basit istekler daha ucuz modellere giderken, en zorlu görevlerde maliyet hesaba katılmadan en yüksek kaliteyi vermesi beklenen model tercih ediliyor.

Tasarruf ve kullanılabilirlik

Cloudflare'in kendi testlerine göre Auto Router, her isteği en güçlü modellere göndermeye kıyasla yüzde 30'a varan maliyet tasarrufu sağlıyor. Özellik şu anda herkese açık beta aşamasında ve beta süresince ücretsiz.

Model yönlendirme, yapay zekâ maliyetlerinin büyüdüğü kurumsal kullanımda öne çıkan bir yaklaşım: Her soruyu en büyük ve en pahalı modele sormak yerine, basit işleri daha küçük modellere bırakmak faturayı belirgin şekilde düşürebiliyor.