NVIDIA'nın ajanlar için tasarladığı ilk CPU'su Vera sevkiyata başladı

NVIDIA, Vera adını verdiği işlemcinin ölçekli sevkiyata başladığını duyurdu. Şirket bunu ajanlar için tasarlanmış ilk özel CPU'su olarak tanımlıyor.

Teknik özellikler işlemcinin ne için kurulduğunu gösteriyor: 88 özel Olympus çekirdeği ve saniyede 1,2 terabaytlık bellek bant genişliği. Şirket, ajan iş yüklerinde çekirdek başına 1,8 kat daha hızlı performans bildiriyor.

NVIDIA'nın veri merkezi gelirinin neredeyse tamamı grafik işlemcilerinden geliyor. CPU tarafına girmesinin gerekçesi, yapay zekâ iş yüklerinde darboğazın yalnızca hesaplama olmaması. Şirketin Vera için saydığı görevler bunu somutlaştırıyor: orkestrasyon, araç çağrılarının yönetimi, pekiştirmeli öğrenme iş yükleri, veri analitiği, ajanların çalıştığı kum havuzları ve uzun bağlam durum yönetimi.

Ajan iş yükleri bu açıdan eğitim iş yüklerinden farklı bir profil çiziyor. Eğitimde uzun süreli ve öngörülebilir hesaplama akışları varken, ajanlar sık sık duraklıyor, dış sistemlerle konuşuyor ve bekliyor. Bu da işlemci ile hızlandırıcı arasındaki bağın gecikmesini öne çıkarıyor. Vera bu nedenle Vera Rubin grafik işlemcisiyle NVLink-C2C üzerinden bağlanan bir birleşik sistemde kullanılıyor.

Sevkiyat takvimi de paylaşıldı. İlk teslimatlar mayıs ayında Anthropic, OpenAI, SpaceX ve Oracle Cloud Infrastructure'a yapıldı; Amazon Web Services'e teslimat 27 Ağustos'ta gerçekleşti. Oracle Cloud Infrastructure'ın bu yıldan itibaren yüz binlerce Vera işlemcisi devreye almayı planladığı belirtiliyor.