Cognition, Devin'e kendi yazdığı kodu test ettirmek için GPT-6 Astra'yı devreye aldı

Kod yazan bir yapay zekâ ajanının en zayıf halkası, yazdığı kodun doğru olduğunu gösterememesi. İnceleme yükü insana kalıyor ve ajan hızlandıkça bu yük büyüyor.

Cognition'ın yazılım ajanı Devin'de bu halkayı güçlendirmek için GPT-6 Astra kullanılıyor. Şirketin OpenAI ile paylaştığı anlatıma göre model, Devin'in yazılımı test etme ve çalıştığını gösterme becerisini geliştiriyor.

Belirtilen hedef açık: mühendislerin daha az kod incelemesi, daha çok iş çıkarması. Buradaki mantık, ajanın çıktısını doğrudan güvenilir saymak yerine, ajanın kendi işi için kanıt üretmesini istemek.

Kod yazan bir ajanın çıktısının doğruluğunu göstermesi, alanın çözülmemiş problemlerinden biri. Model bir değişiklik önerdiğinde bunun çalıştığını kanıtlayan şey genellikle testler oluyor — ama testleri de aynı model yazdığında ortaya bir döngü çıkıyor: kendi işini kendi ölçütüyle doğrulayan bir sistem.

Bu döngüyü kırmanın yaygın yolu, test yazımını üretimden ayırmak ve testin gerçekten anlamlı bir davranışı sınadığından emin olmak. Aksi hâlde model, kendi kodunun geçmesini sağlayan yüzeysel testler üretebiliyor.

İnceleme yükünün azaltılması ise ekonomik bir mesele. Ajanlar kod üretimini hızlandırdıkça darboğaz yazmaktan incelemeye kayıyor; üretilen her satırın bir insan tarafından okunması gerektiğinde, hızlanmanın kazancı büyük ölçüde geri veriliyor.