Spotify mühendisinden kodlama ajanlarında jeton tüketimini düşüren araç

Yapay zekâ kodlama ajanlarıyla çalışanların farkına vardığı bir durum var: ajanın harcadığı jetonların büyük bölümü akıl yürütmeye değil, girdi-çıktı işlerine gidiyor. Tek bir metot hakkındaki soruyu yanıtlamak için beş dosya okumak, yanındaki yirmi test dosyasıyla aynı kalıbı izleyen bir test dosyası üretmek, toplantı sonrası belgeleri güncellemek — binlerce jeton gidiyor ve neredeyse hiç akıl yürütme yapılmıyor.

Maliyet tarafındaki tablo yazıda rakamlarla veriliyor. 2028'e kadar yapay zekâ kodlama maliyetlerinin ortalama bir geliştiricinin maaşını aşması bekleniyor. Mühendislik liderlerinin dörtte biri hâlihazırda geliştirici başına aylık 200 ila 500 dolar jeton harcıyor; bazıları 2.000 doları çoktan geçmiş durumda. Yazarın vurgusu şu: asıl acıtan koltuk lisansı değil, jetonlar — üstelik bu işlerin tamamı, o iş için fazlasıyla nitelikli bir sınır modeline yaptırılıyor.

Çözüm karmaşık bir altyapı gerektirmemiş. Fikir basit: rutin işleri daha ucuz bir modele yönlendirmek ve pahalı modeli gerçekten akıl yürütme gerektiren problemlere saklamak.

Uygulama iki "mod" üzerine kurulu. Portal'daki modlar, geçici bir çalışma zamanında çalışan bildirimsel ajanlar — yazarın benzetmesiyle ajanlar için AWS Lambda gibi. Talimatlar tanımlanıyor, model seçiliyor, sıcaklık gibi parametreler ayarlanıyor ve araçlar eklenip geçiliyor; yönetilecek altyapı, API anahtarı ya da sürekli çalışan sunucu yok.

İlk mod toplu dosya okuyucu: Claude'un tek bir soruyu yanıtlamak için birden fazla büyük dosya okuyacağı durumlar için. Talimatı katı — yalnızca yapılandırılmış maddeler, selamlama ve giriş cümlesi yok. İkincisi test, yapılandırma iskeleti ve tip taslakları gibi çıktısı mevcut kalıplardan tahmin edilebilir işler için.

İşin ilginç kısmı yönlendirmenin nasıl zorunlu kılındığı. İlk sürümde kurallar proje dosyasına yazılmıştı ve bir ölçüde işliyordu, ancak tavsiye niteliğindeydi: Claude bunları yok sayabiliyordu ve her proje kendi kopyasını gerektiriyordu. Güncel sürüm ise bir Claude Code eklentisi olarak çalışıyor ve araç çağrılarından önce devreye giren kancalar kullanıyor. Bir dosya okuma isteği belirlenen satır eşiğini — varsayılan 350 — aştığında kanca okumayı engelliyor ve Claude'u toplu okuyucuya yönlendiriyor. Hedefli okumalar ise geçiyor, çünkü orada Claude hangi bölümü istediğini zaten biliyor.