Evals
Eval (Değerlendirme)
Bir yapay zekâ sistemi için test: sisteme bir girdi verilir, çıktısına bir puanlama mantığı uygulanır ve başarı ölçülür (Anthropic'in tanımı). Görevlerden oluşan bir set, her model, talimat ya da araç değişikliğinden sonra yeniden çalıştırılır.
Yapay Zekâ ve BüyümeKavram 69 / 81
Pratikte
Eval, deney kültürünün ajan dünyasındaki karşılığı: A/B testi olmayan büyüme ekibi sezgiyle karar verir, eval'i olmayan yapay zekâ ekibi şikâyetle (yorum). Anthropic eval'siz ekibin döngüsünü şöyle anlatıyor: şikâyeti bekle, elle yeniden üret, hatayı düzelt, başka bir şeyin bozulmadığını um. Önerisi küçük başlamak: gerçek hatalardan çıkarılmış 20-50 basit görev iyi bir başlangıç; eval'i ne kadar geç kurarsan o kadar zorlaşır. Büyüme gözüyle ölçüt: setin, müşterinin para ödediği işi mi ölçüyor, yoksa modelin genel becerisini mi?