Inference Cost
Çıkarım Maliyeti
Bir yapay zekâ modelinin her çağrıda cevap üretmek için harcadığı işlem maliyeti; API üzerinden kullanıyorsan çoğunlukla işlenen token'lar üzerinden faturalanır. Klasik yazılımda bir müşteri daha eklemek neredeyse bedavayken, burada her sorgu gerçek bir harcama doğurur.
Yapay Zekâ ve BüyümeKavram 62 / 81
Pratikte
Tek bir "sorgu başına maliyet" rakamı yoktur: sağlayıcılar girdiyi ve çıktıyı ayrı, önbelleğe alınmış girdiyi ve toplu (batch) işlemi ayrı kalemlerle fiyatlıyor. Önbellekte yazma ve okuma ayrı fiyatlanır; isabet oranı düşükse kazanç beklediğinden küçük kalır (yorum). Fiyatı ortalama kullanıcıya göre kurarsan yoğun kullanıcıda maliyet geliri geçebilir; maliyeti ortalamayla değil dağılımıyla izle (yorum). Güncel tabloyu sağlayıcının sayfasından al, eski bir rakamı modele gömme.