Yapay zeka maliyeti nasıl hesaplanır?

Yapay zeka araçlarının aylık bedeli, küçük bir işletmede ihmal edilebilir olmaktan çıkıp bütçe kalemi hâline gelebiliyor. Buna rağmen çoğu kullanıcı, bir işin kendisine kaça mal olduğunu hiç ölçmüyor.

Bu yazı token mantığını, girdi ve çıktı maliyetinin farkını, aylık bütçe kurma yöntemini ve faturayı şişiren dört alışkanlığı anlatıyor.

Token nedir, neden kelime değil?

Modeller metni doğrudan kelime olarak işlemez; token adı verilen parçalara böler. Bir token bazen bir kelimedir, bazen kelimenin bir hecesi, bazen bir noktalama işaretidir.

Türkçe için pratik bir sonuç var: eklerle uzayan kelimeler birden fazla tokene bölünür. Aynı anlamı taşıyan bir metin, Türkçe yazıldığında İngilizce yazıldığından daha fazla token eder ve daha pahalıya işlenir.

Bu, Türkçe çalışmayı bırakmak için değil, metni gereksiz uzatmamak için bir gerekçedir. Uzun ve tekrarlı talimatların maliyeti doğrudan buradan gelir; talimat uzunluğu bir kalite meselesi olduğu kadar maliyet meselesidir.

Girdi ve çıktı ayrı ücretlendirilir

İki ayrı kalem vardır ve fiyatları farklıdır: modele gönderdiğin metin (girdi) ve modelin ürettiği metin (çıktı). Çıktı genellikle girdiden daha pahalıdır.

Bunun pratik sonucu şudur: uzun bir belgeyi okutup kısa bir özet istemek, kısa bir talimatla uzun bir metin ürettirmekten farklı bir maliyet profili taşır.

Ayrıca çoğu ortamda önbellek mekanizması vardır: aynı uzun bağlam tekrar tekrar gönderiliyorsa, ikinci ve sonraki isteklerde daha düşük ücretlendirilebilir. Tekrarlanan işlerde bağlamı sabit tutmak bu yüzden hem hız hem maliyet kazandırır.

İş başına maliyet ölçümü

Bütçe kurmanın en güvenilir yolu tahmin değil, tek bir ölçümdür.

1. Tipik bir işi seç: örneğin bir blog yazısı taslağı ya da bir video altyazısının temizlenmesi.
2. İşi baştan sona bir kez çalıştır ve o iş için harcanan girdi ve çıktı miktarını kaydet.
3. Birim fiyatla çarp; iş başına maliyeti bul.
4. Ay içinde bu işi kaç kez yaptığını yaz ve çarp.

Bu dört adım, aylık bütçeyi gerçek kullanıma dayandırır. Ayrıca iş başına maliyet bir kez bilindiğinde, otomasyon eşiği hesabı da netleşir: elle yapmanın saat maliyeti ile karşılaştırılabilir hâle gelir.

Faturayı şişiren dört alışkanlık

1. Her istekte tüm bağlamı göndermek. En büyük kalem budur. Yirmi mesajlık bir sohbette her yeni mesaj, önceki tüm mesajlarla birlikte gönderilir. Uzun sohbetler yerine yeni ve odaklı oturumlar açmak belirgin tasarruf sağlar.

2. Her iş için en güçlü modeli kullanmak. Biçimlendirme, sınıflandırma ve kısa özet gibi işler daha küçük modellerle de yapılır. Model seçimini işe göre ayırmak, kaliteden ödün vermeden maliyeti düşürür.

3. Gereksiz uzun çıktı istemek. “Ayrıntılı yaz” demek, ödediğin çıktı miktarını doğrudan artırır. Uzunluk sınırı vermek hem maliyeti hem okunabilirliği iyileştirir.

4. Denetimsiz döngü. Kendini tekrar deneyen bir ajan, durma koşulu yoksa aynı adımı defalarca çalıştırır. Döngü kurarken üst sınır koymak zorunludur.

Maliyeti düşüren üç yapısal karar

Günlük alışkanlıkların ötesinde, kurulum aşamasında verilen üç karar aylık faturayı kalıcı olarak belirler.

1. İşi parçalara bölmek. Tek bir büyük istek yerine küçük ve tanımlı adımlar kurmak, hem hata yüzeyini hem maliyeti düşürür; çünkü bir adım başarısız olduğunda yalnızca o adım tekrarlanır, işin tamamı değil.

2. Sabit bağlamı ayırmak. Her istekte değişmeyen kısmı (marka dili, kurallar, örnekler) sabit tutmak, önbellekten yararlanmayı mümkün kılar. Değişen kısmı sona koymak bu yararı artırır.

3. Modeli işe göre seçmek. Sınıflandırma, biçimlendirme ve kısa özet için küçük model, muhakeme ve uzun üretim için büyük model. Tek modelle çalışan kurulumlar, basit işleri en pahalı yoldan yapar.

Üçü birlikte uygulandığında aynı iş yükü belirgin biçimde daha düşük bedelle döner; üçü de talimat ve akış tasarımıyla ilgilidir, ek yazılım gerektirmez.

Abonelik mi, kullandıkça öde mi?

İki model arasındaki seçim, kullanım deseninin düzenliliğine bağlıdır.

Sabit aylık abonelik, günlük ve öngörülebilir kullanımda avantajlıdır: maliyet bellidir, bütçeleme kolaydır.

Kullandıkça öde, dalgalı kullanımda ve otomasyon senaryolarında avantajlıdır: kullanmadığın ay ödeme yapmazsın.

Pratikte ikisi birlikte kullanılır: günlük elle çalışma için abonelik, ajanların arka planda çalıştırdığı işler için kullandıkça öde. Karar, ilk ayın ölçümünden sonra verilir; önceden verilen karar neredeyse her zaman yanlış çıkar.

Tek seferlik lisansla satılan araçlarda ise bu hesap farklıdır: bedel ürünün kendisi içindir, kullanım bedeli kendi hesabından gider.