Ajana iş devretmenin ilk 30 günü

Yapay zeka araçlarıyla ilgili en yaygın hayal kırıklığı, kurulum gününde yaşanır: araç açılır, birkaç iş denenir, sonuç beklenenin altında kalır ve konu kapanır. Oysa devir, bir gün değil birkaç hafta süren bir iştir.

Bu yazı devredilecek ilk işin nasıl seçileceğini, hafta hafta kurulum planını, ölçülecek üç sayıyı ve devri başarısız kılan hataları anlatıyor.

İlk iş nasıl seçilir?

İlk devredilen iş, devrin kaderini belirler. Yanlış iş seçildiğinde sonuç kötü çıkar ve yöntem suçlanır.

İyi bir ilk iş dört özelliği taşır:

1. Haftada en az bir kez tekrarlanıyor. Nadir işlerde kurulum maliyeti karşılanmaz.
2. Adımları yazılabiliyor. Sen anlatabiliyorsan ajan yapabilir.
3. Çıktısı hızlı denetlenebiliyor. Doğru olup olmadığı dakikalar içinde görülebilmeli.
4. Hata maliyeti düşük. İlk devir, müşteriye doğrudan giden kritik bir işle yapılmaz.

Dördü birden sağlanan işler genellikle şunlardır: içerik taslağı üretme, rapor biçimlendirme, altyazı temizleme, liste düzenleme. Otomasyon eşiği yazısı bu seçimi sayıyla destekliyor.

1. hafta: elle yap, yazarak

Birinci haftada ajan hiç çalışmaz. Sen işi her zamanki gibi yaparsın ama bu kez her adımı yazarsın.

Yazılacak dört şey vardır: hangi girdiyle başladın, hangi adımları hangi sırayla yaptın, hangi noktada karar verdin, çıktının kabul edilebilir olduğunu nasıl anladın?

Dördüncü soru en değerlisidir çünkü kalite kapısının ham maddesidir. Çoğu insan bu ölçütü hiç yazılı hâle getirmemiştir; kafasında taşır.

Hafta sonunda elinde bir talimat taslağı olur. Bu taslak mükemmel olmak zorunda değildir; ikinci haftada düzelecektir.

2. hafta: ajan çalışır, sen kontrol edersin

İkinci haftada ajan işi yapar ama her çıktı elle kontrol edilir. Burada kritik olan şudur: her düzeltme talimata geri yazılır.

Aynı hatayı ikinci kez düzeltiyorsan, talimatı düzeltmiyorsun demektir. Bu, devrin en sık kırıldığı noktadır; kullanıcı her seferinde çıktıyı elle düzeltir ve talimat hiç gelişmez.

Bu hafta zaman kazanmazsın; hatta elle yapmaktan uzun sürer. Beklenen budur ve bunu baştan kabul etmek, ikinci haftada bırakmayı önler.

Hafta sonunda talimat, ilk hâlinden belirgin biçimde farklı olur. Bu fark, işin gerçek bilgisidir.

3. ve 4. hafta: kontrolü azalt, rutine bağla

Üçüncü hafta kontrol örnekleme düşer: her çıktı değil, rastgele seçilen bir bölümü kontrol edilir. Düzeltme oranı düşüyorsa doğru yoldasın; sabit kalıyorsa talimatta hâlâ bir boşluk vardır.

Dördüncü hafta iş rutine girer. Ajan çalışır, yalnızca kalite kapısı uygulanır ve sen yalnızca kapıdan geçemeyen çıktılara bakarsın.

Bu noktadan sonra ikinci işi devretmeye başlayabilirsin. Aynı anda üç iş devretmeye çalışmak, üçünün de yarım kalmasıyla sonuçlanır.

90 günlük yol haritası bu döngünün üç kez tekrarlanmasıyla kurulur.

Ölçülecek üç sayı

1. İş başına süre. Aynı işi elle ne kadar sürede yapıyordun, şimdi ne kadar sürüyor? Kontrol süresi de dahil edilir; edilmezse kazanç olduğundan yüksek görünür.
2. Düzeltme oranı. Kaç çıktının kaçında düzeltme gerekti? Bu oran haftadan haftaya düşmüyorsa talimat gelişmiyordur.
3. İş başına maliyet. Maliyet hesabı yazısındaki yöntemle ölçülür ve kazanılan sürenin karşılığıyla kıyaslanır.

Üç sayı tek bir tabloda, haftalık olarak tutulur. Dört hafta sonunda devrin işe yarayıp yaramadığı tartışmaya yer bırakmadan görünür.

Devir sonrası bakım

Dördüncü hafta sonunda iş rutine girer ama sistem kendi kendine kalıcı değildir. Üç şey zamanla değişir ve üçü de bakım gerektirir.

Girdi değişir. Kaynak dosyanın biçimi, bir sütun adı ya da bir raporun düzeni değiştiğinde ajan sessizce yanlış çalışır. Bu yüzden girdi doğrulaması akışın ilk adımı olarak kalmalıdır.

İş değişir. Süreç güncellendiğinde talimat da güncellenmelidir; güncellenmeyen talimat, eski süreci yaşatmaya devam eder.

Araç değişir. Model ve araç sürümleri yenilenir; davranış farklılaşabilir. Bu yüzden her sürüm değişiminden sonra kontrol seti bir kez çalıştırılır.

Aylık on beş dakikalık bir bakım turu üçünü de kapsar: girdiyi kontrol et, talimatın güncel olduğunu doğrula, kontrol setini çalıştır. Bu tur atlandığında sistem bozulmaz, sessizce isabetsizleşir ve bu hâlini fark etmek aylar alır.

Devri bozan dört hata

Düzeltmeleri talimata yazmamak. En yaygın ve en pahalı hata budur.

İlk hafta atlanması. Süreci yazmadan talimat yazmaya çalışmak, eksik bir tanımla başlamak demektir.

Kritik işle başlamak. İlk devir öğrenme turudur; müşteriye doğrudan giden bir işte öğrenme turu yapılmaz.

Kapıyı kaldırmak. Ajan iyi çalışmaya başlayınca kontrolü tamamen bırakmak cazip gelir. Kapı kalkınca hatalar birikerek döner ve genellikle en kötü zamanda görünür. Kapı hafifletilir, kaldırılmaz.