Yapay zeka ile dağınık veri nasıl temizlenir?

Elinde bir liste var: bin satır, sütunlar yarım, unvanlar herkesin kendi yazdığı gibi, şirket adları üç farklı biçimde. Bu tablo kullanılabilir hâle gelmeden ne kampanya kurulabilir ne rapor çıkarılabilir.

Bu yazı hangi temizlik işinin kurala hangisinin modele bırakılacağını, dört adımlı akışı, Türkçeye özgü tuzakları ve sonucun nasıl doğrulanacağını anlatıyor.

İki farklı iş: biçim ve yorum

Biçim işleri kesin kurallarla tanımlanabilir: baştaki ve sondaki boşlukları kırp, tarihleri tek biçime çevir, telefon numaralarından ayraçları çıkar, tüm harfleri küçült.

Bu işleri modele vermek üç sorun üretir: pahalıdır, yavaştır ve en önemlisi her çalıştırmada aynı sonucu vermeyebilir. Kural ise her zaman aynı sonucu verir.

Yorum işleri kuralla tanımlanamaz: “Genel Müdür Yardımcısı (Pazarlama)” ile “Pazarlamadan Sorumlu GMY” aynı rol mü? Serbest metinden şehir bilgisi çıkarmak, kategori atamak, iki kaydın aynı kişi olup olmadığına karar vermek.

Bu ayrımı yapmamak, veri işlerinde en sık görülen verimsizlik kaynağıdır.

Hangi temizlik işi kurala, hangisi modele verilir?

Bir işi kurala mı modele mi vereceğine karar vermek için tek soru yeter: aynı satırı iki kişiye gösterirsen aynı cevabı verirler mi? Cevap evetse kural yazılır, hayırsa model devreye girer. Tablo yaygın işleri bu soruya göre ayırıyor.

Karma satırlar en çok hata çıkan yerdir. Şirket adı ve tekilleştirme gibi işlerde önce kural çalışır, yalnızca kuralın çözemediği kayıtlar modele gider. Böylece model küçük bir satır kümesini görür ve hem maliyet hem hata payı düşer.

Dört adımlı akış

1. Kopyayla çalış. Ham dosya asla değiştirilmez. Her adım yeni bir dosya üretir; böylece hatalı bir adımdan geri dönmek mümkün olur.
2. Kuralla temizle. Biçim işlerinin tamamı burada biter. Sonuçta model yalnızca gerçekten karar gerektiren veriyi görür.
3. Yorum işlerini modele ver. Kategori listesini ve örnekleri talimata koy; modelden yalnızca eşleme yapmasını iste, yeni kategori uydurmasını değil.
4. Örneklemle doğrula. Sonuçtan rastgele 50 satır seç ve elle kontrol et.

Dördüncü adım atlanırsa hata sessizce yayılır; bin satırlık bir tabloda yanlış eşlenmiş yüz satır, raporun tamamını bozar.

Türkçeye özgü dört tuzak

Büyük küçük harf dönüşümü. Türkçede noktalı ve noktasız harfler farklı dönüşür. Varsayılan dönüşüm kullanıldığında “İstanbul” bozulur. Dil bilgisi verilmeden yapılan dönüşüm, şehir ve isim eşlemelerini sessizce bozar.

Karakter kodlaması. Yanlış kodlamayla açılan bir dosyada Türkçe karakterler bozuk görünür. Dosyayı açar açmaz birkaç satıra bakıp doğrulamak, saatlerce süren yanlış işi önler.

Ayraç ve ondalık. Türkçe düzende ondalık ayırıcı virgüldür; virgülle ayrılmış dosyalarda sayı sütunları bölünür. Noktalı virgül ya da sekme ayraç kullanmak bu sorunu ortadan kaldırır.

İsim ve unvan çeşitliliği. Aynı unvan hem Türkçe hem İngilizce yazılır. Eşleme yaparken iki dili birlikte düşünmek gerekir.

Türkçe büyük küçük harf hatası kodda nasıl görünür?

Sorun genellikle tablo aracında değil, dönüşümü yapan kodda çıkar. Eylül 2026 itibarıyla Python 3.14 belgeleri, str.lower() yönteminin Unicode standardındaki varsayılan küçültme algoritmasını kullandığını söylüyor ve Türkçeye özgü bir kuraldan söz etmiyor.

Sonuç, varsayılan yöntemlerle Türkçe metnin sessizce bozulmasıdır:

Çözüm dönüşümden önce iki harfi elle eşlemektir. Küçültmeden önce I harfini ı, İ harfini i yap; büyütmeden önce i harfini İ, ı harfini I yap. Ardından normal lower() ya da upper() çağrısı doğru sonucu verir. Bu iki eşlemeyi akışın kural adımına koy; harf dönüşümünü modele bırakma.

Modele iş verirken üç kural

1. Kategori listesini sen ver. Modelden kategori uydurmasını istersen her çalıştırmada farklı kategoriler alırsın. Listeyi ver ve “listede yoksa diğer yaz” de.

2. Örnek ver. Beş doğru eşleme örneği, on satırlık kural açıklamasından daha isabetli sonuç verir. Talimat yazımında örnek en güçlü tekniktir.

3. Emin olmadığında işaretlesin. “Kararsız kaldığın satırları belirsiz olarak işaretle” demek, hatalı eşlemeyi doğrudan azaltır ve elle kontrol edilecek satırları seni bulur.

Üçüncü kural, veri işlerinde uydurmayı engellemenin en pratik yoludur.

Binlerce satırı modele vermek ne kadara mal olur?

Kuralla temizlik bittiğinde modele giden satır sayısı genellikle başlangıcın küçük bir bölümüdür. Yine de on binlerce satırlık bir yorum işi token harcar ve maliyet hesabı token maliyeti yazısındaki yöntemle yapılır.

Acil olmayan işlerde toplu işlem arayüzü maliyeti düşürür. Anthropic’in dokümanına göre Eylül 2026 itibarıyla Message Batches API tüm kullanımı standart fiyatın yüzde 50’si üzerinden ücretlendiriyor ve tek bir toplu işlem en çok 100.000 istek ya da 256 MB ile sınırlı.

Liste bu sınırı aşıyorsa parçalara böl ve her parçanın çıktısını ayrı bir dosya olarak kaydet; akışın ilk adımındaki “ham dosyaya dokunma” kuralı burada da geçerlidir.

Tekilleştirme neden ayrı bir iştir?

Aynı şirketin listede üç farklı yazımla bulunması, B2B verisinde en sık görülen ve en çok zarar veren sorundur: aynı kuruma üç ayrı mesaj gider.

Tekilleştirme kuralla tam çözülemez, çünkü aynı kurum farklı biçimlerde yazılır: kısaltmalı, unvanlı, eski adıyla ya da yazım hatasıyla. Kesin eşleşme bunların hiçbirini yakalamaz.

İşleyen yol iki katmanlıdır. Önce kuralla normalleştir: şirket türü ekleri, noktalama ve fazla boşluklar temizlenir; bu adım birbirinin aynısı olan kayıtların büyük bölümünü zaten birleştirir. Sonra kalan benzer kayıtlar için modele karar verdirilir: iki kaydı yan yana göster ve aynı kurum olup olmadığını sor.

İkinci katmanda emin olmadığı kayıtları işaretlemesini istemek zorunludur. Yanlış birleştirilen iki kayıt, ayrı kalmış iki kayıttan daha pahalıdır; çünkü geri almak için hangi kayıtların birleştiğini bilmek gerekir.

Doğrulama: neye bakılır?

Temizlik bittiğinde dört kontrol yapılır ve hepsi birkaç dakikadır:

1. Satır sayısı. Başlangıç ve bitiş satır sayısı, tekilleştirme dışında aynı olmalı. Beklenmedik kayıp, bir adımın satır düşürdüğünü gösterir.
2. Boş hücre oranı. Kritik sütunlarda boş hücre oranı temizlikten sonra artmışsa bir dönüşüm bozulmuştur.
3. Örneklem kontrolü. Rastgele 50 satır, elle.
4. Uç değerler. Sayısal sütunlarda en büyük ve en küçük değerlere bak; biçim hataları genellikle uçlarda görünür.

Bu dört kontrol bir kalite kapısı olarak akışa gömülür; her çalıştırmada tekrar edilir. Kapı geçilmeden temizlenmiş dosya bir sonraki işe verilmez.

Yapay zeka ile temizlik ne zaman yanlış seçimdir?

Üç durumda model kullanmak gereksizdir ya da risklidir.

• Bütün iş kuralla bitiyorsa. Yalnızca biçim düzeltiyorsan modeli akışa katmak maliyet ve belirsizlik ekler, kazanç getirmez.
• Liste kişisel veri taşıyorsa. İsim, e-posta ve telefon içeren listeyi olduğu gibi dış modele göndermek yerine önce veri gizliliği yazısındaki kimliksizleştirme adımlarını uygula ya da yerel bir kurulum kullan.
• Doğrulama yapılmayacaksa. Örneklemle elle kontrol edilmeyen bir model çıktısı hatayı sessizce yayar.

Temizlenmiş liste, toplu mail göndermenin de ilk koşuludur; liste hijyeninin ayrıntısı toplu mail yazısında anlatılıyor.