Yapay zeka ile dağınık veri nasıl temizlenir?

Elinde bir liste var: bin satır, sütunlar yarım, unvanlar herkesin kendi yazdığı gibi, şirket adları üç farklı biçimde. Bu tablo kullanılabilir hâle gelmeden ne kampanya kurulabilir ne rapor çıkarılabilir.

Bu yazı hangi temizlik işinin kurala hangisinin modele bırakılacağını, dört adımlı akışı, Türkçeye özgü tuzakları ve sonucun nasıl doğrulanacağını anlatıyor.

İki farklı iş: biçim ve yorum

Biçim işleri kesin kurallarla tanımlanabilir: baştaki ve sondaki boşlukları kırp, tarihleri tek biçime çevir, telefon numaralarından ayraçları çıkar, tüm harfleri küçült.

Bu işleri modele vermek üç sorun üretir: pahalıdır, yavaştır ve en önemlisi her çalıştırmada aynı sonucu vermeyebilir. Kural ise her zaman aynı sonucu verir.

Yorum işleri kuralla tanımlanamaz: “Genel Müdür Yardımcısı - Pazarlama” ile “Pazarlamadan Sorumlu GMY” aynı rol mü? Serbest metinden şehir bilgisi çıkarmak, kategori atamak, iki kaydın aynı kişi olup olmadığına karar vermek.

Bu ayrımı yapmamak, veri işlerinde en sık görülen verimsizlik kaynağıdır.

Dört adımlı akış

1. Kopyayla çalış. Ham dosya asla değiştirilmez. Her adım yeni bir dosya üretir; böylece hatalı bir adımdan geri dönmek mümkün olur.
2. Kuralla temizle. Biçim işlerinin tamamı burada biter. Sonuçta model yalnızca gerçekten karar gerektiren veriyi görür.
3. Yorum işlerini modele ver. Kategori listesini ve örnekleri talimata koy; modelden yalnızca eşleme yapmasını iste, yeni kategori uydurmasını değil.
4. Örneklemle doğrula. Sonuçtan rastgele 50 satır seç ve elle kontrol et.

Dördüncü adım atlanırsa hata sessizce yayılır; bin satırlık bir tabloda yanlış eşlenmiş yüz satır, raporun tamamını bozar.

Türkçeye özgü dört tuzak

Büyük küçük harf dönüşümü. Türkçede noktalı ve noktasız harfler farklı dönüşür. Varsayılan dönüşüm kullanıldığında “İstanbul” bozulur. Dil bilgisi verilmeden yapılan dönüşüm, şehir ve isim eşlemelerini sessizce bozar.

Karakter kodlaması. Yanlış kodlamayla açılan bir dosyada Türkçe karakterler bozuk görünür. Dosyayı açar açmaz birkaç satıra bakıp doğrulamak, saatlerce süren yanlış işi önler.

Ayraç ve ondalık. Türkçe düzende ondalık ayırıcı virgüldür; virgülle ayrılmış dosyalarda sayı sütunları bölünür. Noktalı virgül ya da sekme ayraç kullanmak bu sorunu ortadan kaldırır.

İsim ve unvan çeşitliliği. Aynı unvan hem Türkçe hem İngilizce yazılır. Eşleme yaparken iki dili birlikte düşünmek gerekir.

Modele iş verirken üç kural

1. Kategori listesini sen ver. Modelden kategori uydurmasını istersen her çalıştırmada farklı kategoriler alırsın. Listeyi ver ve “listede yoksa diğer yaz” de.

2. Örnek ver. Beş doğru eşleme örneği, on satırlık kural açıklamasından daha isabetli sonuç verir. Talimat yazımında örnek en güçlü tekniktir.

3. Emin olmadığında işaretlesin. “Kararsız kaldığın satırları belirsiz olarak işaretle” demek, hatalı eşlemeyi doğrudan azaltır ve elle kontrol edilecek satırları seni bulur.

Üçüncü kural, veri işlerinde uydurmayı engellemenin en pratik yoludur.

Tekilleştirme neden ayrı bir iştir?

Aynı şirketin listede üç farklı yazımla bulunması, B2B verisinde en sık görülen ve en çok zarar veren sorundur: aynı kuruma üç ayrı mesaj gider.

Tekilleştirme kuralla tam çözülemez, çünkü aynı kurum farklı biçimlerde yazılır: kısaltmalı, unvanlı, eski adıyla ya da yazım hatasıyla. Kesin eşleşme bunların hiçbirini yakalamaz.

İşleyen yol iki katmanlıdır. Önce kuralla normalleştir: şirket türü ekleri, noktalama ve fazla boşluklar temizlenir; bu adım birbirinin aynısı olan kayıtların büyük bölümünü zaten birleştirir. Sonra kalan benzer kayıtlar için modele karar verdirilir: iki kaydı yan yana göster ve aynı kurum olup olmadığını sor.

İkinci katmanda emin olmadığı kayıtları işaretlemesini istemek zorunludur. Yanlış birleştirilen iki kayıt, ayrı kalmış iki kayıttan daha pahalıdır; çünkü geri almak için hangi kayıtların birleştiğini bilmek gerekir.

Doğrulama: neye bakılır?

Temizlik bittiğinde dört kontrol yapılır ve hepsi birkaç dakikadır:

1. Satır sayısı. Başlangıç ve bitiş satır sayısı, tekilleştirme dışında aynı olmalı. Beklenmedik kayıp, bir adımın satır düşürdüğünü gösterir.
2. Boş hücre oranı. Kritik sütunlarda boş hücre oranı temizlikten sonra artmışsa bir dönüşüm bozulmuştur.
3. Örneklem kontrolü. Rastgele 50 satır, elle.
4. Uç değerler. Sayısal sütunlarda en büyük ve en küçük değerlere bak; biçim hataları genellikle uçlarda görünür.

Bu dört kontrol bir kalite kapısı olarak akışa gömülür; her çalıştırmada tekrar edilir.