Veri analizi denince akla şık grafikler ve akıllı modeller gelir. Oysa gerçek işin büyük kısmı çok daha sıradan bir şeydir: veriyi temizlemek. Analistlerin zamanının çoğu tam da buraya gider ve iyi sebeple.
Neden gerekli?
Gerçek dünya verisi neredeyse hiç tertemiz gelmez: eksik hücreler, yanlış girilmiş değerler, tutarsız biçimler, tekrar eden kayıtlar. Bu kirlilik giderilmezse, en gelişmiş analiz bile yanlış sonuç üretir.
En yaygın sorunlar
Eksik değerler (nasıl doldurulacak ya da çıkarılacak?), aykırı değerler (hata mı, gerçek mi?), tutarsız biçimler (“İstanbul” ve “istanbul”) ve çift kayıtlar. Her biri ayrı bir karar gerektirir.
Araçlar
Python’da bu işin en güçlü aracı pandas kütüphanesidir; eksik değerleri bulmak, kayıtları düzeltmek ve biçimleri standartlaştırmak birkaç satıra iner.
Çöp girerse çöp çıkar
Bu ilke veri analizinin temelidir: kaynağı bozuk bir veriyle yapılan analiz, ne kadar özenli olursa olsun güvenilmezdir. Bu yüzden temizlik, analizin sıkıcı değil, en kritik adımıdır. Kavram için veri temizleme sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası bir sonuca atlamadan önce veriyi tanır ve temizler. Çünkü bilir ki iyi analiz, temiz veriyle başlar.
İlgili yazı: A/B Testi