Bir veri kümesindeki tek bir aşırı değer, ortalamayı, grafiği ve sonucu tamamen değiştirebilir. Bu uç değerlere aykırı değer (outlier) denir. Peki onları silmeli mi, yoksa dinlemeli mi? Cevap düşündüğünüzden inceliklidir.
Aykırı değer nedir?
Aykırı değer, verinin geri kalanından belirgin biçimde uzakta duran bir gözlemdir. Bir ölçüm hatası olabileceği gibi, gerçek ve çok önemli bir olay da olabilir; işte asıl mesele bu ayrımı yapabilmektir.
Ortalamayı nasıl bozar?
Aykırı değerler ortalamayı kendine doğru çeker ve tipik durumu yanlış gösterir. Bu yüzden çarpık verilerde ortalama yerine medyana bakmak daha güvenlidir; ayrıntısını ortalama, medyan ve standart sapma yazımızda ele aldık.
Silmeli mi, tutmalı mı?
Otomatik olarak silmek tehlikelidir. Bir aykırı değer bazen verinin en değerli bilgisidir: bir dolandırıcılık işlemi, nadir bir hastalık ya da beklenmedik bir başarı. Önce “bu neden burada?” diye sorulmalıdır.
Nasıl tespit edilir?
Yaygın yöntemler, değerin çeyrekler açıklığına (IQR) ya da ortalamadan kaç standart sapma uzakta olduğuna bakmaktır. Kavram için aykırı değer sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası bir aykırı değeri hemen silmez; önce ona bir hikâye sorar. Çünkü bazen en önemli bilgi, en uçta duran noktadadır.
İlgili yazı: Çarpık Dağılımlar