Bir yapay zeka modeli “%95 doğru” diyorsa iyi midir? Cevap: duruma göre değişir, hatta bazen bu sayı tamamen yanıltıcıdır. Bir modelin gerçekten iyi olup olmadığını anlamak için tek bir orana değil, birkaç ölçüte birden bakmak gerekir.
Doğruluğun (accuracy) tuzağı
Doğruluk, tüm tahminlerin ne kadarının doğru olduğudur. Ama dengesiz verilerde yanıltır: her 1000 kişiden 1”inde görülen bir hastalık için “herkes sağlıklı” diyen bir model %99,9 doğrudur ama tamamen işe yaramazdır. Bu, istatistikteki taban oranı sorununun ta kendisidir.
Kesinlik ve anımsama
Kesinlik (precision): “pozitif” dediklerimin ne kadarı gerçekten pozitif? Anımsama (recall): gerçek pozitiflerin ne kadarını yakaladım? Bir hastalık taramasında yüksek anımsama (hastayı kaçırmamak), bir spam filtresinde ise yüksek kesinlik (önemli maili spam sanmamak) önemlidir.
Yanlış pozitif ve yanlış negatif
Bu ikili, doğrudan istatistikteki Tip I ve Tip II hata kavramlarıyla aynıdır. Hangi hatanın daha maliyetli olduğu, hangi metriğe öncelik vereceğinizi belirler.
Hangi metrik ne zaman?
Tek bir sayı her şeyi anlatmaz. Problemin doğasına göre kesinlik, anımsama ya da ikisini birleştiren F1 skoruna bakılır. Kavram için precision ve recall sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası “%95 doğru” duyunca durur ve sorar: “hangi hatayı yapıyor, kimi kaçırıyor?” Çünkü asıl önemli olan doğruluk değil, doğru türden başarıdır.
İlgili yazı: Eğitim, Doğrulama ve Test Verisi