Bir makine öğrenmesi modeli eğitim verisinde yüzde yüz başarı gösterip, gerçek dünyada çuvallayabilir. Bu, yapay zekanın en klasik tuzağıdır: aşırı öğrenme, yani overfitting.
Overfitting nedir?
Overfitting, modelin veriyi öğrenmek yerine ezberlemesidir. Verideki gerçek örüntüyle birlikte rastgele gürültüyü de öğrenir; böylece gördüğü örneklerde kusursuz, ama yeni örneklerde başarısız olur.
Neden olur?
Genellikle model fazla karmaşık olduğunda ya da veri az olduğunda ortaya çıkar. Model, anlamlı olmayan tesadüfi ilişkileri gerçek bir kuralmış gibi öğrenir; bu, istatistikteki korelasyon-nedensellik tuzağının makine öğrenmesindeki karşılığıdır.
Genelleme ve test verisi
Asıl amaç ezberlemek değil, genellemektir: modelin hiç görmediği veride de iyi çalışması. Bu yüzden model, eğitimde kullanılmayan ayrı bir test verisiyle sınanır. Test verisinin temsili olması, tıpkı örnekleme yanlılığında anlattığımız gibi kritiktir.
Nasıl önlenir?
Modeli gereğinden karmaşık yapmamak, daha çok veri kullanmak ve çapraz doğrulama gibi yöntemler overfitting’i azaltır. Ayrıntı için overfitting sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası eğitim başarısına aldanmaz; “peki hiç görmediği veride ne yapıyor?” diye sorar. Çünkü gerçek zeka ezber değil, genellemedir.
İlgili yazı: Yapay Zekada Yanlılık (Bias)