Gradyan İnişi (Gradient Descent): Makine Öğrenmesi Modelleri Hatalarından Nasıl Öğrenir?

Sisli bir dağın yamacında gözleriniz kapalı olarak durduğunuzu ve vadinin en alçak noktasına inmeniz gerektiğini düşünün. Tüm manzarayı göremezsiniz, ama ayağınızın altındaki eğimi hissedebilirsiniz. Mantıklı strateji bellidir: eğimin aşağı doğru olduğu yöne küçük bir adım atmak, sonra tekrar eğimi hissetmek, tekrar adım atmak. Makine öğrenmesinde modellerin “öğrenme” dediğimiz süreci tam olarak buna benziyor ve bu yönteme gradyan inişi (gradient descent) deniyor.

Kayıp Fonksiyonu: Modelin Hata Karnesi

Bir modeli eğitmeden önce, ne kadar yanlış yaptığını ölçecek bir yönteme ihtiyacımız var. Buna “kayıp” (loss) deniyor. Örneğin bir ev fiyatı tahmin modelinde, tahmin edilen fiyat ile gerçek fiyat arasındaki farkların karelerinin ortalaması (MSE) bir kayıp ölçüsü olabilir. Kayıp ne kadar yüksekse model o kadar kötü, ne kadar düşükse o kadar iyi demek. Eğitimin amacı da bu kaybı mümkün olduğunca küçültecek ağırlık (weight) ve sapma (bias) değerlerini bulmak.

Gradyan İnişi Üç Adımda Çalışıyor

Google’ın Makine Öğrenmesi Hızlandırılmış Kursu’nda anlatıldığı gibi gradyan inişi, kaybı en düşük yapan ağırlık ve sapma değerlerini, kullanıcının belirlediği sayıda tekrarla yinelemeli olarak bulan matematiksel bir teknik. Her tekrarda şu üç adım işliyor:

  1. Kaybı hesapla: Mevcut ağırlıklarla modelin ne kadar hata yaptığına bak.
  2. Yönü belirle: Kaybın her ağırlığa göre türevini (gradyanı) hesapla. Gradyan, ağırlığı biraz değiştirirsek kaybın nasıl değişeceğini söyler. Kaybı azaltmak için gradyanın tersi yönde ilerlenir.
  3. Küçük bir adım at: Ağırlıkları o yönde biraz güncelle ve süreci yeniden başlat.

Kayıp artık anlamlı biçimde düşmeyi bıraktığında model “yakınsamış” sayılıyor.

Öğrenme Hızı: Adım Boyutu Her Şeyi Değiştirir

Atılan adımın büyüklüğünü “öğrenme hızı” (learning rate) belirliyor ve bu, eğitimin en kritik ayarlarından biri. Adımlar çok küçükse model vadiye ulaşmak için çok uzun süre harcıyor. Adımlar çok büyükse model vadinin dibini sürekli ıskalıyor, hatta karşı yamaca fırlayıp kaybı artırabiliyor. Bu yüzden öğrenme hızı genellikle denenerek ve kayıp grafiği izlenerek ayarlanan bir “hiperparametre” olarak ele alınıyor.

Üç Farklı Çeşidi Var

Gradyanı hesaplarken kullanılan veri miktarına göre gradyan inişinin üç ana türü bulunuyor. Batch gradyan inişi her adımda tüm veri setini kullanıyor; kararlı ama büyük veri setlerinde yavaş. Stokastik gradyan inişi (SGD) her adımda yalnızca tek bir örnek kullanıyor; hızlı ama gürültülü. Mini-batch gradyan inişi ise ikisinin arasında, küçük veri gruplarıyla çalışıyor ve pratikte en yaygın kullanılan yöntem.

Büyük Modellerin de Temeli

Bu basit fikir, doğrusal regresyondan derin sinir ağlarına kadar neredeyse tüm makine öğrenmesi modellerinin eğitiminin merkezinde yer alıyor. Büyük dil modelleri yazımızda anlattığımız milyarlarca parametreli sistemler de, özünde aynı mantıkla, kaybı adım adım azaltarak öğreniyor. Ölçek devasa olsa da fikir aynı: ölç, yönü bul, küçük bir adım at, tekrarla.

Sonuç

Gradyan inişi, “öğrenme” kavramını gizemli bir sihir olmaktan çıkarıp, tekrarlanan küçük düzeltmelere indirgiyor. Bir sonraki sefer bir yapay zekanın “öğrendiğini” duyduğunuzda, arkada milyonlarca küçük adımın, sisli bir vadiden aşağıya doğru atıldığını düşünebilirsiniz.

Yorum yapın