ChatGPT gibi araçlar nasıl bu kadar akıcı cümleler kuruyor? Arkasındaki fikir, sandığınızdan daha sade: büyük dil modelleri temelde bir sonraki kelimeyi tahmin eden dev olasılık makineleridir.
Temel fikir: sonraki kelimeyi tahmin
Bir dil modeli, verilen metnin ardından hangi kelimenin gelme olasılığının en yüksek olduğunu hesaplar, o kelimeyi ekler ve işlemi tekrarlar. Cümleler, tek tek yapılan bu tahminlerin zinciriyle oluşur.
Her şeyin altında olasılık var
Model kesin “doğruları” değil, olasılıkları üretir. Bu yüzden yeni bilgiye ya da bağlama göre çıktının değişmesi, aslında olasılıkları güncellemeye dayanır; istatistikteki Bayesçi düşünme mantığına uzaktan akrabadır.
Nasıl bu kadar iyi oldular?
Bu modeller internet ölçeğinde devasa metinlerle eğitilir. Bu sayede dilin kalıplarını, üslubu ve pek çok konudaki bilgiyi istatistiksel olarak yakalarlar. Ama “anlamaları”, insan anlamasından farklıdır.
Sınırlarını bilmek
En olası kelimeyi üretmek, her zaman doğruyu üretmek demek değildir. Modeller emin bir tonla yanlış bilgi üretebilir (halüsinasyon) ve eğitim verisinin ötesini bilemez. Ayrıntı için büyük dil modeli sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası dil modelini bir sihir değil, güçlü bir tahmin aracı olarak görür: müthiş yararlı, ama körü körüne güvenilmez.
İlgili yazı: Yapay Zeka, Makine Öğrenmesi ve Derin Öğrenme