Büyük dil modellerinin en bilinen zaafı, bazen kendinden emin bir şekilde yanlış ya da uydurma bilgi üretmesidir; buna halüsinasyon denir. Bu sorunu azaltmak için geliştirilen en etkili yöntemlerden biri RAG’dir (retrieval-augmented generation).
Sorun: modelin belleği sınırlı ve sabittir
Bir dil modeli, eğitildiği veriye ve o verinin kesim tarihine mahkûmdur. Güncel ya da özel bir bilgiyi bilmediğinde, boşluğu “doldurmaya” çalışır ve işte o zaman uydurabilir.
RAG nasıl çalışır?
RAG, modele cevap üretmeden önce güvenilir bir kaynaktan ilgili bilgiyi bulup (retrieval) veren bir yaklaşımdır. Model, artık hafızasından değil, önüne konan gerçek belgelerden yararlanarak cevap yazar. Böylece “uydurma” ihtimali ciddi biçimde azalır.
Embedding’lerin rolü
İlgili bilgiyi bulma adımı genellikle embedding’lere dayanır: soru ve belgeler sayısal vektörlere çevrilir, anlamca en yakın belgeler seçilir. Yani RAG, arama ile üretimi birleştirir.
Neden önemli?
RAG, dil modellerini güncel, özel ve doğrulanabilir bilgiyle çalışabilir hale getirir. Kurumsal asistanlardan arama motorlarına kadar pek çok modern uygulamanın temelinde bu yaklaşım vardır. Kavram için RAG sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası bir yapay zekadan kritik bilgi alırken, o bilginin bir kaynağa dayanıp dayanmadığına bakar; çünkü kaynaklı cevap, uydurmaya karşı en iyi kalkandır.
İlgili yazı: Fine-tuning (İnce Ayar)
Sıkça Sorulan Sorular
RAG (retrieval-augmented generation) nedir?
Bir dil modelinin cevap üretmeden önce güvenilir bir kaynaktan ilgili bilgiyi bulup kullandığı bir yaklaşımdır. Model hafızasından değil, önüne konan gerçek belgelerden yararlanarak cevap verir.
RAG halüsinasyonu nasıl azaltır?
Modele cevap üretmeden önce gerçek ve güncel belgeler sağlayarak. Model boşluğu tahminle doldurmak yerine verilen kaynaklara dayandığı için uydurma ihtimali ciddi biçimde düşer.
RAG neden embedding kullanır?
İlgili belgeleri bulmak için. Soru ve belgeler embedding adı verilen sayısal vektörlere çevrilir ve anlamca en yakın belgeler seçilerek modele verilir.