Bir dil modeline bir cümle yazdığınızda, o cümleyi bizim gibi kelime kelime okumaz. Önce metni “token” adı verilen küçük parçalara böler. Token, modern yapay zekayı anlamanın gizli anahtarlarından biridir.
Token nedir?
Token, bir metnin modelin işlediği en küçük birimidir. Bir token bazen tam bir kelime, bazen bir kelimenin parçası, bazen de yalnızca bir noktalama işareti olabilir. Model, metni bu parçalar üzerinden anlar ve üretir.
Neden kelime değil de token?
Çünkü dünyadaki tüm kelimeleri bir listede tutmak imkânsızdır. Kelimeleri daha küçük, tekrar eden parçalara bölmek, modelin hiç görmediği ya da uydurulmuş kelimelerle bile başa çıkmasını sağlar. Bu, doğal dil işlemenin temel bir adımıdır.
Token’dan anlama
Metin token’lara bölündükten sonra, her token bir embedding’e (sayısal vektöre) dönüştürülür. Model asıl “anlama” ve “üretme” işini bu sayılar üzerinden yapar.
Neden sizi ilgilendirir?
Çünkü dil modelleri metni token cinsinden ölçer ve ücretlendirir; token limitleri, bir modelin tek seferde ne kadar metin işleyebileceğini belirler. Uzun bir belgeyi “hatırlayamamasının” sebebi de budur. Kavram için sözcüksel çözümleme sayfasına bakabilirsiniz.
İşin hocası ne yapar?
İşin hocası bir dil modelinin “kelimelerle değil, token’larla” düşündüğünü bilir; bu yüzden token limitlerini ve metni parçalama mantığını göz önünde tutar.
İlgili yazı: Yapay Zeka Ne Zaman Yanlış Araçtır?
Sıkça Sorulan Sorular
Token nedir?
Token, bir metnin dil modeli tarafından işlenen en küçük birimidir. Bir token tam bir kelime, bir kelimenin parçası ya da bir noktalama işareti olabilir.
Dil modelleri neden kelime yerine token kullanır?
Çünkü tüm kelimeleri bir listede tutmak imkânsızdır. Kelimeleri daha küçük, tekrar eden parçalara bölmek, modelin hiç görmediği kelimelerle bile başa çıkmasını sağlar.
Token limiti ne anlama gelir?
Bir modelin tek seferde işleyebileceği maksimum token sayısıdır. Bu limit, modelin ne kadar uzun bir metni bir arada değerlendirebileceğini belirler.