Academy GenZ

Akademik Sözlük

Belirteç (token)

İngilizce: token

Büyük dil modellerinin metni işlerken kullandığı en küçük birim; bir sözcük, sözcüğün bir parçası, bir ek ya da bir noktalama işareti olabilir. Türkçe gibi eklemeli dillerde bir sözcük çoğu zaman birden fazla belirtece bölünür. Modellerin okuyabildiği ve üretebildiği metin uzunluğu (bağlam penceresi) ve kullanım ücretleri genellikle belirteç sayısıyla ifade edilir.

Yakın terimler