Jeton

Équivalent anglaistoken

Plus petite unité de texte que peut traiter un modèle de langage. On peut imaginer le jeton comme une syllabe ou un fragment de mot : le modèle ne « lit » pas mot par mot comme un humain, mais par petits morceaux. Un jeton peut correspondre à un mot court complet, à une partie de mot, ou même à un seul caractère, selon la langue et le segmenteur utilisé. Les services d’IA générative facturent souvent leur usage au nombre de jetons traités.

SourceOQLF, Vocabulaire de l’IA.