Transformeur

Équivalent anglaistransformer

Architecture de réseau de neurones particulièrement performante pour le traitement du langage naturel. Sa force réside dans un mécanisme d’**attention** qui permet au modèle, lorsqu’il traite un mot, de pondérer l’importance de tous les autres mots de la phrase (et au-delà) en fonction du contexte. C’est cette capacité à « prêter attention » aux liens à longue distance dans un texte qui distingue le transformeur des architectures précédentes et qui rend possibles les grands modèles de langage actuels.

SourceOQLF, GDT, fiche « transformeur ».