Définition en une phrase
Architecture neuronale basée principalement sur l'attention qui traite les relations entre les éléments d'une séquence ou de plusieurs modalités.
Comment interpréter ce concept
Un transformer est une architecture de réseau de neurones qui utilise l'attention pour relier les éléments d'une séquence. L'attention permet de combiner des informations de différentes positions ; les représentations de position aident à conserver l'ordre. L'article original l'a présentée pour la traduction automatique, et de multiples variantes et usages sont apparus par la suite.
L'architecture et le produit ne sont pas la même chose. Deux modèles basés sur des transformers peuvent différer en termes de données, d'entraînement, de taille, de modalités, de limites et de comportement. Tous les systèmes d'intelligence artificielle n'utilisent pas non plus cette architecture. Pour choisir un modèle, il est important de mesurer la tâche concrète, et non de supposer des capacités à partir de l'étiquette transformer.
Exemple pratique : dans une phrase avec plusieurs personnes, l'attention peut aider à relier un pronom à une information antérieure. Cela ne démontre pas une compréhension humaine ni ne garantit qu'une explication générée décrive fidèlement le calcul interne. Dans les applications avec documents, il faut évaluer les références, les négations et les dépendances longues avec des exemples ayant des réponses vérifiables.
