Definição numa frase
Arquitetura neuronal baseada principalmente em atenção que processa relações entre elementos de uma sequência ou várias modalidades.
Como interpretar este conceito
Um transformer é uma arquitetura de rede neuronal que utiliza atenção para relacionar elementos de uma sequência. A atenção permite combinar informação de posições distintas; as representações de posição ajudam a conservar a ordem. O artigo original apresentou-a para tradução automática, e posteriormente surgiram múltiplas variantes e usos.
Arquitetura e produto não são a mesma coisa. Dois modelos baseados em transformers podem diferir em dados, treino, tamanho, modalidades, limites e comportamento. Também nem todos os sistemas de inteligência artificial usam esta arquitetura. Para escolher um modelo, importa medir a tarefa concreta, não assumir capacidades a partir da etiqueta transformer.
Exemplo prático: numa frase com várias pessoas, a atenção pode ajudar a relacionar um pronome com informação anterior. Isto não demonstra compreensão humana nem garante que uma explicação gerada descreva fielmente o cálculo interno. Em aplicações com documentos, é necessário avaliar referências, negações e dependências longas com exemplos que tenham respostas verificáveis.
