01

Definición en una frase

Arquitectura neuronal basada principalmente en atención que procesa relaciones entre elementos de una secuencia o varias modalidades.

Cómo interpretar este concepto

Un transformer es una arquitectura de red neuronal que utiliza atención para relacionar elementos de una secuencia. La atención permite combinar información de distintas posiciones; las representaciones de posición ayudan a conservar el orden. El artículo original la presentó para traducción automática, y posteriormente aparecieron múltiples variantes y usos.

Arquitectura y producto no son lo mismo. Dos modelos basados en transformers pueden diferir en datos, entrenamiento, tamaño, modalidades, límites y comportamiento. Tampoco todos los sistemas de inteligencia artificial usan esta arquitectura. Para elegir un modelo importa medir la tarea concreta, no asumir capacidades a partir de la etiqueta transformer.

Ejemplo práctico: en una frase con varias personas, la atención puede ayudar a relacionar un pronombre con información previa. Esto no demuestra comprensión humana ni garantiza que una explicación generada describa fielmente el cálculo interno. En aplicaciones con documentos, hay que evaluar referencias, negaciones y dependencias largas con ejemplos que tengan respuestas verificables.

02

Ejemplos rápidos

03

Conceptos relacionados

Fuentes consultadas