Definizione in una frase
Architettura neurale basata principalmente sull'attenzione che elabora le relazioni tra gli elementi di una sequenza o di più modalità.
Come interpretare questo concetto
Un transformer è un'architettura di rete neurale che utilizza l'attenzione per collegare elementi di una sequenza. L'attenzione consente di combinare informazioni da diverse posizioni; le rappresentazioni di posizione aiutano a conservare l'ordine. L'articolo originale la presentò per la traduzione automatica, e successivamente apparvero molteplici varianti e usi.
Architettura e prodotto non sono la stessa cosa. Due modelli basati su transformer possono differire per dati, addestramento, dimensione, modalità, limiti e comportamento. Inoltre, non tutti i sistemi di intelligenza artificiale utilizzano questa architettura. Per scegliere un modello è importante misurare il compito specifico, non assumere capacità sulla base dell'etichetta transformer.
Esempio pratico: in una frase con più persone, l'attenzione può aiutare a collegare un pronome a informazioni precedenti. Questo non dimostra la comprensione umana né garantisce che una spiegazione generata descriva fedelmente il calcolo interno. Nelle applicazioni con documenti, è necessario valutare riferimenti, negazioni e dipendenze lunghe con esempi che abbiano risposte verificabili.
