Dalle RNN ai Transformer: cosa è cambiato nelle architetture linguistiche e perché il progresso non è stato lineare

L’architettura conta, ma non spiega tutto

Un’architettura determina come vengono rappresentate ed elaborate le informazioni: quali elementi possono influenzarsi a vicenda, in quale ordine si svolgono i calcoli e quali parti del contesto sono disponibili quando si produce un risultato. Nei compiti linguistici, queste scelte hanno conseguenze pratiche. Per esempio, un sistema di traduzione deve mettere in relazione le parole dell’input con quelle dell’output e generare una sequenza coerente.

Un’architettura, però, non spiega da sola le capacità di un sistema. Contano anche l’obiettivo di addestramento, i dati disponibili, le risorse di calcolo e il modo in cui il modello viene adattato a un compito. Per questo è fuorviante descrivere la storia come una catena in cui ogni nuovo progetto supera e cancella quello precedente. Spesso cambia l’equilibrio tra vantaggi e costi, e tecniche diverse continuano a essere utili in contesti differenti.

La traduzione automatica è un caso di studio utile per esaminare questi cambiamenti, perché richiede di risolvere più problemi contemporaneamente: stimare quali espressioni di una lingua corrispondono a quelle di un’altra e produrre una frase nella lingua di destinazione. Anche la modellazione del linguaggio offre un altro esempio: imparare ad assegnare probabilità alle sequenze e, nel caso autoregressivo, prevedere quale token potrebbe venire dopo. Questi esempi permettono di confrontare scelte progettuali senza confondere l’architettura con il compito.

Prima delle reti ricorrenti: la traduzione statistica

Prima dei modelli neurali di traduzione descritti nei lavori esaminati qui, una linea di ricerca applicava metodi statistici al problema. L’articolo di Peter F. Brown e dei suoi collaboratori sui metodi statistici per la traduzione automatica documenta questo approccio iniziale. Invece di trattare la traduzione come un insieme fisso di regole linguistiche scritte a mano, questi metodi stimavano relazioni probabilistiche a partire dai dati e cercavano un risultato adeguato sulla base di tali stime.

La differenza rispetto a una rete neurale non consiste semplicemente nel fatto che un approccio usi i numeri e l’altro no: entrambi eseguono calcoli. La differenza rilevante riguarda il modo in cui vengono rappresentate le relazioni e organizzati i componenti coinvolti nel compito. In un sistema statistico, il problema viene formulato attraverso modelli probabilistici e procedure per scegliere una traduzione. Nei sistemi neurali encoder-decoder, invece, una rete apprende rappresentazioni interne della sequenza in ingresso e le usa per generare quella in uscita.

Questo punto di partenza è un riferimento, non una ricostruzione esaustiva dell’intera storia della traduzione statistica. Un articolo fondativo consente di descrivere un contributo specifico, ma non basta a ricostruire tutte le varianti, i sistemi operativi o le scelte tecniche sviluppate nel campo. Il passaggio ai metodi neurali non implica nemmeno che quelli precedenti siano scomparsi immediatamente, né che una singola architettura garantisca una traduzione migliore su qualsiasi insieme di dati.

Encoder-decoder ricorrente: codificare e generare passo dopo passo

Il lavoro di Sutskever, Vinyals e Le ha studiato un’architettura neurale encoder-decoder basata su reti LSTM per la traduzione dall’inglese al francese. L’encoder elabora la sequenza in ingresso e il decoder produce quella in uscita. Nella formulazione descritta nell’articolo, l’input viene rappresentato da un vettore di lunghezza fissa che il decoder usa per generare la traduzione.

Questo progetto rendeva possibile apprendere una trasformazione tra sequenze senza definire manualmente una corrispondenza per ogni parola. Encoder e decoder potevano apprendere, a partire da esempi di traduzione, rappresentazioni utili. Il vettore fisso, tuttavia, concentrava tutte le informazioni della frase in ingresso in una rappresentazione di dimensione limitata. La difficoltà potenziale aumenta quando la sequenza è lunga o contiene informazioni che il decoder deve recuperare con precisione: la rappresentazione deve conservare tutto ciò che serve per produrre l’output.

La ricorrenza introduce un altro compromesso. Lo stato che elabora una posizione dipende dallo stato precedente, quindi la sequenza viene percorsa passo dopo passo. Questa struttura offre un modo naturale di gestire input di lunghezza variabile e mantenere uno stato che riassume quanto è già stato elaborato. Al tempo stesso, limita la quantità di calcoli che si possono svolgere in parallelo lungo la sequenza, perché ogni passo ha bisogno del risultato del precedente. Non si tratta di un difetto astratto: incide sull’organizzazione del calcolo e sul costo dell’addestramento con sequenze.

È importante distinguere ciò che il lavoro ha mostrato da una conclusione più generale. L’articolo ha valutato una specifica architettura per la traduzione dall’inglese al francese; non dimostra che tutte le reti ricorrenti comprimano le informazioni nello stesso modo, né che un vettore fisso sia sempre insufficiente. Questo limite costituisce una motivazione per studiare meccanismi che permettano di consultare l’input in modo più diretto, non la prova che la ricorrenza sia inutile.

L’attenzione: consultare l’input senza abbandonare la ricorrenza

Bahdanau, Cho e Bengio hanno proposto un meccanismo di attenzione per apprendere congiuntamente l’allineamento e la traduzione. La motivazione era ridurre il collo di bottiglia costituito dalla rappresentazione dell’intera frase sorgente con un unico vettore fisso. Invece di obbligare il decoder a dipendere soltanto da quel riepilogo, il meccanismo gli permette di cercare parti rilevanti dell’input quando prevede ciascuna parola di destinazione.

In termini intuitivi, durante la generazione il decoder può assegnare un’importanza diversa ai vari elementi della frase sorgente, a seconda del passo in corso. Se deve produrre una determinata parola, può fare maggiore affidamento sulla parte pertinente dell’input che sul resto. Questo offre una rappresentazione più flessibile del legame tra input e output e rende esplicita un’operazione collegata all’allineamento, un problema che la traduzione deve comunque risolvere in qualche modo.

L’attenzione di questo lavoro non equivale ancora al Transformer. Viene integrata in un’architettura che conserva componenti ricorrenti: l’elaborazione della sequenza e la generazione continuano a essere organizzate passo dopo passo. Il cambiamento importante è che il decoder ottiene un accesso selettivo alle informazioni dell’input, invece di riceverle soltanto attraverso un singolo riepilogo. L’attenzione migliora quindi una dimensione del problema — l’accesso all’input — senza eliminare la dipendenza sequenziale tipica delle reti ricorrenti.

Questa distinzione aiuta a evitare una semplificazione frequente: attenzione non è il nome di un’unica architettura e non implica automaticamente una parallelizzazione completa. Può indicare un meccanismo integrato in modelli che mantengono la ricorrenza. Per capire che cosa cambia in ogni progetto bisogna chiedersi dove viene applicato il meccanismo, quali rappresentazioni consulta e quali operazioni continuano a dipendere dai passi precedenti.

Il Transformer: autoattenzione e un diverso equilibrio di calcolo

Il Transformer propone di elaborare le sequenze tramite meccanismi di attenzione, senza ricorrenza. L’articolo originale ha studiato questa architettura in compiti di traduzione automatica e ha presentato un encoder e un decoder composti da livelli di autoattenzione e reti feed-forward. L’autoattenzione permette alle rappresentazioni di una sequenza di incorporare informazioni provenienti da altre posizioni della stessa sequenza; nel decoder l’accesso viene limitato, così che la previsione non possa usare token futuri.

Eliminare la ricorrenza cambia l’organizzazione del calcolo. Durante l’addestramento, le rappresentazioni di posizioni diverse all’interno di un livello possono essere calcolate in parallelo, invece di aspettare il completamento del precedente passo ricorrente. Questa possibilità è uno dei vantaggi di parallelizzazione attribuiti al progetto originale. Non significa che tutte le operazioni del sistema avvengano simultaneamente: i livelli vengono comunque costruiti in sequenza e la generazione autoregressiva dell’output continua a richiedere la produzione di un token prima di poter condizionare quello successivo.

Il cambiamento introduce anche dei costi. Nell’autoattenzione, ogni posizione può essere messa in relazione con molte altre posizioni. Di conseguenza, all’aumentare della lunghezza della sequenza cresce il lavoro necessario a calcolare e memorizzare tali relazioni. L’architettura non elimina il costo computazionale: ne ridistribuisce le componenti. L’articolo originale confronta il costo, il numero di operazioni sequenziali e la complessità dei percorsi tra posizioni, oltre a misurare i risultati in compiti di traduzione. Questi confronti documentano vantaggi nelle condizioni valutate, non una regola universale valida per ogni compito o lunghezza di sequenza.

È importante anche non trasformare la storia in un passaggio istantaneo. Il Transformer ha mostrato un’alternativa in grado di sfruttare la parallelizzazione durante l’addestramento, ma le reti ricorrenti e altre tecniche non diventano per questo impossibili. La scelta architetturale dipende dal compito, dalla lunghezza del contesto, dalle risorse, dall’obiettivo e dal sistema di addestramento. La storia descrive un cambiamento importante nell’equilibrio tra accesso al contesto ed esecuzione sequenziale, non la scomparsa automatica di tutte le opzioni precedenti.

Modelli autoregressivi di tipo GPT: obiettivo e architettura

La linea di GPT mostra perché sia necessario distinguere l’architettura dall’obiettivo di addestramento. Il lavoro di OpenAI sul preaddestramento generativo descrive un processo in due fasi: prima il preaddestramento generativo su testo non etichettato, poi l’affinamento discriminativo per compiti di comprensione del linguaggio. Nell’obiettivo generativo autoregressivo, il modello impara a prevedere il token successivo condizionato sul contesto precedente. La generazione applica la stessa dipendenza in modo successivo: ogni nuovo token viene aggiunto al contesto per produrre quello seguente.

Nella famiglia di modelli di tipo GPT, il progetto si concentra sul componente decoder e sulla previsione autoregressiva, anziché costruire necessariamente un encoder e un decoder separati per la traduzione. In questo modo, la stessa interfaccia di modellazione — continuare una sequenza — può fungere da punto di partenza per compiti linguistici. Ma non ne consegue che la sola architettura produca capacità generali. Il risultato dipende anche dal testo usato per il preaddestramento, dalle dimensioni e dalla procedura di addestramento, e da come viene formulato e valutato il compito successivo.

Il preaddestramento può fornire parametri che vengono poi adattati a un compito, ma non va confuso né con l’affinamento né con la valutazione. Dire che un modello viene addestrato a prevedere il token successivo descrive un obiettivo; non equivale ad affermare che comprenda qualsiasi istruzione, disponga di informazioni aggiornate o risolva in modo affidabile ogni compito. Per sostenere affermazioni di questo tipo servono risultati relativi al modello e al compito specifici.

La relazione tra Transformer e GPT non è dunque una sinonimia. Transformer indica un’architettura basata sull’attenzione; GPT rimanda a una famiglia di modelli autoregressivi e a un approccio di preaddestramento generativo seguito, nel lavoro fondativo citato, da un adattamento ai compiti. Un’architettura può essere utilizzata con obiettivi diversi e un obiettivo di addestramento, da solo, non determina tutti gli usi o i comportamenti successivi.

Confronto trasversale: cosa è cambiato e cosa è rimasto

Il confronto più utile non è un elenco di vincitori, ma una serie di domande. Il modello elabora la sequenza passo dopo passo oppure può calcolare in parallelo le rappresentazioni di più posizioni? Come recupera le informazioni dell’input quando genera un output? Quale obiettivo viene ottimizzato? Quali costi emergono quando aumenta la lunghezza della sequenza? Quale parte del risultato dipende dal progetto e quale dai dati, dal calcolo o dall’adattamento? Queste domande aiutano ad analizzare i sistemi attuali senza presumere che una singola innovazione spieghi tutte le loro prestazioni.

Nelle RNN, lo stato ricorrente organizza le informazioni e crea una dipendenza tra i passi. Nell’attenzione ricorrente, il decoder può consultare parti dell’input, ma la ricorrenza resta presente. Il Transformer elimina la ricorrenza e consente una maggiore parallelizzazione durante l’addestramento, a costo di calcolare relazioni di attenzione il cui costo cresce con il numero di posizioni. In un modello autoregressivo, anche quando si usa un Transformer, la generazione di una sequenza resta passo dopo passo: l’architettura parallelizza una parte dell’addestramento, non la dipendenza logica di ogni token generato da quelli precedenti.

Resta anche la necessità di scegliere un obiettivo adeguato. Un’architettura di traduzione encoder-decoder e un modello che prevede il token successivo non vengono necessariamente addestrati a risolvere lo stesso compito nello stesso modo. Inoltre, una traduzione statistica e una neurale non differiscono soltanto per velocità o qualità: organizzano in modo diverso le stime e le rappresentazioni che portano a un risultato. I confronti delle prestazioni devono considerare il dataset, il protocollo e la metrica utilizzati; non è rigoroso generalizzare una singola misurazione a tutte le applicazioni.

La tabella seguente riassume alcuni compromessi generali. Non sostituisce l’esame di un articolo o di un’implementazione: varianti diverse della stessa famiglia possono modificare tali compromessi e le condizioni di valutazione possono cambiare il risultato.

Conclusione: l’architettura è una parte della spiegazione

Il percorso dai metodi statistici di traduzione ai modelli autoregressivi di tipo GPT non è una marcia inevitabile verso un unico modo di elaborare il linguaggio. L’encoder-decoder ricorrente ha appreso una trasformazione tra sequenze, ma riassumeva l’input in un vettore di lunghezza fissa. L’attenzione ha introdotto un accesso selettivo a parti dell’input, mantenendo la ricorrenza. Il Transformer ha eliminato la dipendenza ricorrente nell’elaborazione delle posizioni e ha favorito la parallelizzazione dell’addestramento, mantenendo però i costi dell’attenzione e la generazione token per token. GPT ha combinato un’architettura autoregressiva con il preaddestramento generativo e il successivo adattamento, senza che l’obiettivo o l’architettura, da soli, spieghino tutte le capacità osservate.

Questa storia aiuta a formulare domande concrete sui modelli attuali: a quale contesto possono accedere, quali parti del calcolo possono essere parallelizzate, come viene prodotto l’output e quale obiettivo il modello ha appreso. Non permette di stabilire automaticamente se un modello sia accurato, sicuro o adatto a un uso specifico. Per rispondere servono evidenze sul sistema e sul compito. Distinguere architettura, addestramento e valutazione evita sia il racconto semplicistico delle sostituzioni sia l’attribuzione delle capacità a un’unica innovazione.

Per proseguire, è utile collegare questa spiegazione a una guida introduttiva ai modelli linguistici, a un confronto tra approcci e a una panoramica delle tecniche di IA. In ciascun caso, la domanda fondamentale resta la stessa: quali evidenze descrivono il comportamento del sistema e quale parte costituisce un’interpretazione del suo progetto?

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.