Una nuova versione con test e classifica aggiornati
Il 27 ottobre 2026 Artificial Analysis ha pubblicato la versione 5 del suo Intelligence Index, un indice composito che confronta i modelli su attività legate agli usi attuali. L’aggiornamento modifica sia le valutazioni sia il modo in cui leggere i risultati: secondo il fornitore, il 60% dell’indice si basa ora su set di test privati o risposte riservate.
Artificial Analysis indica Claude Opus 5.5, con impostazione di effort massimo, a 58 punti, davanti a GPT-6 Astra a 57 e GPT-6.1 Sol a 55. Sono risultati pubblicati da chi progetta e gestisce l’indice; le evidenze disponibili non includono una riproduzione indipendente che permetta di confermare quei punteggi. Inoltre, una classifica composita riflette uno specifico metodo: non dimostra che il modello al primo posto sia il migliore per ogni attività, costo o ambiente d’uso.
Due nuove valutazioni e tre aggiornamenti
La versione 5 aggiunge FrontierCode 2.0, un test privato di Cognition composto da 132 attività in repository open source. La valutazione considera se il responsabile del repository accetterebbe la modifica proposta dall’agente; l’annuncio specifica inoltre che le attività restano private per ridurre il rischio di contaminazione. Artificial Analysis dichiara di eseguire ogni attività tre volte nel proprio ambiente di valutazione. Questo descrive la procedura dichiarata, ma non dimostra che la contaminazione sia stata eliminata né che terzi possano riprodurre i risultati.
L’altro nuovo test, Terminal-Bench-Science, comprende 70 attività di ricerca scientifica svolte in un ambiente terminale. Secondo l’annuncio, esperti preparano e revisionano le attività e un’attività è considerata superata solo se tutti i suoi test hanno esito positivo. L’aggiornamento introduce inoltre HLE-Diamond, una selezione di 1.000 domande suddivise equamente tra ragionamento e conoscenza; AA-Omniscience v1.1, con modifiche al set di domande; e un sottoinsieme difficile, privato e composto da 40 domande di CritPt v2.
Che cosa misura ciascun cambiamento annunciato
Descrizioni e percentuali riassumono il metodo dichiarato da Artificial Analysis; non costituiscono un audit indipendente delle valutazioni.
| Valutazione | Modifica o ambito | Peso indicato |
|---|---|---|
| FrontierCode 2.0 | Attività di programmazione in repository; si valuta se verrebbe accettata la modifica dell’agente. | 15% |
| Terminal-Bench-Science | Flussi di ricerca scientifica in un terminale. | 15% |
| HLE-Diamond | 1.000 domande: metà di ragionamento e metà di conoscenza. | 10% |
| AA-Omniscience v1.1 | Set rivisto per conoscenza e allucinazioni. | 15% |
| CritPt v2, sottoinsieme difficile | 40 domande private di fisica di livello di ricerca. | 10% |
Come sono distribuiti i pesi dell’indice
Intelligence Index v5 assegna il 25% a ciascuna di quattro aree: lavoro della conoscenza, programmazione, scienza e valutazione generale. All’interno di queste aree, il peso è ripartito tra nove valutazioni. Il risultato dipende quindi sia dalle prestazioni in ciascun test sia dalle scelte relative ai test inclusi e al peso assegnato a ognuno.
La composizione conta anche quando si confrontano versioni diverse. Artificial Analysis mantiene AA-Briefcase, AutomationBench-AA, GDP.pdf e Terminal-Bench 4.0; aggiunge i nuovi test e le versioni aggiornate, ed elimina GDPval-AA v2.1, SciCode e AA-LCR v1.1. Di conseguenza, una differenza tra v4.3 e v5 non va interpretata automaticamente come un miglioramento o un peggioramento equivalente delle capacità generali: è cambiato il gruppo di valutazioni e può essere cambiato anche il comportamento dei modelli rispetto a quelle attività specifiche.
Pesi per categoria
Secondo la metodologia descritta nell’annuncio, il peso totale di ciascuna categoria è pari al 25% dell’indice.
| Categoria | Valutazioni e pesi |
|---|---|
| Lavoro della conoscenza | AA-Briefcase: 15%; AutomationBench-AA: 5%; GDP.pdf: 5% |
| Programmazione | FrontierCode 2.0: 15%; Terminal-Bench 4.0: 10% |
| Scienza | Terminal-Bench-Science: 15%; CritPt v2, sottoinsieme difficile: 10% |
| Generale | AA-Omniscience v1.1: 15% (10% accuratezza e 5% assenza di allucinazioni); HLE-Diamond: 10% |
In questa misurazione aumenta il divario tra i modelli open-weight
Nella classifica pubblicata, Kimi K3.1 Pro ottiene 46 punti ed è il modello open-weight meglio posizionato, anche se l’annuncio precisa che i suoi pesi non erano ancora stati pubblicati. Artificial Analysis confronta questo punteggio con i 58 punti di Claude Opus 5.5 e descrive un divario di 12 punti, rispetto ai 3 di v4.3. Il confronto riguarda i punteggi e le versioni presentati dal fornitore; da solo non dimostra che i cambiamenti dell’indice abbiano causato l’ampliamento del divario.
Se si considerano soltanto i modelli i cui pesi sono indicati nell’annuncio come già pubblicati, DeepSeek V4.1 Flash 1017 e GLM-5.3 sono in testa al gruppo con 32 punti ciascuno. In questa specifica classifica, la categoria «open-weight» non implica necessariamente che i pesi siano già disponibili: il caso di Kimi mostra perché è utile distinguere la categoria usata per il confronto dall’effettiva disponibilità del modello.
Un indice non sostituisce la valutazione del caso d’uso
L’indice mostra anche che nessun modello è al primo posto in tutte le valutazioni. Nei risultati pubblicati, Claude Opus 5.5 guida FrontierCode 2.0, HLE-Diamond e AA-Omniscience v1.1; GPT-6 Astra è in testa a Terminal-Bench-Science e al sottoinsieme difficile di CritPt v2. Altri modelli si classificano al primo posto in test specifici di lavoro della conoscenza, automazione, generazione di documenti o attività in terminale. Questa varietà indica che la posizione complessiva può nascondere punti di forza e debolezze specifici.
Anche il costo e la configurazione cambiano il confronto pratico. Artificial Analysis pubblica differenze considerevoli nel costo per attività tra i modelli ai vertici della classifica e segnala che il livello di effort può associarsi a variazioni rilevanti di punteggio e costo. Questi valori dipendono dalle condizioni di esecuzione descritte dal fornitore e non garantiscono lo stesso rendimento o prezzo in una specifica applicazione. Per scegliere un modello è utile confrontare attività rappresentative, requisiti di qualità, latenza, costo e condizioni di distribuzione propri.
Come usare la classifica per una decisione d’acquisto
L’indice è un riferimento comparativo, non una garanzia di risultati in una specifica applicazione.
- 01Definisci le attività reali e i criteri di successo prima di scegliere un modello.
- 02Verifica quali valutazioni dell’indice assomigliano a quelle attività e quanto pesano sul punteggio complessivo.
- 03Confronta i modelli con la stessa impostazione di effort e condizioni disponibili; considera separatamente costo, latenza e vincoli di distribuzione.
- 04Prova un campione rappresentativo dei tuoi casi: una posizione elevata nell’indice non certifica le prestazioni su dati o flussi di lavoro che non sono stati valutati.
Trasparenza e limiti delle evidenze pubblicate
L’uso di set privati può ridurre l’esposizione pubblica di domande e risposte, ma limita anche la possibilità per terzi di ripetere esattamente i test. L’annuncio identifica valutazioni private e descrive alcuni controlli, come mantenere riservate le attività di FrontierCode 2.0 e rimuovere da AA-Omniscience v1.1 domande pubbliche o ormai sature. Le evidenze disponibili non descrivono in misura sufficiente i controlli contro la contaminazione per tutti i test e non consentono di confermarne gli effetti; non è quindi giustificato affermare che le attività siano immuni dalla contaminazione.
La lettura più prudente è considerare v5 una misurazione composita pubblicata dal suo responsabile, utile per osservare differenze in base a quel protocollo e ai relativi pesi. I punteggi specifici, il confronto con le versioni precedenti e la distanza tra categorie di modelli vanno interpretati entro questi limiti. La pubblicazione dell’indice non equivale a una replica indipendente e non consente di estendere automaticamente la classifica a tutte le attività, gli utenti o le configurazioni.
Questioni aperte
- I punteggi e le classifiche citati provengono dall’annuncio di Artificial Analysis; le evidenze disponibili non includono una replica indipendente dei risultati.
- L’annuncio descrive misure relative alla riservatezza delle attività e alla revisione dei set, ma le evidenze disponibili non permettono di verificare in modo indipendente come venga controllata la contaminazione in tutte le valutazioni.
- La differenza tra v4.3 e v5 non permette di isolare l’effetto di ciascun cambiamento metodologico, dei pesi e delle prestazioni dei modelli.
Continua a esplorare
Fonti consultate
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione