OpenProblemBench valuta l’IA con 82 problemi scientifici ancora irrisolti

Una valutazione che va oltre le risposte già note

OpenProblemBench è un benchmark pensato per mettere alla prova i sistemi di intelligenza artificiale con problemi ancora aperti di matematica e fisica teorica. Il lavoro, pubblicato come preprint su arXiv l’8 ottobre 2026, presenta 82 problemi tratti dalla letteratura di queste discipline. L’obiettivo è valutare qualcosa di diverso dal rispondere a domande con soluzioni già stabilite: capire se un modello può fornire passaggi validi verso una questione scientifica tuttora irrisolta.

La motivazione è che una risposta può sembrare convincente e, tuttavia, non rappresentare un progresso matematico o scientifico. Nei problemi aperti non sempre esiste una soluzione di riferimento con cui confrontare automaticamente l’output. Il benchmark cerca di affrontare questa difficoltà fornendo un contesto di ricerca e affidando la valutazione delle risposte a modelli giudicanti. L’abstract del lavoro descrive il progetto e i risultati, ma da solo non basta a stabilire come siano stati applicati tutti i criteri a ciascun problema.

Che cosa comprende l’insieme dei problemi

Gli autori descrivono gli 82 casi come problemi irrisolti tratti dalla letteratura matematica e di fisica teorica. Per ciascuno, il benchmark fornisce il contesto della ricerca, le ipotesi e i progressi precedenti. L’intento è fare in modo che i sistemi non partano da una domanda isolata, ma da informazioni pertinenti per indagare il problema.

La selezione si concentra su questioni per le quali le affermazioni matematiche o computazionali decisive ammettono verifiche relativamente chiare. Questo delimita il tipo di problemi inclusi: l’insieme non rappresenta necessariamente tutte le aree delle scienze teoriche né ogni sfida di ricerca aperta. L’abstract disponibile non specifica i criteri di inclusione caso per caso, come sia stato stabilito che ogni problema fosse ancora aperto né quale documentazione accompagni ciascun quesito. Per trarre conclusioni sulla copertura o sulla riproducibilità occorre quindi consultare il testo completo e i materiali associati.

Come vengono valutate le risposte

Secondo l’abstract del preprint, quattro modelli valutatori esaminano in modo indipendente ogni risposta. Valutano tre dimensioni: correttezza, completezza e grado di avanzamento. La valutazione avviene senza soluzioni di riferimento, una scelta che consente di lavorare su problemi aperti, ma rende importante capire la rubrica e i limiti del giudizio automatizzato.

L’abstract non afferma che i quattro valutatori siano esperti umani o verificatori formali e non descrive un confronto con un riferimento esperto. I loro giudizi vanno quindi intesi come valutazioni prodotte da modelli, non come certificazione indipendente di una dimostrazione matematica. In alcuni casi può essere più diretto verificare un’affermazione computazionale decisiva; convalidare una dimostrazione o stabilire se un argomento copra tutti i casi può invece richiedere una revisione specialistica. Le informazioni fornite non consentono di precisare quali metodi di verifica siano stati usati per ciascun compito.

I risultati riportati nel preprint

Su sette configurazioni valutate, il lavoro riferisce che GPT-6-Astra ha ottenuto il più alto tasso medio di risoluzione giudicata: 14,0%. I modelli open source di dimensioni complete esaminati hanno raggiunto valori compresi tra il 5,5% e il 6,7%, mentre le configurazioni Flash si sono attestate tra il 2,4% e il 3,7%. Queste cifre descrivono i risultati riportati per le configurazioni studiate: non sono una misura universale delle capacità scientifiche né un confronto con tutti i modelli disponibili.

Gli autori collegano inoltre, sulla base di confronti tra casi, i risultati più solidi a cambiamenti nella rappresentazione del problema, ad argomenti generali che vanno oltre le evidenze finite e a dimostrazioni dei passaggi necessari per completare una soluzione. Queste osservazioni offrono indicazioni sulle risposte che hanno ricevuto valutazioni migliori, ma l’abstract non consente di dedurre che ciascun elemento produca un miglioramento generale o si ripeta in altre discipline o benchmark. Un punteggio positivo non equivale neppure al riconoscimento da parte di specialisti che il problema sia risolto.

Che cosa serve ancora per interpretare e riprodurre la valutazione

Il risultato va inquadrato nel suo stato documentale: le informazioni disponibili riguardano la prima versione dell’articolo su arXiv. Non risulta indicato che il lavoro abbia superato una revisione paritaria, che sia stato replicato in modo indipendente o che i suoi punteggi siano stati convalidati esternamente. Questo non invalida il benchmark, ma suggerisce di considerare le conclusioni come risultati preliminari dello studio descritto.

Per valutarne la solidità servono dettagli riproducibili sui quesiti, sulle istruzioni e sulle rubriche, sulle risposte esaminate, sui criteri per stabilire che cosa conti come progresso e sul grado di accordo tra i valutatori. È utile sapere anche come siano stati confrontati i giudizi automatici con quelli degli specialisti o con verifiche formali, e quali misure siano state adottate rispetto alla possibile presenza dei problemi o delle relative soluzioni nei dati di addestramento. L’abstract disponibile non chiarisce questi aspetti; di conseguenza, non si può affermare né che vi sia stata contaminazione né che sia stata esclusa.

Uno strumento di valutazione, non un certificato di scoperta

OpenProblemBench propone di misurare i progressi in compiti le cui risposte non possono essere confrontate facilmente con una soluzione nota. I suoi elementi centrali sono un insieme di problemi aperti, informazioni di contesto e una valutazione di correttezza, completezza e avanzamento condotta da quattro modelli. L’approccio affronta una difficoltà reale dei benchmark tradizionali, ma dipende dalla qualità della selezione, dalla chiarezza delle verifiche e dall’affidabilità dei valutatori.

La conclusione più aderente alle evidenze è che il preprint riporta risultati promettenti secondo il proprio protocollo, con GPT-6-Astra al primo posto tra le configurazioni studiate. Per trasformare questo segnale in evidenza più ampia servono dettagli verificabili, valutazioni esperte e repliche indipendenti. Fino ad allora, il benchmark è una proposta per indagare capacità e limiti dell’IA nelle scienze teoriche fondamentali, non la dimostrazione che i sistemi abbiano risolto problemi aperti in senso scientifico.

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.