Anthropic testa ricercatori automatizzati per mitigare dieci problemi di allineamento
Immagine generata dalla Redazione di Inferama
01

Che cosa ha testato Anthropic

Anthropic ha pubblicato un esperimento in cui Claude ha agito da ricercatore automatizzato sull’allineamento: ha cercato metodi e dati per addestrare modelli e ridurre problemi specifici, misurati tramite benchmark. Il compito non era dimostrare che un modello fosse sicuro in ogni circostanza, ma migliorare risultati definiti in anticipo.

Il sistema ha lavorato su dieci categorie di problemi di allineamento, affrontate separatamente. Tra gli esempi descritti da Anthropic figurano le violazioni della privacy e l’adulazione, cioè la tendenza ad assecondare l’utente anche quando non favorisce una risposta veritiera o appropriata. Ogni categoria è stata valutata con test specifici.

Anthropic afferma che i metodi di Claude hanno migliorato i benchmark obiettivo in tutte e dieci le categorie, senza ridurre le prestazioni nelle capacità misurate dallo studio. La conclusione dipende da quell’insieme specifico di test: non comprende ogni comportamento possibile e non equivale a certificare la sicurezza generale dei modelli.

02

Come funzionava il ciclo di ricerca

Per ciascun problema, Claude cercava nella letteratura, proponeva un metodo e dati di addestramento, addestrava un modello e ne esaminava i risultati. I punteggi orientavano i tentativi successivi, così il sistema poteva iterare sulla base delle valutazioni precedenti, invece di presentare una singola proposta senza verificarla.

Lo studio separava i benchmark usati per orientare la ricerca da quelli riservati alla valutazione della generalizzazione. Inoltre, un agente supervisore leggeva i metodi che Claude intendeva eseguire. Anthropic ha anche vietato al sistema di trasferire direttamente al modello obiettivo il proprio allineamento. Questi controlli delimitavano l’esperimento, ma non garantivano da soli che ogni intervento fosse corretto o sicuro.

La misura principale era la percentuale del divario di sicurezza colmata: quanto il modello si avvicinava al punteggio perfetto teorico dei benchmark selezionati. Gli interventi che peggioravano i risultati nei controlli di capacità scelti venivano respinti. La metrica descrive i progressi in quelle valutazioni, non una misura universale dell’allineamento.

Dalla proposta alla valutazione

Il processo ripeteva una sequenza di ricerca, addestramento e valutazione. Un punteggio favorevole indicava un risultato nei test selezionati, non una garanzia di sicurezza al di fuori di essi.

  1. 01Claude consultava la letteratura e proponeva un metodo e dati di addestramento per un problema specifico.
  2. 02Un agente supervisore esaminava il metodo prima dell’esecuzione.
  3. 03Il sistema addestrava il modello obiettivo e un valutatore indipendente misurava i risultati.
  4. 04I punteggi orientavano nuovi tentativi; i benchmark riservati servivano a verificare la generalizzazione.
03

I risultati comunicati da Anthropic

Anthropic afferma che Claude ha migliorato i risultati dei benchmark obiettivo in tutte e dieci le categorie studiate. I metodi selezionati hanno funzionato anche in valutazioni di allineamento che il sistema non aveva visto durante la ricerca e in Petri, uno strumento open source che simula scenari avversari su più turni. Petri è un’approssimazione per valutare i comportamenti, non una prova diretta della sicurezza nel mondo reale.

Anthropic riferisce inoltre che i metodi sono rimasti efficaci su modelli fino a 4,7 volte più grandi di quelli ottimizzati durante la ricerca. In un test sull’inganno con Gemma-2-2B, Claude ha effettuato più di 150 tentativi. Il tentativo migliore ha colmato l’82% del divario di sicurezza; la media comunicata su più esecuzioni è stata dell’85%. Queste cifre descrivono misure diverse: la prima riguarda l’esecuzione presentata come esempio, la seconda la media di più esecuzioni.

In un altro esperimento, Claude Sonnet 5 ha lavorato per 60 ore per mitigare problemi di allineamento in una versione preliminare di Claude Opus 4.8. Anthropic afferma che la soluzione vincente ha raggiunto punteggi di allineamento vicini a quelli dei suoi modelli di produzione e ha utilizzato poco più di 2.000 esempi di addestramento. Il confronto di efficienza presentato dall’azienda riguarda la propria procedura di allineamento in produzione; non dimostra che il metodo possa sostituire tale procedura su altri modelli o in altri contesti.

Che cosa indicano i risultati comunicati

Le cifre riassumono test e configurazioni specifici. Non vanno interpretate come misure universali della sicurezza.

RisultatoChe cosa indicaChe cosa non dimostra
Miglioramento in dieci categorieClaude ha migliorato i benchmark selezionati per ciascuna categoria.Che siano stati coperti tutti i possibili problemi di allineamento.
Valutazioni riservate e PetriAlcuni metodi hanno funzionato al di fuori dei test usati durante la ricerca.Che le valutazioni riproducano pienamente i rischi dei sistemi distribuiti.
Trasferimento a modelli più grandiAnthropic ha osservato efficacia su modelli fino a 4,7 volte più grandi di quelli ottimizzati.Che il risultato si generalizzi a qualsiasi modello o scala.
04

Metodi specifici e limiti della valutazione

Nel lavoro sull’adulazione, Anthropic afferma che il 98% dei metodi proposti ha utilizzato una tecnica già pubblicata: addestrare un modello sulle proprie risposte non adulatorie. Claude ha impiegato l’indirizzamento delle attivazioni per generare esempi meno adulatori. La tecnica modifica le rappresentazioni interne durante la generazione; il suo uso nell’esperimento non dimostra che elimini l’adulazione in generale.

Per le violazioni della privacy, Anthropic cita ConfAIde, PrivaCI-Bench e PrivacyLens come benchmark. L’azienda afferma che Claude ha migliorato le prestazioni misurate su questi test, ma il riepilogo pubblicato non attribuisce il risultato a un singolo intervento né fornisce qui una suddivisione che permetta di confrontare i benchmark uno per uno.

Il numero e la varietà delle valutazioni sono importanti. In un test di ablazione descritto nel rapporto, l’ottimizzazione su una sola valutazione di prompt injection ha prodotto un miglioramento su quel test, ma non una generalizzazione affidabile ad altri test non visti. Il risultato mostra perché un punteggio elevato su un singolo benchmark non basta a sostenere che il problema sottostante sia stato mitigato.

05

Il confronto con i ricercatori umani

Anthropic ha confrontato i metodi automatizzati con le proposte di ricercatori umani. L’azienda afferma che Claude ha superato la migliore proposta umana nelle sette categorie per cui erano disponibili proposte comparabili; nell’esempio dell’inganno, il metodo migliore ha ottenuto risultati migliori del 20% rispetto alla proposta umana più forte.

Il confronto non era paritario. I ricercatori umani potevano dedicare fino a otto ore alla formulazione delle proposte, ma non potevano provarle e rivederle dopo averne conosciuto i punteggi. Claude, invece, poteva effettuare tentativi successivi e usare le valutazioni per orientare quelli seguenti. Perciò, il risultato non dimostra che Claude superi i ricercatori umani a parità di condizioni.

Anthropic presenta il confronto come un’indicazione del fatto che una ricerca automatizzata possa esplorare metodi promettenti da far valutare e perfezionare alle persone. Questa interpretazione è più circoscritta dell’affermazione che il sistema possa sostituire chi fa ricerca sull’allineamento.

Come interpretare il confronto

I gruppi hanno avuto opportunità diverse di testare e migliorare i propri metodi.

AspettoRicercatori umaniRicercatori automatizzati
Proposta inizialeFino a otto ore per formulare i metodi.Il sistema proponeva metodi da sottoporre a valutazione.
Iterazione basata sui punteggiNon potevano rivedere la proposta dopo aver conosciuto i risultati.Potevano usare i punteggi per orientare nuovi tentativi.
Interpretazione del risultatoConfronto basato su proposte senza un’iterazione equivalente.Prova di ricerca iterativa, non di superiorità a parità di condizioni.
06

Che cosa non dimostra lo studio

Le categorie esaminate erano più limitate dei problemi possibili nei sistemi di produzione. Anthropic riconosce di non aver misurato, per esempio, i pregiudizi politici e che alcuni problemi possono verificarsi così raramente, o essere così recenti, da non avere ancora un test adeguato per misurarli.

Anche i controlli delle capacità avevano una portata limitata. Lo studio ha respinto i metodi che peggioravano le capacità misurate, ma i test selezionati non coprivano tutte le capacità importanti. Pertanto, il fatto che gli interventi non abbiano degradato quei risultati non garantisce che abbiano preservato ogni altra abilità utile.

Anthropic non ha verificato neppure se i miglioramenti persistessero dopo un addestramento per rinforzo prolungato su altri compiti. L’azienda riconosce inoltre che Petri e le altre valutazioni sono approssimazioni della reale disallineazione. L’efficacia comunicata è un risultato sperimentale, non una garanzia sul comportamento dei sistemi distribuiti.

Lo studio offre segnali iniziali del fatto che la ricerca automatizzata potrebbe aiutare a sviluppare metodi di post-addestramento per problemi definiti. La conclusione più solida riguarda una ricerca iterativa che ha migliorato benchmark selezionati, comprese alcune valutazioni riservate. La sicurezza generale, la persistenza dei miglioramenti e la loro utilità in condizioni di produzione restano al di fuori di ciò che l’esperimento dimostra.

07

Implicazioni per la ricerca sull’allineamento

Il contributo più concreto è un flusso di lavoro in cui un sistema cerca, testa e documenta interventi per ridurre problemi misurabili. La supervisione e la separazione delle valutazioni possono aiutare a controllare il processo, ma non sostituiscono la verifica della portata dei test né la valutazione dei risultati.

Per valutare le applicazioni future, conviene distinguere tre domande: se l’intervento migliora i test usati per svilupparlo, se si trasferisce a valutazioni che il sistema non ha visto e se mantiene i suoi effetti al di fuori di quella configurazione. Lo studio presenta risultati sulle prime due in alcuni casi; non risolve la terza in condizioni di produzione più ampie.

Anthropic afferma di aver reso pubblico l’ambiente di ricerca automatizzata affinché altri possano svilupparlo e usarlo con i propri modelli. La disponibilità dell’ambiente non implica che siano inclusi tutti i dati, i risultati o le procedure necessari per riprodurre ogni risultato. Lo studio sostiene l’esplorazione di strumenti automatizzati con controlli e valutazioni circoscritti, non la conclusione generale che l’allineamento possa già essere automatizzato completamente.

Tre domande per interpretare una mitigazione

Queste domande distinguono un miglioramento in un test da un’affermazione più ampia sul comportamento di un modello.

  1. 01Il modello ha migliorato le valutazioni usate per orientare il metodo?
  2. 02Il miglioramento è rimasto nei test riservati che il sistema non aveva visto?
  3. 03È stato verificato che l’effetto persista con altri modelli, compiti e condizioni d’uso?
08

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione