Anthropic orienta Sonnet 4.5 verso le attività difensive
Anthropic descrive un progetto di ricerca volto a migliorare l’utilità di Claude nella cybersicurezza difensiva. L’azienda ha concentrato parte dello sviluppo di Claude Sonnet 4.5 sul rilevamento di vulnerabilità nel codice, sulla proposta di correzioni e sulla verifica di debolezze in infrastrutture simulate. L’obiettivo dichiarato è aiutare a individuare i difetti prima del rilascio e a correggerli nei sistemi già esistenti.
Secondo l’azienda, Sonnet 4.5 eguaglia o supera Claude Opus 4.1 in diversi aspetti della cybersicurezza ed è anche più veloce e meno costoso. Il confronto descrive le prestazioni osservate da Anthropic nei propri test: non significa che il modello superi i professionisti della sicurezza in ogni attività o sia pronto a sostituire i processi consolidati.
Anthropic afferma di aver dato priorità ad attività difensive, come individuare e correggere codice vulnerabile, evitando miglioramenti chiaramente orientati a usi offensivi, quali lo sfruttamento avanzato delle vulnerabilità o la scrittura di malware. Questa scelta definisce lo scopo del lavoro, ma non elimina la natura a doppio uso delle capacità di cybersicurezza: individuare una vulnerabilità può aiutare a correggerla, ma anche facilitarne lo sfruttamento.
La pubblicazione presenta i risultati come parte di una strategia per accelerare l’adozione difensiva dell’IA. Riconosce inoltre che le valutazioni non coprono tutte le attività di sicurezza e che i problemi reali comportano spesso più complessità e dettagli di implementazione rispetto agli esercizi di laboratorio.
Che cosa misurano le valutazioni
Anthropic ha valutato Sonnet 4.5 con Cybench e CyberGym, due test che coprono attività diverse. Cybench raccoglie sfide delle competizioni Capture-the-Flag; CyberGym valuta se un agente può riprodurre vulnerabilità note in progetti open source e scoprirne di nuove. I risultati non misurano una capacità generale di cybersicurezza: riflettono le prestazioni su questi insiemi di attività e in condizioni specifiche.
L’azienda sottolinea di aver ripetuto le prove più volte. In un test probabilistico, un maggior numero di tentativi può aumentare la possibilità che almeno uno abbia successo; perciò, un tasso calcolato su dieci o trenta tentativi non equivale al risultato di una singola esecuzione né alla probabilità di successo in qualsiasi sistema reale. Anthropic spiega che i tentativi multipli dovrebbero avvicinarsi al modo in cui un attaccante o un difensore motivato potrebbe affrontare un problema concreto.
In Cybench, Sonnet 4.5 ha risolto il 76,5% delle sfide con dieci tentativi per attività, secondo Anthropic. La percentuale riguarda un sottoinsieme di 37 dei 40 problemi originali: tre sono stati esclusi per difficoltà di implementazione. L’azienda afferma anche che Claude ha impiegato 38 minuti in una specifica sfida di analisi del traffico di rete, estrazione di malware e analisi del programma. Questa durata riguarda quella prova, non è una media generale.
In CyberGym, Anthropic riporta un punteggio del 28,9% con un limite di due dollari di query API per vulnerabilità, lo stesso vincolo di costo che attribuisce alla classifica pubblica. Con trenta tentativi per attività e senza quel limite, afferma che il modello ha riprodotto vulnerabilità nel 66,7% dei programmi. Il secondo risultato è stato ottenuto in condizioni diverse e con un costo stimato di circa 45 dollari per attività: non va confrontato come se le due misurazioni fossero equivalenti.
Per la scoperta di nuove vulnerabilità in CyberGym, Anthropic indica il 5% dei casi con un solo tentativo e oltre il 33% dei progetti ripetendo la prova trenta volte. Queste percentuali descrivono la valutazione specifica dell’azienda. Non stabiliscono quante nuove vulnerabilità il modello troverà in un ambiente di produzione né quanto tempo impiegherà.
Come interpretare le principali cifre pubblicate
Le metriche dipendono dall’attività, dal numero di tentativi e dal limite di costo.
| Test | Condizione | Risultato comunicato | Ambito |
|---|---|---|---|
| Cybench | Dieci tentativi per attività | 76,5% delle sfide risolte | Sottoinsieme di 37 problemi; la metrica indica il successo di almeno un tentativo. |
| CyberGym: vulnerabilità note | Limite di due dollari per vulnerabilità | 28,9% | Condizione di costo usata per il confronto descritto da Anthropic. |
| CyberGym: vulnerabilità note | Trenta tentativi per attività, senza lo stesso limite di costo | 66,7% dei programmi | Costo stimato di circa 45 dollari per attività; il dato non è direttamente confrontabile con la riga precedente. |
| CyberGym: nuove vulnerabilità | Un tentativo / trenta tentativi | 5% / oltre il 33% | Risultati di rilevamento nel test, non un tasso universale per sistemi reali. |
I risultati dipendono dai tentativi e dalle condizioni
Cybench e CyberGym permettono di confrontare i risultati in scenari definiti, ma non riproducono tutta la varietà di reti, applicazioni, autorizzazioni e processi presenti in un’organizzazione. Anthropic avverte che i problemi reali sono più complessi e che i dettagli di implementazione sono importanti. Un punteggio di benchmark, quindi, non dimostra che il modello possa operare in sicurezza su una specifica infrastruttura.
Il numero di tentativi cambia ciò che misura una valutazione. Se ogni prova offre un’altra possibilità di risolvere l’attività, il tasso di successo sull’intero insieme può aumentare anche se la probabilità di riuscita al primo tentativo non cambia. Quando si riportano i risultati, è importante mantenere insieme la percentuale, il benchmark e il numero di tentativi.
Conta anche il limite di costo. Il punteggio di CyberGym ottenuto con il vincolo di due dollari risponde a una condizione diversa da quello ottenuto con trenta tentativi, che Anthropic stima costare circa 45 dollari per attività. Quest’ultima prova considera uno scenario con più risorse, ma non permette di concludere che il rendimento aggiuntivo resti economico su larga scala: il costo può accumularsi quando si estendono i test.
La pubblicazione afferma che Sonnet 4.5 ha superato modelli precedenti nelle valutazioni descritte. Poiché l’annuncio proviene da Anthropic e non presenta una convalida indipendente completa di tutti i risultati, le cifre vanno attribuite all’azienda. Il ricorso a valutazioni esterne sviluppate da terzi può ridurre il rischio di ottimizzare il modello solo su test interni, ma non equivale a una replica indipendente.
La generazione di patch è ancora preliminare
Anthropic ha verificato anche se Sonnet 4.5 potesse generare patch per vulnerabilità presenti in CyberGym. Il modello ha ricevuto una descrizione del difetto e informazioni su ciò che accadeva quando il programma andava in crash. Claude ha poi valutato le patch confrontandole con soluzioni di riferimento scritte da persone. Secondo l’azienda, il 15% è stato giudicato semanticamente equivalente alle soluzioni di riferimento.
Questa percentuale non dimostra un tasso di correzioni valide in produzione. Il metodo può classificare come errata una patch funzionale che risolve il problema in un altro modo, perché confronta la soluzione con uno specifico riferimento. Anthropic riconosce esplicitamente questo limite e definisce preliminare questa linea di ricerca.
L’azienda ha esaminato manualmente un campione delle patch con i punteggi più alti e afferma che alcune erano funzionalmente identiche alle soluzioni di riferimento integrate nel software open source valutato. L’esame di un campione non consente di generalizzare il risultato a tutte le patch generate. Una patch va testata e revisionata per verificare che corregga la vulnerabilità senza alterare le funzionalità previste.
Anthropic ritiene che generare patch sia più difficile che individuare vulnerabilità: il modello deve apportare modifiche circoscritte e preservare il comportamento atteso, che potrebbe non essere specificato esplicitamente. La pubblicazione indica come passo successivo affrontare sistematicamente questi problemi per avvicinarsi a un modello in grado di scrivere e revisionare patch in modo affidabile; non afferma che l’obiettivo sia già stato raggiunto.
Come valutare con cautela una patch proposta dall’IA
Il processo mantiene la revisione umana e i test del sistema a cui si applicherebbe la correzione.
- 01Riprodurre il difetto in un ambiente autorizzato e registrare le condizioni del test.
- 02Esaminare la modifica proposta e confermare che affronti la causa della vulnerabilità.
- 03Eseguire test funzionali e di sicurezza per verificare possibili regressioni.
- 04Richiedere la revisione di una persona responsabile prima di integrare la patch.
- 05Documentare il risultato e mantenere una procedura di ripristino nel caso in cui la correzione causi problemi.
Applicazioni difensive e limiti di implementazione
Anthropic afferma di aver collaborato con organizzazioni che hanno provato Sonnet 4.5 in attività come la correzione di vulnerabilità, la valutazione della sicurezza di rete e l’analisi delle minacce. La pubblicazione include dichiarazioni di HackerOne e CrowdStrike su possibili applicazioni del modello; si tratta di testimonianze dei rispettivi responsabili, non di una valutazione controllata con risultati dettagliati per ogni organizzazione.
Tra gli ambiti che Anthropic propone di esplorare figurano l’automazione dei centri operativi di sicurezza, l’analisi di informazioni ed eventi di sicurezza, l’ingegneria di reti sicure e la difesa attiva. Sono ambiti di sperimentazione auspicati, non capacità la cui efficacia sia stata dimostrata in tutti questi contesti dai risultati di Cybench o CyberGym.
La pubblicazione menziona anche la possibilità di integrare in Claude Code revisioni di sicurezza automatizzate nei flussi di integrazione e distribuzione continue. Integrare una revisione non trasforma ogni avviso in un problema confermato né ogni correzione proposta in una modifica sicura. I team devono verificare i risultati, limitare le autorizzazioni e applicare i cambiamenti in ambienti adeguati.
Anthropic afferma che i propri team usano tecniche come i riepiloghi a livello di organizzazione per interpretare attività più ampie rispetto a una singola interazione e distinguere meglio gli usi a doppio impiego dai comportamenti malevoli. La pubblicazione non presenta metriche che quantifichino quanto queste misure riducano gli abusi. Vanno quindi considerate misure di salvaguardia descritte dall’azienda, non garanzie che impediscano ogni uso improprio.
L’azienda riconosce che alcune capacità di Sonnet 4.5 sono ancora agli inizi e non eguagliano quelle dei professionisti della sicurezza o dei processi consolidati. Per un’organizzazione, la decisione pratica non è sostituire tali processi, ma testare attività delimitate con autorizzazioni controllate, risultati verificabili e revisione umana.
Che cosa può concludere un’organizzazione da questi risultati
La valutazione locale deve distinguere le attività testate dagli obiettivi di ricerca.
| Uso previsto | Che cosa supporta la pubblicazione | Che cosa deve verificare il team |
|---|---|---|
| Rilevare vulnerabilità nel codice | Risultati di Anthropic in Cybench e CyberGym | Precisione nei propri repository, falsi positivi, copertura e autorizzazioni utilizzate. |
| Proporre una patch | Esperimento preliminare con confronto rispetto a riferimenti umani | Correttezza funzionale, regressioni, sicurezza e revisione prima dell’integrazione. |
| Analizzare reti o minacce | Ambiti di applicazione e testimonianze di partner menzionati da Anthropic | Prestazioni nel proprio ambiente, limiti di accesso e convalida di ogni risultato. |
| Automatizzare le operazioni di sicurezza | Direzione di ricerca che Anthropic propone di esplorare | Quali attività possono essere automatizzate senza delegare al modello decisioni critiche. |
Che cosa cambia e che cosa non è ancora dimostrato
Il cambiamento principale descritto da Anthropic consiste nel dedicare ricerca a competenze di cybersicurezza difensiva, anziché affidarsi soltanto ai miglioramenti generali del modello. L’azienda pubblica risultati favorevoli di Sonnet 4.5 nei test di rilevamento e riproduzione delle vulnerabilità e presenta la generazione di patch come una linea promettente, ma ancora preliminare.
Le cifre aiutano a comprendere le prestazioni in condizioni esplicite: benchmark, tentativi, costi e sottoinsiemi di attività. Non dimostrano che il modello individui tutti i difetti, generi sempre patch corrette o sia sicuro in ogni tipo di implementazione. L’utilità difensiva dipende dal contesto e dalla verifica.
La pubblicazione chiarisce inoltre che la cybersicurezza comprende più delle prove valutate. Proteggere sistemi in produzione richiede di comprendere configurazioni, autorizzazioni, dipendenze e conseguenze operative. Anthropic non afferma che Sonnet 4.5 sostituisca i team umani: descrive sperimentazioni con organizzazioni e riconosce che resta lavoro da fare per ottenere una generazione e una revisione affidabili delle patch.
Per valutare uno strumento di questo tipo, i team possono iniziare con un ambito limitato: scegliere repository o sistemi autorizzati, stabilire quali operazioni il modello può eseguire, misurare i successi e i falsi positivi, revisionare ogni modifica e confrontare i risultati con il processo esistente. Questo approccio non elimina i rischi a doppio uso, ma consente di verificare l’utilità nel proprio ambiente senza confondere un punteggio pubblicato con una garanzia.
Continua a esplorare
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione