Il problema della fiducia nei servizi di IA
Quando un utente interagisce con un modello di intelligenza artificiale, non esiste attualmente un modo diretto per confermare che la risposta provenga dal modello specifico dichiarato dal provider. Questa lacuna di fiducia si aggrava in ambienti in cui i servizi di routing potrebbero sostituire un modello costoso con uno più economico per ridurre i costi, o in cui un attaccante potrebbe manipolare il flusso di token senza che l'utente lo rilevi.
La qualità della risposta da sola non garantisce la sua origine. Un modello può produrre output coerenti e di alta qualità, ma ciò non impedisce che un sistema di routing abbia utilizzato un modello diverso da quello promesso. FlashProve mira a colmare questa lacuna offrendo una verifica matematica che colleghi la risposta al modello impegnato, permettendo a utenti e auditor di controllare la legittimità dell'output senza bisogno di accedere alle risorse computazionali del provider.
Meccanismo tecnico: prove zero-knowledge
FlashProve si basa su un tipo di prova criptografica nota come zkSNARK (zero-knowledge succinct argument of knowledge). Questo sistema consente a un provider di dimostrare che un calcolo è stato eseguito correttamente senza rivelare i dati privati coinvolti nel processo. In questo caso, la prova collega un insieme di pesi precedentemente impegnato ai token generati in risposta a un prompt specifico.
Il processo si divide in due fasi. Prima, il provider effettua un impegno criptografico offline su un insieme specifico di pesi; questo impegno occupa circa 6,5 MB e la sua generazione richiede circa 39 minuti. Successivamente, per ogni inferenza, il sistema costruisce una prova sintetica che conferma che il modello impegnato ha prodotto l'output dichiarato. La privacy dei componenti interni, come pesi e attivazioni, rimane intatta durante la verifica.
Flusso di verifica in FlashProve
- 01Il provider genera un impegno criptografico dei pesi del modello (fase offline).
- 02L'utente invia un prompt e riceve la risposta insieme a una prova criptografica.
- 03L'utente verifica la prova sulla propria CPU locale senza bisogno di accedere ai pesi del modello.
- 04La verifica conferma che il modello impegnato ha generato i token dichiarati.
Prestazioni e costi computazionali
Anthropic ha valutato il prototipo utilizzando Llama 4 Maverick, un modello mixture-of-experts con 400,7 miliardi di parametri quantizzato a 4 bit. Su una singola GPU H100 di NVIDIA, il sistema ha raggiunto circa 110 token al secondo nella fase di prefill. Ogni richiesta di 1.024 token ha prodotto una prova di circa 19 MB, verificabile su una CPU standard in 17-21 secondi.
Tuttavia, il costo per generare queste prove rimane elevato. Anthropic ha stimato che produrre una prova richiede tra 70 e 95 volte più tempo GPU rispetto a un'inferenza standard eseguita con la libreria vLLM. Questo sovraccarico computazionale mantiene il progetto in una fase di ricerca intermedia, poiché non è economicamente fattibile per la verifica di ogni interazione in servizi su larga scala.
Metriche di prestazioni di FlashProve
| Metrica | Valore | Contesto |
|---|---|---|
| Modello valutato | Llama 4 Maverick (400B parametri, 4-bit) | Mixture-of-Experts (MoE) |
| Velocità di generazione prove | ~110 token/secondo | Su una GPU H100 |
| Dimensione della prova | ~19 MB | Per richiesta di 1.024 token |
| Tempo di verifica | 17-21 secondi | Su CPU (24 thread o 1 thread) |
| Sovraccarico computazionale | 70-95x | Rispetto all'inferenza standard su vLLM |
Garanzie formali e verifica con Lean
Per affrontare la fragilità intrinseca del codice criptografico, il team di Anthropic ha utilizzato Lean, un assistente di verifica formale, per specificare e verificare le proprietà di sicurezza del sistema. Le proprietà verificate includono la completezza (una prova onesta è accettata), la solidità (una prova falsa non può essere accettata) e lo zero-knowledge (la prova non rivela informazioni sui pesi).
Questa verifica formale non sostituisce i test di prestazioni né risolve il costo computazionale, ma offre una base matematica rigorosa per le garanzie di sicurezza. Il team afferma che le proprietà formali sono state verificate dalla macchina, riducendo la dipendenza da ispezioni informali del codice. Tuttavia, la corrispondenza tra il codice eseguibile e il protocollo formalizzato richiede ancora un'audit manuale.
Applicazioni potenziali e limiti attuali
FlashProve ha applicazioni nel rilevamento della manipolazione, nella tracciabilità del testo e nel rispetto delle normative. Ad esempio, un regolatore potrebbe richiedere prove per verificare che un provider stia servendo solo modelli approvati come sicuri. Potrebbe anche essere utilizzato per dimostrare che un modello specifico ha eseguito un'analisi delle vulnerabilità su un codice sorgente.
Tuttavia, il prototipo ha limiti chiari. La valutazione è stata condotta con un modello specifico (Llama 4 Maverick) e una configurazione hardware concreta (una GPU H100). Non si può concludere che le prestazioni siano paragonabili su altri modelli o configurazioni. Inoltre, il sistema non rileva tutte le possibili interferenze nella catena di servizio, ma si concentra sul dimostrare che il modello impegnato ha generato i token dichiarati. La riduzione del costo di generazione e l'ottimizzazione della dimensione delle prove saranno passi necessari prima di un uso generalizzato.
Continua a esplorare
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione