FlashProve : Anthropic présente un prototype pour vérifier les réponses d'IA sans révéler les poids du modèle
Image générée par l’équipe éditoriale d’Inferama
01

Le problème de confiance dans les services d'IA

Lorsqu'un utilisateur interagit avec un modèle d'intelligence artificielle, il n'existe actuellement aucun moyen direct de confirmer que la réponse provient du modèle spécifique annoncé par le fournisseur. Cette lacune de confiance s'aggrave dans les environnements où des services de routage pourraient remplacer un modèle coûteux par un modèle moins cher pour réduire les coûts, ou où un attaquant pourrait manipuler le flux de jetons sans que l'utilisateur ne le détecte.

La qualité de la réponse ne garantit pas à elle seule son origine. Un modèle peut produire des sorties cohérentes et de haute qualité, mais cela n'empêche pas un système de routage d'avoir utilisé un modèle différent de celui promis. FlashProve vise à combler cette lacune en offrant une vérification mathématique qui lie la réponse au modèle engagé, permettant aux utilisateurs et aux auditeurs de contrôler la légitimité de la sortie sans accéder aux ressources de calcul du fournisseur.

02

Mécanisme technique : preuves de connaissance zéro

FlashProve repose sur un type de preuve cryptographique connu sous le nom de zkSNARK (zero-knowledge succinct argument of knowledge). Ce système permet à un fournisseur de démontrer qu'un calcul a été exécuté correctement sans révéler les données privées ayant participé au processus. Dans ce cas, la preuve lie un ensemble de poids préalablement engagé aux jetons générés en réponse à un prompt donné.

Le processus se divise en deux étapes. D'abord, le fournisseur effectue un engagement cryptographique hors ligne avec un ensemble spécifique de poids ; cet engagement occupe environ 6,5 Mo et sa génération prend environ 39 minutes. Ensuite, pour chaque inférence, le système construit une preuve succincte confirmant que le modèle engagé a produit la sortie déclarée. La confidentialité des composants internes, tels que les poids et les activations, est maintenue intacte pendant la vérification.

Flux de vérification dans FlashProve

  1. 01Le fournisseur génère un engagement cryptographique des poids du modèle (phase hors ligne).
  2. 02L'utilisateur envoie un prompt et reçoit la réponse accompagnée d'une preuve cryptographique.
  3. 03L'utilisateur vérifie la preuve sur son CPU local sans avoir besoin d'accéder aux poids du modèle.
  4. 04La vérification confirme que le modèle engagé a généré les jetons déclarés.
03

Performance et coûts de calcul

Anthropic a évalué le prototype en utilisant Llama 4 Maverick, un modèle de mélange d'experts (MoE) de 400,7 milliards de paramètres quantifié en 4 bits. Sur un seul GPU H100 de NVIDIA, le système a atteint environ 110 jetons par seconde à l'étape de préremplissage (prefill). Chaque requête de 1 024 jetons a produit une preuve d'environ 19 Mo, vérifiable sur un CPU standard en 17 à 21 secondes.

Cependant, le coût de génération de ces preuves reste élevé. Anthropic estime qu'il faut entre 70 et 95 fois plus de temps GPU pour produire une preuve que pour une inférence standard réalisée avec la bibliothèque vLLM. Cette surcharge de calcul maintient le projet dans une phase de recherche intermédiaire, car il n'est pas économiquement viable pour la vérification de chaque interaction dans les services à grande échelle.

Métriques de performance de FlashProve

MétriqueValeurContexte
Modèle évaluéLlama 4 Maverick (400 Md de paramètres, 4 bits)Mélange d'experts (MoE)
Vitesse de génération des preuves~110 jetons/secondeSur un GPU H100
Taille de la preuve~19 MoPar requête de 1 024 jetons
Temps de vérification17-21 secondesSur CPU (24 threads ou 1 thread)
Surcharge de calcul70-95xComparé à l'inférence standard sur vLLM
04

Garanties formelles et vérification avec Lean

Pour aborder la fragilité inhérente au code cryptographique, l'équipe d'Anthropic a utilisé Lean, un assistant de preuve formelle, pour spécifier et vérifier les propriétés de sécurité du système. Les propriétés vérifiées incluent la complétude (une preuve honnête est acceptée), la solidité (une preuve fausse ne peut pas être acceptée) et la connaissance zéro (la preuve ne révèle aucune information sur les poids).

Cette vérification formelle ne remplace pas les tests de performance ni ne résout le coût de calcul, mais elle offre une base mathématique rigoureuse pour les garanties de sécurité. L'équipe affirme que les propriétés formelles ont été vérifiées par machine, ce qui réduit la dépendance aux inspections informelles du code. Toutefois, la correspondance entre le code exécutable et le protocole formalisé nécessite toujours un audit manuel.

05

Applications potentielles et limites actuelles

FlashProve a des applications dans la détection de la manipulation, la traçabilité du texte et la conformité réglementaire. Par exemple, un régulateur pourrait exiger des preuves pour vérifier qu'un fournisseur ne sert que des modèles approuvés comme sûrs. Il pourrait également être utilisé pour démontrer qu'un modèle spécifique a réalisé une analyse de vulnérabilités dans un code source.

Cependant, le prototype a des limites claires. L'évaluation a été réalisée avec un modèle spécifique (Llama 4 Maverick) et une configuration de matériel précise (un GPU H100). Il ne peut pas être conclu que les performances soient comparables sur d'autres modèles ou configurations. De plus, le système ne détecte pas toutes les interventions possibles dans la chaîne de service, mais se concentre sur la preuve que le modèle engagé a généré les jetons déclarés. La réduction du coût de génération et l'optimisation de la taille des preuves seront des étapes nécessaires avant un usage généralisé.

06

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction