Das Vertrauensproblem in KI-Diensten
Wenn ein Nutzer mit einem KI-Modell interagiert, gibt es derzeit keine direkte Möglichkeit zu bestätigen, dass die Antwort tatsächlich vom spezifischen Modell stammt, das der Anbieter bewirbt. Diese Vertrauenslücke verschärft sich in Umgebungen, in denen Routing-Dienste ein teures Modell durch ein günstigeres ersetzen könnten, um Kosten zu senken, oder in denen ein Angreifer den Token-Stream manipuliert, ohne dass der Nutzer es bemerkt.
Die Qualität der Antwort allein garantiert nicht ihren Ursprung. Ein Modell kann kohärente und hochwertige Ausgaben erzeugen, was jedoch nicht ausschließt, dass ein Routing-System ein anderes Modell als das versprochene verwendet hat. FlashProve zielt darauf ab, diese Lücke zu schließen, indem es eine mathematische Verifizierung bietet, die die Antwort mit dem verpflichteten Modell verknüpft. So können Nutzer und Auditoren die Legitimität der Ausgabe überprüfen, ohne auf die Rechenressourcen des Anbieters zugreifen zu müssen.
Technischer Mechanismus: Zero-Knowledge-Proofs
FlashProve basiert auf einer Art kryptografischen Beweises, dem zkSNARK (zero-knowledge succinct argument of knowledge). Dieses System ermöglicht es einem Anbieter nachzuweisen, dass eine Berechnung korrekt ausgeführt wurde, ohne die privaten Daten preiszugeben, die in den Prozess involviert waren. In diesem Fall verknüpft der Beweis einen zuvor verpflichteten Satz von Gewichten mit den generierten Tokens für einen bestimmten Prompt.
Der Prozess gliedert sich in zwei Phasen. Zuerst erstellt der Anbieter ein kryptografisches Commitment offline für einen spezifischen Satz von Gewichten; dieses Commitment belegt etwa 6,5 MB und seine Generierung dauert rund 39 Minuten. Anschließend konstruiert das System für jede Inferenz einen knappen Beweis, der bestätigt, dass das verpflichtete Modell die deklarierte Ausgabe erzeugt hat. Die Privatsphäre der internen Komponenten, wie Gewichte und Aktivierungen, bleibt während der Verifizierung intakt.
Verifizierungsablauf in FlashProve
- 01Der Anbieter erstellt ein kryptografisches Commitment der Modellgewichte (Offline-Phase).
- 02Der Nutzer sendet einen Prompt und erhält die Antwort zusammen mit einem kryptografischen Beweis.
- 03Der Nutzer verifiziert den Beweis auf seiner lokalen CPU, ohne auf die Modellgewichte zugreifen zu müssen.
- 04Die Verifizierung bestätigt, dass das verpflichtete Modell die deklarierten Tokens generiert hat.
Leistung und Rechenkosten
Anthropic evaluierte den Prototypen mit Llama 4 Maverick, einem Mixture-of-Experts-Modell mit 400,7 Milliarden Parametern, quantisiert auf 4 Bits. Auf einer einzigen NVIDIA H100 GPU erreichte das System etwa 110 Tokens pro Sekunde in der Prefill-Phase. Jede Anfrage von 1.024 Tokens erzeugte einen Beweis von rund 19 MB, der auf einer Standard-CPU in 17 bis 21 Sekunden verifiziert werden kann.
Die Kosten für die Generierung dieser Beweise bleiben jedoch hoch. Anthropic schätzte, dass die Erzeugung eines Beweises 70 bis 95 Mal mehr GPU-Zeit erfordert als eine Standard-Inferenz mit der Bibliothek vLLM. Diese rechnerische Überlastung hält das Projekt in einer Zwischenphase der Forschung, da es für die Verifizierung jeder Interaktion in massiven Diensten derzeit nicht wirtschaftlich tragfähig ist.
Leistungsindikatoren von FlashProve
| Metrik | Wert | Kontext |
|---|---|---|
| Bewertetes Modell | Llama 4 Maverick (400B Parameter, 4-Bit) | Mixture of Experts (MoE) |
| Beweisgenerierungsgeschwindigkeit | ~110 Tokens/Sekunde | Auf einer H100 GPU |
| Beweisgröße | ~19 MB | Pro Anfrage von 1.024 Tokens |
| Verifizierungszeit | 17-21 Sekunden | Auf CPU (24 Threads oder 1 Thread) |
| Rechnerische Überlastung | 70-95x | Im Vergleich zur Standard-Inferenz in vLLM |
Formale Garantien und Verifizierung mit Lean
Um der inhärenten Fragilität von Kryptografie-Code zu begegnen, nutzte das Anthropic-Team Lean, einen formellen Beweisassistenten, um die Sicherheitseigenschaften des Systems zu spezifizieren und zu verifizieren. Die verifizierten Eigenschaften umfassen Vollständigkeit (ein ehrlicher Beweis wird akzeptiert), Soundness (ein falscher Beweis kann nicht akzeptiert werden) und Zero-Knowledge (der Beweis gibt keine Informationen über die Gewichte preis).
Diese formale Verifizierung ersetzt keine Leistungstests und löst nicht die Rechenkosten, bietet aber eine strenge mathematische Grundlage für die Sicherheitsgarantien. Das Team behauptet, dass die formellen Eigenschaften maschinell verifiziert wurden, was die Abhängigkeit von informellen Code-Inspektionen reduziert. Dennoch erfordert die Übereinstimmung zwischen dem ausführbaren Code und dem formalisierten Protokoll weiterhin eine manuelle Prüfung.
Potenzielle Anwendungen und aktuelle Grenzen
FlashProve findet Anwendung bei der Manipulationserkennung, der Textnachverfolgung und der regulatorischen Compliance. Ein Regulierer könnte beispielsweise Beweise verlangen, um sicherzustellen, dass ein Anbieter nur als sicher genehmigte Modelle bereitstellt. Es könnte auch verwendet werden, um nachzuweisen, dass ein spezifisches Modell eine Schwachstellenanalyse in einem Quellcode durchgeführt hat.
Der Prototyp hat jedoch klare Grenzen. Die Bewertung erfolgte mit einem spezifischen Modell (Llama 4 Maverick) und einer konkreten Hardwarekonfiguration (eine H100 GPU). Es lässt sich nicht schließen, dass die Leistung vergleichbar ist bei anderen Modellen oder Konfigurationen. Außerdem erkennt das System nicht alle möglichen Eingriffe in der Servicekette, sondern konzentriert sich darauf zu beweisen, dass das verpflichtete Modell die deklarierten Tokens generiert hat. Die Reduzierung der Generierungskosten und die Optimierung der Beweisgröße sind notwendige Schritte vor einer breiten Nutzung.
Weiter entdecken
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen