Claude Opus 5.5 und Prompt-Injection: Was der Sicherheitstest zeigt – und was noch offen ist

Die Aussage und die verfügbare Beleglage

Anthropic stellt Claude Opus 5.5 als ein Modell dar, das bei einem Gray-Swan-Benchmark mit Fable 5.1 gleichauf lag und unter den getesteten Modellen die niedrigste Erfolgsrate bei Prompt-Injection-Angriffen erreichte. Diese Aussage ist für alle relevant, die Modelle mit Dokumenten, Tools oder anderen Eingaben verbinden, in denen sich bösartige Anweisungen verbergen könnten. Sie sollte jedoch als Aussage des Herstellers zu einer bestimmten Evaluation verstanden werden – nicht als Beleg dafür, dass das Modell in jeder Umgebung sicher ist.

Die bereitgestellten verifizierten Quellen weisen diese Aussage auf Anthropics Einführungsseite zu Opus 5.5 nach, enthalten jedoch weder den Methodenbericht von Gray Swan noch detaillierte Ergebnisse. Es fehlen die konkrete Erfolgsrate, die Gesamtzahl der getesteten Modelle, deren Versionen, die verwendeten Angriffe, die Evaluationsanweisungen und die Kriterien dafür, wann ein Angriff als erfolgreich galt. Ebenso lässt sich nicht feststellen, ob alle Modelle unter identischen Bedingungen verglichen wurden.

Daher kann man berichten, was Anthropic behauptet, aber die Prüfung anhand dieser Materialien weder reproduzieren noch unabhängig auf ihre Belastbarkeit hin bewerten. Dass die verfügbaren Unterlagen diese Einzelheiten nicht enthalten, beweist nicht, dass Gray Swan sie nirgendwo sonst veröffentlicht hat. Es bedeutet lediglich, dass sie sich mit den hier geprüften Quellen nicht bestätigen lassen.

Diese Unterscheidung ist wichtig: Eine starke Platzierung in einem Benchmark kann ein nützlicher Hinweis für die Planung einer Evaluation sein. Sie ersetzt jedoch keine Tests in der konkreten Anwendung. Das Risiko hängt sowohl vom Modell als auch davon ab, wie das System Informationen aufnimmt, Anweisungen interpretiert und Aktionen ausführt.

Was eine Prompt-Injection-Erfolgsrate bedeutet

Prompt Injection bezeichnet eine Angriffsklasse, bei der ein bösartiger Text das vorgesehene Verhalten eines Modells verändern soll. Der Angriff kann in einer direkt vom Nutzer eingegebenen Anweisung stehen oder in Inhalten, die das System abruft – etwa auf einer Webseite, in einer Datei oder in einer Nachricht. Bei einer indirekten Prompt Injection formuliert der Nutzer den Angriff möglicherweise nicht selbst. Stattdessen stößt das Modell auf ihn in dem Material, das es verarbeiten soll.

Eine Erfolgsrate fasst üblicherweise zusammen, wie viele Angriffsversuche das in der Evaluation festgelegte Ziel erreichen, bezogen auf die betrachtete Zahl von Versuchen. Ohne die operative Definition reicht diese allgemeine Beschreibung nicht aus, um ein konkretes Ergebnis zu interpretieren. Ein Testprotokoll könnte als Erfolg werten, dass das Modell eine verbotene Anweisung wiederholt, eine Testinformation offenlegt, ein Tool unbefugt einsetzt oder lediglich die ursprüngliche Aufgabe nicht mehr erledigt. Diese Verhaltensweisen sind nicht gleichzusetzen. Ohne Dokumentation sollte man nicht unterstellen, dass eine davon dem Gray-Swan-Benchmark zugrunde lag.

Außerdem muss der Nenner bekannt sein: Welche Angriffe wurden einbezogen, wie oft wurde jeder Angriff ausgeführt, mit welcher Konfiguration und nach welchen Regeln wurden die Ergebnisse zusammengeführt? Eine niedrige Quote für eine eng umrissene Testmenge kann diese Testmenge gut beschreiben und trotzdem andere Angriffe, Tool-Anwendungen oder nicht berücksichtigte Sprachen verfehlen. Die bereitgestellten Quellen bestätigen diese Parameter für den erwähnten Vergleich nicht.

Auch der Umgang mit normalen Fehlern ist relevant. Ein Modell kann einer bösartigen Anweisung widerstehen und zugleich eine legitime Anfrage ablehnen oder die Aufgabe nicht abschließen. Bei der Bewertung eines Produkts sollten Angriffswiderstand, Fehlalarme und Aufgabenqualität getrennt betrachtet werden. Aus den verfügbaren Informationen geht nicht hervor, ob Gray Swan diese Kennzahlen separat ausweist.

Welche Modelle und Bedingungen umfasst der Vergleich?

Die Anthropic zugeschriebene Aussage nennt Opus 5.5 und Fable 5.1 als gleichauf mit dem besten Ergebnis unter den getesteten Modellen. Aus dem verfügbaren Material geht weder hervor, wie viele Modelle insgesamt Teil der Gruppe waren, noch werden die übrigen Versionen aufgeführt. Ebenso bleibt offen, ob Modelle ohne zusätzliche Schutzmaßnahmen getestet wurden, mit Systemanweisungen liefen oder als vollständige Systeme mit Filtern und Tools geprüft wurden.

Solche Unterschiede verändern die Bedeutung eines Vergleichs. Ein isoliert gemessenes Modell ist nicht dasselbe wie eine Anwendung mit Dokumentenabruf, Weiterleitung, Moderation und Tool-Aufrufen. Werden für die einzelnen Teilnehmer unterschiedliche Schutzmaßnahmen oder Einstellungen verwendet, kann das Ergebnis die jeweilige Gesamtkonfiguration widerspiegeln – nicht allein das Modell. Die bereitgestellten Quellen bieten keine Grundlage für eine Aussage darüber, welches Testdesign Gray Swan verwendet hat.

Die Anthropic-Quelle eignet sich dazu, die Aussage dem Unternehmen präzise zuzuordnen. Die offizielle Systemkarte zu Opus 5.5 ist als Dokumentation des Modells und seiner Sicherheitsevaluationen ausgewiesen. Der verfügbare Auszug enthält jedoch weder konkrete Gray-Swan-Ergebnisse noch eine Beschreibung des Prompt-Injection-Protokolls. Die allgemeine Seite zu Systemkarten erklärt, dass diese Dokumente Fähigkeiten, Sicherheitsevaluationen und Bereitstellungsentscheidungen behandeln. Dieser institutionelle Rahmen ersetzt keine spezifischen Testdaten.

Was sich folgern lässt – und was nicht

Die eng gefasste, vertretbare Schlussfolgerung lautet: Anthropic zufolge lag Opus 5.5 bei der niedrigsten Prompt-Injection-Erfolgsrate der von Gray Swan getesteten Modelle gleichauf mit Fable 5.1. Wird dieses Ergebnis im Originalbericht unter relevanten Bedingungen bestätigt, wäre es ein Beleg für das Verhalten in diesem Benchmark. Für sich allein erlaubt es nicht die Aussage, Opus 5.5 sei immun gegen Prompt Injection, sicherer als alle anderen Modelle oder für jede Anwendung geeignet.

Auch lässt sich das Ergebnis nicht ohne Weiteres auf Angriffe in anderen Sprachen, Dateiformaten, Tool-Ketten oder Datenquellen übertragen. Ein Test kann für eine bestimmte Klasse von Angriffen nützlich sein und andere unberücksichtigt lassen. Ohne Methodik lässt sich nicht feststellen, ob indirekte Anweisungen in Dokumenten enthalten waren, ob das Modell Tools verwenden musste oder ob eine externe Aktion als Erfolg gezählt wurde. Das sind offene Fragen – keine mit Sicherheit feststellbaren Lücken des Benchmarks.

Eine relative Rangposition sagt außerdem nicht automatisch etwas über das absolute Risikoniveau aus. Wenn zwei Modelle unter den Teilnehmern die niedrigste Erfolgsrate teilen, erfährt man dadurch nicht, wie hoch diese Rate war, wie groß der Abstand zu den übrigen Modellen ausfiel oder ob die Unterschiede statistisch signifikant sind. Für diese Berechnungen wird hier keine konkrete Quote bereitgestellt.

Der Benchmark ersetzt auch keine Evaluation des Gesamtsystems. Eine Anwendung kann Berechtigungen einschränken, Ausgaben überprüfen und vor Aktionen eine Bestätigung verlangen. Sie kann dem Modell aber auch weitreichenden Zugriff auf Daten und Tools gewähren. Eine solche Architektur kann die Folgen einer bösartigen Anweisung erheblich verändern, obwohl das zugrunde liegende Modell dasselbe bleibt.

Dokumentierte Fähigkeiten und Grenzen des konkreten Modells

Die bereitgestellte offizielle Quelle weist eine Systemkarte für Claude Opus 5.5 aus und beschreibt sie als Dokumentation des Modells, seiner Sicherheitsevaluationen und von Aspekten verantwortungsvoller Bereitstellung. Da die vorliegenden Materialien keine weiteren Einzelheiten enthalten, wäre es nicht sachgerecht, daraus konkrete Sicherheitsergebnisse, technische Fähigkeiten oder quantifizierte Grenzen abzuleiten, die im verfügbaren Auszug nicht genannt werden.

Anthropic hebt Opus 5.5 außerdem bei agentischem Programmieren und Wissensarbeit hervor und gibt an, dass der Betrieb bei typischen Arbeitslasten 40 Prozent weniger kostet als bei Opus 5. Dieser Vergleich ist eine Aussage des Herstellers und bezieht sich auf typische Arbeitslasten – nicht auf einen allgemeinen Tarif oder eine garantierte Einsparung bei jeder Nutzung. Die verfügbaren Informationen definieren weder, was als typische Arbeitslast gilt, noch wie die Betriebskosten berechnet werden oder ob sich die Angabe auf Tokenpreise, die Gesamtkosten einer Aufgabe oder eine andere Kennzahl bezieht.

Eine Beschreibung der Claude-Modellfamilie sollte nicht als bestätigte Eigenschaft von Opus 5.5 ausgegeben werden. Für eine technische Entscheidung braucht es die Dokumentation der konkreten Version, relevante Parameter und Tests mit den eigenen Aufgaben und Grenzbedingungen. Insbesondere belegt die Gray-Swan-Aussage für sich genommen nicht, wie das Modell auf Anweisungen in einem Dokument, mehrdeutige Anfragen, Tool-Fehler oder Versuche zur Offenlegung sensibler Informationen reagiert.

Zugang und Preis: Was sich bestätigen lässt

Zu den bereitgestellten Quellen gehören Dokumentationen von Google Cloud zu Claude Opus 5.5 sowie eine AWS-Bedrock-Seite, die dem Modell gewidmet ist. Damit lässt sich bestätigen, dass beide Plattformen Dokumentationsseiten führen, auf denen Opus 5.5 genannt wird. Die verfügbaren Auszüge reichen jedoch nicht aus, um die Verfügbarkeit in allen Regionen, den unmittelbaren Zugang für jedes Konto, Vertragsbedingungen oder eine gültige Modellkennung für jede Bereitstellung zu bestätigen.

Die allgemeine Dokumentation zu Claude-Modellen wird als Leitfaden zum Abrufen und Vergleichen verfügbarer Modelle ausgewiesen. Der bereitgestellte Auszug enthält jedoch keinen konkreten Preis für Opus 5.5. Daher lässt sich hier weder ein Preis für Ein- oder Ausgaben angeben noch können Gültigkeitsdaten, Mindestmengen, Nutzungsvarianten oder Zusatzkosten bestätigt werden. Diese Angaben müssen auf der Preisseite des gewählten Zugangswegs und zum Zeitpunkt des Vertragsabschlusses geprüft werden.

Die von Anthropic genannte Kostensenkung von 40 Prozent gegenüber Opus 5 beschränkt sich auf die Aussage, dass der Betrieb bei typischen Arbeitslasten günstiger sei. Sie ist weder ein offizieller Tarif noch lässt sie sich ohne Angaben zu Umfang und Ausgabe, Tool-Nutzung und Definition der typischen Arbeitslast in Kosten pro Anfrage umrechnen. Für eine Budgetplanung sollte eine repräsentative Stichprobe über den vorgesehenen Zugangskanal gemessen werden.

Schutzmaßnahmen für den Einsatz im Arbeitsablauf

Keine Benchmark-Zahl sollte die Schutzmaßnahmen der Anwendung ersetzen. Wenn das Modell externe Inhalte liest, sollten diese als potenziell nicht vertrauenswürdig behandelt werden. Außerdem empfiehlt es sich, die analysierten Daten klar von den Anweisungen zu trennen, die das System steuern. Eine solche Trennung verringert Mehrdeutigkeiten, garantiert aber nicht, dass das Modell die Anweisungshierarchie immer korrekt interpretiert.

Bei Aktionen mit Folgen ist es ratsam, den Umfang der Tools zu begrenzen, nach dem Prinzip der geringsten Berechtigung vorzugehen und sensible Vorgänge vor der Ausführung unabhängig zu validieren. Eine Modellausgabe kann als Vorschlag dienen, nicht als Genehmigung. Ebenso kann es nützlich sein, relevante Eingaben, Entscheidungen und Tool-Aufrufe zu protokollieren – im Einklang mit den Datenschutz- und Aufbewahrungspflichten des Produkts.

Tests sollten die tatsächliche Architektur abbilden: dieselbe Art von Dokumenten, Abruf, Anweisungen, Tools und Schutzmaßnahmen, die später eingesetzt werden sollen. Teams können getrennt messen, ob das Modell gültigen Anweisungen folgt, Umleitungsversuche abwehrt, die Offenlegung von Daten vermeidet und die legitime Aufgabe erledigt. Eine solche lokale Evaluation ergänzt einen externen Benchmark. Sie erlaubt nicht, Opus 5.5 Eigenschaften zuzuschreiben, die in den eigenen Tests nicht beobachtet wurden.

In einem Agenten-Workflow muss eine bösartige Anweisung das Modell nicht dazu bringen, Text offenzulegen, um Schaden anzurichten. Sie könnte versuchen, eine unbefugte Abfrage auszulösen, eine Aktion zu verändern oder eine spätere Entscheidung zu beeinflussen. Deshalb sollten Schutzmaßnahmen nicht allein davon abhängen, dass das Modell den Angriff erkennt. Berechtigungsgrenzen und Prüfungen außerhalb des Modells können die Folgen eines Fehlers begrenzen.

Bilanz der Belege

Es ist sinnvoll, drei Ebenen auseinanderzuhalten. Erstens die Anthropic zurechenbare Aussage: Opus 5.5 lag bei der niedrigsten Prompt-Injection-Erfolgsrate der in Anthropics Erwähnung eingeschlossenen Gray-Swan-Evaluation gleichauf mit Fable 5.1. Zweitens die anhand der bereitgestellten Quellen überprüfbaren institutionellen Informationen: Es gibt eine Systemkarte zu Opus 5.5 und Plattformdokumentationen, in denen das Modell genannt wird. Drittens die offenen Fragen, die sich aus den vorliegenden Auszügen nicht beantworten lassen: konkrete Kennzahlen, Testprotokoll, Vergleichsgruppe, identische Bedingungen, konkreter Preis und tatsächliche Verfügbarkeit.

Es gibt keine hinreichende Grundlage, um aus dem veröffentlichten Ergebnis eine allgemeine Sicherheitsbescheinigung zu machen oder das Gray-Swan-Protokoll so zu beschreiben, als wäre es geprüft worden. Ebenso lässt sich anhand dieser Quellen weder angeben, welche Erfolgsrate Opus 5.5 erreichte, noch ob sich die Unterschiede zu anderen Modellen als statistisch signifikant erwiesen oder welche spezifischen Schutzmaßnahmen Prompt Injection in jeder Anwendung verhindern würden.

Für Sicherheitsverantwortliche und Entwickler ist die praktische Schlussfolgerung begrenzt: Der Vergleich kann ein Grund sein, Opus 5.5 in eine Evaluation aufzunehmen. Er ist kein Grund, Kontrollen oder eigene Tests wegzulassen. Vor einer Bereitstellung sollten die Version und der Zugangskanal bestätigt, die aktuellen Bedingungen und Preise geprüft, die vollständige Systemkarte gelesen und repräsentative Angriffe aus der eigenen Anwendung getestet werden. Der Benchmark liefert Kontext; welche Belege für eine Entscheidung erforderlich sind, hängt vom Risiko, den Berechtigungen und den Daten im jeweiligen Arbeitsablauf ab.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.