Anthropic richtet Sonnet 4.5 auf defensive Aufgaben aus
Anthropic beschreibt Forschungsarbeiten, mit denen Claude für die defensive Cybersicherheit nützlicher werden soll. Ein Teil der Entwicklung von Claude Sonnet 4.5 konzentrierte sich darauf, Schwachstellen im Code zu erkennen, Korrekturen vorzuschlagen und Schwächen in simulierten Infrastrukturen zu testen. Das erklärte Ziel ist, Fehler vor der Bereitstellung zu finden und sie in bestehenden Systemen zu beheben.
Nach Angaben des Unternehmens erreicht oder übertrifft Sonnet 4.5 Claude Opus 4.1 in mehreren Bereichen der Cybersicherheit und ist zugleich schneller und kostengünstiger. Dieser Vergleich beschreibt die Leistung, die Anthropic in seinen Tests beobachtet hat. Er bedeutet weder, dass das Modell Sicherheitsexpertinnen und -experten bei sämtlichen Aufgaben übertrifft, noch, dass es etablierte Prozesse ersetzen kann.
Anthropic zufolge konzentrierte sich die Arbeit auf defensive Aufgaben wie das Auffinden und Beheben von Schwachstellen im Code. Auf Verbesserungen mit eindeutig offensiver Ausrichtung, etwa fortgeschrittene Exploit-Entwicklung oder das Schreiben von Malware, habe das Unternehmen verzichtet. Diese Auswahl grenzt den Zweck der Arbeit ein, beseitigt aber nicht den Dual-Use-Charakter von Cybersecurity-Fähigkeiten: Wer eine Schwachstelle erkennt, kann sie beheben, aber auch leichter ausnutzen.
Anthropic stellt die Ergebnisse als Teil einer Strategie dar, defensive KI-Nutzung zu beschleunigen. Das Unternehmen räumt zugleich ein, dass die Evaluierungen nicht alle Sicherheitsaufgaben abdecken und reale Probleme meist komplexer sind als Laborübungen und stärker von Implementierungsdetails abhängen.
Was die Evaluierungen gemessen haben
Anthropic prüfte Sonnet 4.5 mit Cybench und CyberGym, zwei Benchmarks für unterschiedliche Aufgaben. Cybench umfasst Herausforderungen aus Capture-the-Flag-Wettbewerben. CyberGym untersucht, ob ein Agent bekannte Schwachstellen in Open-Source-Projekten reproduzieren und neue Schwachstellen entdecken kann. Die Ergebnisse messen keine allgemeine Cybersecurity-Fähigkeit; sie beziehen sich auf diese Aufgaben und die jeweils festgelegten Bedingungen.
Anthropic hebt hervor, dass es Aufgaben mehrfach ausführte. Bei einem probabilistischen Test können zusätzliche Versuche die Chance erhöhen, dass mindestens einer erfolgreich ist. Eine Erfolgsquote nach zehn oder dreißig Versuchen ist daher nicht mit dem Ergebnis eines einzelnen Durchlaufs gleichzusetzen und lässt sich nicht auf beliebige reale Systeme übertragen. Nach Angaben des Unternehmens sollen wiederholte Versuche abbilden, wie eine motivierte angreifende oder verteidigende Person ein konkretes Problem angehen könnte.
Bei Cybench löste Sonnet 4.5 laut Anthropic mit zehn Versuchen pro Aufgabe 76,5 % der Herausforderungen. Die Kennzahl bezieht sich auf eine Teilmenge von 37 der ursprünglich 40 Aufgaben; drei wurden wegen Schwierigkeiten bei der Implementierung ausgeschlossen. Anthropic berichtet außerdem von einer einzelnen Aufgabe, bei der Claude Netzwerkverkehr analysierte, Malware daraus extrahierte und das Programm untersuchte. Dafür habe das Modell 38 Minuten benötigt. Diese Zeit gilt für die konkrete Herausforderung und ist kein allgemeiner Durchschnittswert.
Für CyberGym nennt Anthropic eine Punktzahl von 28,9 % bei einer Begrenzung auf zwei US-Dollar für API-Abfragen pro Schwachstelle. Das entspricht nach Angaben des Unternehmens der Kostenbeschränkung der öffentlichen Rangliste. Mit dreißig Versuchen pro Aufgabe und ohne diese Begrenzung habe das Modell Schwachstellen in 66,7 % der Programme reproduziert. Die zweite Kennzahl entstand unter anderen Bedingungen und bei geschätzten Kosten von etwa 45 US-Dollar pro Aufgabe; beide Werte sind nicht direkt vergleichbar.
Bei der Entdeckung neuer Schwachstellen in CyberGym meldet Anthropic Erfolge in 5 % der Fälle mit einem Versuch und in mehr als 33 % der Projekte bei dreißig Versuchen. Diese Werte gelten für die beschriebene Evaluierung. Sie zeigen weder, wie viele neue Schwachstellen das Modell in einer Produktivumgebung finden würde, noch wie lange es dafür benötigen könnte.
Die wichtigsten veröffentlichten Kennzahlen richtig einordnen
Die Messwerte hängen von der Aufgabe, der Zahl der Versuche und der Kostenbegrenzung ab.
| Test | Bedingung | Gemeldetes Ergebnis | Geltungsbereich |
|---|---|---|---|
| Cybench | Zehn Versuche pro Aufgabe | 76,5 % der Herausforderungen gelöst | Teilmenge von 37 Aufgaben; gemessen wird, ob mindestens ein Versuch erfolgreich war. |
| CyberGym: bekannte Schwachstellen | Begrenzung auf zwei US-Dollar pro Schwachstelle | 28,9 % | Kostenbedingung für den von Anthropic beschriebenen Vergleich. |
| CyberGym: bekannte Schwachstellen | Dreißig Versuche pro Aufgabe, ohne dieselbe Kostenbegrenzung | 66,7 % der Programme | Geschätzte Kosten von etwa 45 US-Dollar pro Aufgabe; nicht direkt mit der vorherigen Zeile vergleichbar. |
| CyberGym: neue Schwachstellen | Ein Versuch / dreißig Versuche | 5 % / mehr als 33 % | Ergebnisse zur Entdeckung im Benchmark, keine allgemeingültige Quote für reale Systeme. |
Ergebnisse hängen von Versuchen und Bedingungen ab
Cybench und CyberGym ermöglichen Vergleiche in klar umrissenen Szenarien. Die Benchmarks bilden jedoch nicht die Vielfalt realer Netzwerke, Anwendungen, Berechtigungen und Organisationsprozesse ab. Anthropic warnt, dass reale Probleme komplexer sind und Implementierungsdetails eine große Rolle spielen. Eine Benchmark-Punktzahl belegt deshalb nicht, dass das Modell in einer bestimmten Infrastruktur sicher arbeiten kann.
Die Zahl der Versuche beeinflusst, was eine Evaluierung misst. Bietet jeder Versuch eine weitere Gelegenheit, die Aufgabe zu lösen, kann die Erfolgsquote im Test steigen, ohne dass sich die Erfolgswahrscheinlichkeit beim ersten Durchlauf verändert. Bei der Veröffentlichung eines Ergebnisses sollten Prozentwert, Benchmark und Zahl der Versuche daher stets zusammen genannt werden.
Auch die Kostenbegrenzung ist relevant. Die CyberGym-Punktzahl unter der Grenze von zwei US-Dollar beantwortet eine andere Frage als der Test mit dreißig Versuchen, für den Anthropic etwa 45 US-Dollar pro Aufgabe veranschlagt. Letzterer prüft ein Szenario mit mehr Ressourcen. Daraus folgt jedoch nicht, dass sich die zusätzliche Leistung bei großflächigem Einsatz günstig erzielen lässt: Mit einer größeren Zahl von Aufgaben können sich die Kosten summieren.
Anthropic zufolge übertraf Sonnet 4.5 in den beschriebenen Evaluierungen frühere Modelle. Da die Angaben vom Unternehmen stammen und die Veröffentlichung keine unabhängige Validierung sämtlicher Ergebnisse vorlegt, müssen die Kennzahlen Anthropic zugeschrieben werden. Externe, von Dritten entwickelte Tests können das Risiko verringern, dass ein Modell lediglich auf eigene Prüfungen optimiert wurde. Sie stellen aber keine unabhängige Replikation dar.
Das Patchen bleibt vorläufig
Anthropic untersuchte außerdem, ob Sonnet 4.5 Schwachstellen aus CyberGym patchen kann. Das Modell erhielt eine Beschreibung des Fehlers sowie Informationen darüber, was beim Absturz des Programms geschah. Anschließend ließ Claude die vorgeschlagenen Patches mit von Menschen erstellten Referenzlösungen vergleichen. Laut Anthropic wurden 15 % der generierten Patches als semantisch gleichwertig mit den Referenzen bewertet.
Dieser Wert ist keine nachgewiesene Erfolgsquote für gültige Korrekturen in Produktivsystemen. Das Verfahren kann einen funktionierenden Patch als falsch einstufen, wenn er das Problem anders als die Referenz löst. Anthropic benennt diese Einschränkung ausdrücklich und bezeichnet die Untersuchung als vorläufig.
Das Unternehmen untersuchte manuell eine Auswahl der am höchsten bewerteten Patches. Nach Angaben von Anthropic waren einige davon funktional identisch mit Referenzlösungen, die in das Open-Source-Projekt übernommen wurden, auf dem die CyberGym-Evaluierung beruht. Aus dieser Stichprobe lässt sich kein Ergebnis für sämtliche erzeugten Patches ableiten. Ein Patch muss getestet und geprüft werden, um sicherzustellen, dass er die Schwachstelle behebt, ohne die vorgesehene Funktionalität zu beeinträchtigen.
Anthropic hält die Patch-Erstellung für schwieriger als die Erkennung von Schwachstellen: Das Modell muss gezielte Änderungen vornehmen und zugleich das erwartete Verhalten bewahren, das im Code womöglich nicht ausdrücklich beschrieben ist. Die Veröffentlichung nennt als nächsten Schritt eine systematische Bearbeitung dieser Schwierigkeiten, um verlässliches Erstellen und Prüfen von Patches zu ermöglichen. Sie behauptet nicht, dieses Ziel bereits erreicht zu haben.
Einen von KI vorgeschlagenen Patch sorgfältig bewerten
Der Ablauf behält die menschliche Prüfung und Tests des Systems bei, auf das die Korrektur angewendet werden soll.
- 01Den Fehler in einer autorisierten Umgebung reproduzieren und die Testbedingungen dokumentieren.
- 02Die vorgeschlagene Änderung untersuchen und prüfen, ob sie die Ursache der Schwachstelle behebt.
- 03Funktions- und Sicherheitstests ausführen, um mögliche Regressionen zu erkennen.
- 04Vor der Integration eine verantwortliche Person mit der Prüfung beauftragen.
- 05Das Ergebnis dokumentieren und eine Möglichkeit zur Rücknahme bereithalten, falls die Korrektur Probleme verursacht.
Defensive Anwendung und Grenzen des Einsatzes
Anthropic zufolge arbeitete das Unternehmen mit Organisationen zusammen, die Sonnet 4.5 beispielsweise zur Behebung von Schwachstellen, zur Prüfung der Netzwerksicherheit und zur Bedrohungsanalyse einsetzten. Die Veröffentlichung enthält Aussagen von HackerOne und CrowdStrike zu Anwendungen des Modells. Diese Einschätzungen geben die Erfahrungen der jeweiligen Verantwortlichen wieder; sie ersetzen keine kontrollierte Evaluierung mit detaillierten Ergebnissen für jede Organisation.
Zu den Anwendungsfeldern, die Anthropic weiter erkunden möchte, zählen die Automatisierung von Security Operations Centern, die Analyse von Sicherheitsinformationen und Ereignissen, sichere Netzwerkentwicklung und aktive Verteidigung. Dabei handelt es sich um gewünschte Experimentierfelder, nicht um Fähigkeiten, deren Wirksamkeit in all diesen Umgebungen durch Cybench- oder CyberGym-Zahlen belegt wäre.
Die Veröffentlichung erwähnt zudem, dass Claude Code automatisierte Sicherheitsprüfungen in einen Continuous-Integration- und -Deployment-Prozess integrieren kann. Eine integrierte Prüfung macht jedoch nicht jede Warnung zu einem bestätigten Fund und nicht jeden vorgeschlagenen Fix zu einer sicheren Änderung. Teams müssen Ergebnisse verifizieren, Berechtigungen begrenzen und Änderungen in geeigneten Umgebungen anwenden.
Anthropic erklärt, dass seine Teams unter anderem Zusammenfassungen auf Organisationsebene nutzen, um Aktivitäten über einzelne Interaktionen hinaus einzuordnen und missbräuchliches Verhalten besser von legitimen Dual-Use-Anwendungen zu unterscheiden. Die Veröffentlichung enthält keine Kennzahlen dazu, wie stark diese Maßnahmen den Missbrauch verringern. Sie sind daher als beschriebene Schutzvorkehrungen zu verstehen, nicht als Garantie, dass unerlaubte Nutzung verhindert wird.
Das Unternehmen räumt ein, dass einige Fähigkeiten von Sonnet 4.5 noch in einem frühen Entwicklungsstadium sind und derzeit weder mit denen von Sicherheitsexpertinnen und -experten noch mit etablierten Prozessen gleichziehen. Für Organisationen besteht der praktische Schritt nicht darin, diese Prozesse zu ersetzen, sondern klar abgegrenzte Aufgaben mit kontrollierten Berechtigungen, überprüfbaren Ergebnissen und menschlicher Prüfung zu testen.
Was Organisationen aus den Ergebnissen ableiten können
Eine Evaluierung im eigenen Umfeld sollte getestete Aufgaben von Forschungszielen unterscheiden.
| Vorgesehene Anwendung | Was die Veröffentlichung stützt | Was das Team prüfen sollte |
|---|---|---|
| Schwachstellen im Code finden | Anthropics Ergebnisse in Cybench und CyberGym | Trefferquote in den eigenen Repositories, falsch positive Befunde, Abdeckung und verwendete Berechtigungen. |
| Einen Patch vorschlagen | Vorläufiges Experiment mit Vergleich zu Referenzlösungen | Funktionale Korrektheit, Regressionen, Sicherheit und Prüfung vor der Integration. |
| Netzwerke oder Bedrohungen analysieren | Von Anthropic genannte Anwendungsfelder und Partneraussagen | Leistung in der eigenen Umgebung, Zugriffsgrenzen und Validierung jedes Befunds. |
| Sicherheitsabläufe automatisieren | Von Anthropic vorgeschlagene Entwicklungsrichtung | Welche Aufgaben automatisiert werden können, ohne kritische Entscheidungen dem Modell zu überlassen. |
Was sich ändert – und was noch nicht belegt ist
Anthropics zentrale Neuerung besteht darin, gezielt in defensive Cybersecurity-Fähigkeiten zu investieren, statt sich ausschließlich auf allgemeine Modellverbesserungen zu verlassen. Das Unternehmen veröffentlicht positive Ergebnisse für Sonnet 4.5 bei Tests zur Erkennung und Reproduktion von Schwachstellen. Die Patch-Erstellung stellt es als vielversprechenden, aber noch vorläufigen Forschungsbereich dar.
Die Kennzahlen sind hilfreich, wenn die Bedingungen mitgenannt werden: Benchmark, Zahl der Versuche, Kosten und Umfang der Aufgaben. Sie belegen nicht, dass das Modell sämtliche Fehler findet, stets korrekte Patches erstellt oder in jeder Umgebung sicher eingesetzt werden kann. Der defensive Nutzen hängt vom Kontext und von der Überprüfung ab.
Die Veröffentlichung macht außerdem deutlich, dass Cybersicherheit über die geprüften Tests hinausgeht. Die Sicherheit eingesetzter Systeme erfordert ein Verständnis ihrer Konfigurationen, Berechtigungen, Abhängigkeiten und betrieblichen Folgen. Anthropic behauptet nicht, Sonnet 4.5 ersetze menschliche Teams. Das Unternehmen beschreibt Versuche mit Organisationen und räumt ein, dass verlässliches Erstellen und Prüfen von Patches noch weiterer Arbeit bedarf.
Wer ein solches Werkzeug bewerten möchte, kann zunächst den Einsatzbereich begrenzen: autorisierte Repositories oder Systeme auswählen, erlaubte Aktionen des Modells festlegen, Treffer und falsch positive Befunde messen, jede Änderung prüfen und die Ergebnisse mit dem bestehenden Verfahren vergleichen. Dieser Ansatz beseitigt den Dual-Use-Risikocharakter nicht, ermöglicht aber Tests im eigenen Umfeld, ohne eine veröffentlichte Punktzahl mit einer Garantie gleichzusetzen.
Weiter entdecken
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen