Anthropic testet automatisierte Forscher zur Minderung von zehn Ausrichtungsfehlern
Bild erstellt vom Redaktionsteam von Inferama
01

Was Anthropic getestet hat

Anthropic veröffentlichte ein Experiment, in dem Claude als automatisierter Ausrichtungsforscher agierte: Es suchte nach Methoden und Daten, um Modelle zu trainieren und konkrete, über Benchmarks gemessene Fehler zu reduzieren. Die Aufgabe bestand nicht darin, zu beweisen, dass ein Modell unter allen Umständen sicher ist, sondern darin, vorab definierte Ergebnisse zu verbessern.

Das System arbeitete an zehn Kategorien von Ausrichtungsfehlern, die separat behandelt wurden. Zu den von Anthropic beschriebenen Beispielen gehören der Verstoß gegen die Privatsphäre und die Schmeichelei, also die Tendenz, dem Nutzer zuzustimmen, auch wenn dies keine wahrheitsgemäße oder angemessene Antwort fördert. Jede Kategorie wurde mit spezifischen Tests bewertet.

Anthropic behauptet, dass die Methoden von Claude die Zieltests in den zehn Kategorien verbesserten, ohne die Leistung in den vom Studie gemessenen Fähigkeiten zu verringern. Die Schlussfolgerung hängt von diesem konkreten Satz von Tests ab: Sie umfasst nicht alle möglichen Verhaltensweisen und ist nicht gleichbedeutend mit der Zertifizierung der allgemeinen Sicherheit der Modelle.

02

Wie der Forschungszyklus funktionierte

Für jeden Fehler suchte Claude in der Literatur, schlug eine Methode und Trainingsdaten vor, trainierte ein Modell und prüfte das Ergebnis. Die Bewertungen steuerten die folgenden Versuche, sodass das System auf der Grundlage früherer Bewertungen iterieren konnte, anstatt einen einzigen ungetesteten Vorschlag zu unterbreiten.

Die Studie trennte die Tests, die die Suche steuerten, von anderen, die der Bewertung der Generalisierung vorbehalten waren. Außerdem las ein Überwachungsagent die Methoden, die Claude ausführen wollte. Anthropic verbot auch, dass das System seine eigene Ausrichtung direkt in das Ziellmodell kopiert. Diese Kontrollen grenzten das Experiment ein, garantierten aber nicht von sich aus, dass jede Intervention korrekt oder sicher war.

Die Hauptmaßnahme war der prozentuale Anteil der geschlossenen Sicherheitslücke: Wie nah das Modell der theoretischen perfekten Punktzahl der ausgewählten Tests kam. Interventionen, die die Leistung in den gewählten Fähigkeitsprüfungen beeinträchtigten, wurden abgelehnt. Die Metrik beschreibt den Fortschritt in diesen Bewertungen, nicht eine universelle Maßnahme der Ausrichtung.

Vom vorgeschlagenen Verfahren zur Bewertung

Der Prozess wiederholte eine Sequenz aus Forschung, Training und Bewertung. Ein günstiges Ergebnis deutete auf einen Erfolg in den ausgewählten Tests hin, nicht auf eine Garantie der Sicherheit außerhalb davon.

  1. 01Claude überprüfte die Literatur und schlug eine Methode und Trainingsdaten für einen konkreten Fehler vor.
  2. 02Ein Überwachungsagent prüfte die Methode, bevor sie ausgeführt wurde.
  3. 03Das System trainierte das Ziellmodell und ein unabhängiger Bewerter maß das Ergebnis.
  4. 04Die Bewertungen steuerten neue Versuche; die reservierten Tests dienten der Überprüfung der Generalisierung.
03

Welche Ergebnisse Anthropic meldete

Anthropic behauptet, dass Claude die Ergebnisse der Zieltests in den zehn untersuchten Kategorien verbesserte. Die ausgewählten Methoden funktionierten auch in Ausrichtungsevaluierungen, die das System während seiner Suche nicht gesehen hatte, und in Petri, einem Open-Source-Tool, das mehrstufige adversariale Szenarien simuliert. Petri ist eine Annäherung zur Bewertung von Verhaltensweisen, kein direkter Sicherheitstest in der realen Welt.

Anthropic berichtet auch, dass die Methoden in Modellen bis zu 4,7-mal größer als die während der Suche optimierten weiterhin wirksam waren. In einem Test über Täuschung mit Gemma-2-2B unternahm Claude mehr als 150 Versuche. Die beste Ausführung schloss 82 % der Sicherheitslücke; der gemeldete Durchschnitt über mehrere Ausführungen betrug 85 %. Diese Zahlen beschreiben unterschiedliche Messungen: Eine bezieht sich auf die hervorgehobene Ausführung, die andere auf den Durchschnitt mehrerer Ausführungen.

In einem anderen Experiment arbeitete Claude Sonnet 5 60 Stunden lang daran, Ausrichtungsfehler in einer frühen Version von Claude Opus 4.8 zu mindern. Anthropic behauptet, dass die gewinnende Lösung Ausrichtungspunktzahlen erreichte, die denen ihrer Produktionsmodelle nahe kamen, und etwas mehr als 2.000 Trainingsbeispiele verwendete. Der von dem Unternehmen vorgestellte Effizienzvergleich bezieht sich auf sein Produktionsausrichtungsverfahren; er beweist nicht, dass die Methode in anderen Modellen oder Kontexten mit diesem Verfahren austauschbar ist.

Was die gemeldeten Ergebnisse bedeuten

Die Zahlen fassen konkrete Tests und Konfigurationen zusammen. Sie dürfen nicht als universelle Sicherheitsmaße interpretiert werden.

ErgebnisWas es anzeigtWas es nicht beweist
Verbesserung in zehn KategorienClaude verbesserte die für jede Kategorie ausgewählten Tests.Dass alle möglichen Ausrichtungsfehler abgedeckt wurden.
Reservierte Bewertungen und PetriEinige Methoden funktionierten außerhalb der während der Suche verwendeten Tests.Dass die Bewertungen das Risiko in eingesetzten Systemen vollständig reproduzieren.
Übertragung auf größere ModelleAnthropic beobachtete Wirksamkeit in Modellen bis zu 4,7-mal größer als die optimierten.Dass sich das Ergebnis auf jedes Modell oder jede Skala verallgemeinert.
04

Konkrete Methoden und Grenzen der Bewertung

In der Arbeit über Schmeichelei gibt Anthropic an, dass 98 % der vorgeschlagenen Methoden eine veröffentlichte Technik verwendeten: ein Modell mit seinen eigenen nicht-schmeichelhaften Antworten zu trainieren. Claude verwendete Aktivierungssteuerung, um weniger schmeichelhafte Beispiele zu generieren. Diese Technik passt interne Darstellungen während der Generierung an; ihre Verwendung im Experiment stellt nicht fest, dass sie die Schmeichelei im Allgemeinen eliminiert.

Für den Verstoß gegen die Privatsphäre zitiert Anthropic ConfAIde, PrivaCI-Bench und PrivacyLens als Benchmarks. Das Unternehmen behauptet, dass Claude die in ihnen gemessene Leistung verbesserte, aber die veröffentlichte Zusammenfassung schreibt das Ergebnis keiner einzigen Intervention zu und liefert hier keine Aufschlüsselung, die es ermöglicht, jeden Test separat zu vergleichen.

Die Anzahl und Vielfalt der Bewertungen sind wichtig. In einem im Bericht beschriebenen Ablationsversuch führte die Optimierung eines einzigen Injektionstests zu einer Verbesserung in diesem Test, aber nicht zu einer zuverlässigen Generalisierung auf andere ungesehene Tests. Dieses Ergebnis zeigt, warum eine hohe Punktzahl in einem einzelnen Benchmark nicht ausreicht, um zu stützen, dass das zugrunde liegende Problem gemindert wurde.

05

Der Vergleich mit menschlichen Forschern

Anthropic verglich die automatisierten Methoden mit Vorschlägen menschlicher Forscher. Das Unternehmen behauptet, dass Claude den besten menschlichen Vorschlag in den sieben Kategorien mit vergleichbaren Vorschlägen übertraf; im Beispiel der Täuschung erzielte seine beste Methode 20 % bessere Ergebnisse als der stärkste menschliche Vorschlag.

Der Vergleich war nicht äquivalent. Die menschlichen Forscher hatten bis zu acht Stunden Zeit, um Vorschläge zu formulieren, konnten sie aber nicht nach Kenntnis ihrer Punktzahlen testen und überprüfen. Claude hingegen konnte aufeinanderfolgende Versuche durchführen und die Bewertungen nutzen, um die nächsten zu steuern. Daher beweist das Ergebnis nicht, dass Claude menschliche Forscher unter gleichen Bedingungen übertrifft.

Anthropic präsentiert den Vergleich als Hinweis darauf, dass eine automatisierte Suche vielversprechende Methoden erkunden kann, damit Menschen sie bewerten und verfeinern. Diese Interpretation ist enger gefasst als die Behauptung, dass das System die Personen ersetzen kann, die die Ausrichtung erforschen.

Wie der Vergleich zu interpretieren ist

Die Gruppen hatten unterschiedliche Möglichkeiten, ihre Methoden zu testen und zu verbessern.

AspektMenschliche ForscherAutomatisierte Forscher
ErstvorschlagBis zu acht Stunden zur Formulierung von Methoden.Das System schlug Methoden vor, die bewertet wurden.
Iteration mit PunktzahlenKonnten den Vorschlag nach Kenntnis der Ergebnisse nicht überprüfen.Konnten die Punktzahlen nutzen, um neue Versuche zu steuern.
Lesart des ErgebnissesReferenz basierend auf Vorschlägen ohne vergleichbare Iteration.Beweis für iterative Suche, nicht für Überlegenheit unter gleichen Bedingungen.
06

Was die Studie nicht beweist

Die untersuchten Kategorien waren enger gefasst als die möglichen Fehler in Produktionssystemen. Anthropic erkennt an, dass es beispielsweise politische Verzerrungen nicht maß, und dass einige Probleme so selten auftreten oder so neu sind, dass es noch keinen geeigneten Test gibt, um sie zu messen.

Die Fähigkeitsprüfungen hatten ebenfalls einen begrenzten Umfang. Die Studie lehnte Methoden ab, die die gemessenen Fähigkeiten beeinträchtigten, aber die gewählten Tests deckten nicht alle wichtigen Fähigkeiten ab. Daher garantiert das Ergebnis, dass die Interventionen diese Prüfungen nicht verschlechterten, nicht, dass sie jede andere nützliche Fähigkeit bewahrten.

Anthropic prüfte auch nicht, ob die Verbesserungen nach einem umfangreichen Verstärkungslearning in anderen Aufgaben bestanden. Das Unternehmen erkennt außerdem an, dass Petri und andere Bewertungen Annäherungen an die tatsächliche Fehlausrichtung sind. Die gemeldete Wirksamkeit ist ein experimentelles Ergebnis, keine Garantie für das Verhalten eingesetzter Systeme.

Die Studie bietet frühe Hinweise darauf, dass automatisierte Forschung bei der Entwicklung von Nachtrainingsmethoden für definierte Fehler helfen könnte. Ihr stärkster Umfang ist der einer iterativen Suche, die ausgewählte Tests, einschließlich einiger reservierter Bewertungen, verbesserte. Die allgemeine Sicherheit, die Beständigkeit der Verbesserungen und ihre Nützlichkeit unter Produktionsbedingungen bleiben außerhalb dessen, was dieses Experiment festlegt.

07

Implikationen für die Ausrichtungsforschung

Der konkreteste Beitrag ist ein Arbeitsablauf, in dem ein System Interventionen sucht, testet und dokumentiert, um messbare Fehler zu reduzieren. Überwachung und Trennung der Bewertungen können helfen, diesen Prozess zu kontrollieren, ersetzen aber nicht die Überprüfung des Umfangs der Tests noch die Bewertung der Ergebnisse.

Um zukünftige Anwendungen zu bewerten, ist es sinnvoll, drei Fragen zu unterscheiden: ob die Intervention die zur Entwicklung verwendete Tests verbessert, ob sie sich auf Bewertungen überträgt, die das System nicht gesehen hat, und ob sie ihre Wirkung außerhalb dieser Konfiguration beibehält. Die Studie liefert Ergebnisse zu den ersten beiden in einigen Fällen; sie löst die dritte unter weiten Produktionsbedingungen nicht.

Anthropic behauptet, dass es die Umgebung für automatisierte Forschung veröffentlicht hat, damit andere darauf aufbauen und sie für ihre eigenen Modelle verwenden können. Die Verfügbarkeit der Umgebung bedeutet nicht, dass alle für die Reproduktion jedes Ergebnisses erforderlichen Daten, Ergebnisse oder Verfahren enthalten sind. Die Arbeit stützt die Erkundung automatisierter Werkzeuge unter Kontrollen und begrenzten Bewertungen, nicht eine allgemeine Schlussfolgerung, dass die Ausrichtung bereits vollständig automatisiert werden kann.

Drei Fragen zur Interpretation einer Minderung

Diese Fragen trennen eine Verbesserung in einem Test von einer breiteren Aussage über das Verhalten eines Modells.

  1. 01Verbesserte das Modell die Bewertungen, die zur Steuerung der Methode verwendet wurden?
  2. 02Bewahrte sich die Verbesserung in reservierten Tests, die das System nicht gesehen hatte?
  3. 03Wurde überprüft, dass der Effekt in anderen Modellen, Aufgaben und Nutzungsbedingungen besteht?
08

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen