Interne Analyse von Sprachmodellen trennt Gefahrenerkennung von der Ausgabe von Ablehnungen

Schädlichkeit erkennen ist nicht dasselbe wie eine Ablehnung formulieren

Sicherheitsangepasste Sprachmodelle sind weiterhin durch Jailbreaks angreifbar und können harmlose Anfragen übermäßig oft ablehnen. Um solche Fehler zu verstehen, muss man unterscheiden, ob ein Modell die Schädlichkeit einer Anfrage erkennt oder ob es die Berechnung ausführt, die eine Ablehnung hervorbringt.

Die Autoren fassen diese Unterscheidung als Frage nach dem internen Verarbeitungsweg auf. Sie messen diesen anhand der Aktualisierungen des Residualstroms in decoder-only-Transformern. Dabei trennen sie die Informationen über Schädlichkeit, die eine Modulaktualisierung erkennbar macht, von der Veränderung, die sie in den lesbaren Ablehnungssignalen bewirkt.

Welche Rolle Aufmerksamkeit und MLP-Schichten spielen

Die Analyse vergleicht Aktualisierungen der Aufmerksamkeitsmodule mit denen der mehrschichtigen Perzeptrons (MLP). Den Ergebnissen zufolge lässt sich die Information über Schädlichkeit leichter aus Aktualisierungen der Aufmerksamkeit dekodieren, besonders in frühen Schichten.

MLP-Aktualisierungen tragen dagegen stärker dazu bei, in sicherheitsangepassten Modellen gezielt Ablehnungen zu formulieren. Das deutet auf eine funktionale Arbeitsteilung hin: Aufmerksamkeit macht Hinweise auf Schädlichkeit zugänglicher, während MLP-Schichten stärker an der Ausgabe einer Ablehnung beteiligt sind. Diese Befunde beschreiben die untersuchten Modelle und Messungen; sie belegen keine universelle Aufgabenteilung für alle Sprachmodelle.

Untersuchungsumfang: 18 Base-Instruct-Paare

Die Autoren untersuchen 18 Paare aus Base- und Instruct-Modellen der Familien Qwen, Llama und Gemma. Damit betrachten sie mehrere Modellfamilien; die im Abstract genannten Ergebnisse beziehen sich jedoch auf diese konkrete Auswahl und nicht auf alle Sprachmodelle.

Nach dem Nachtraining fällt die Ablehnungsausgabe durch MLP-Aktualisierungen in allen 18 Paaren stärker aus. Eine systematische Verbesserung darin, Schädlichkeit aus den Aktivierungen zu dekodieren, berichten die Autoren dagegen nicht. Zugleich konzentriert sich das positive Ablehnungssignal der MLP nach dem Nachtraining stärker auf tiefere Schichten.

Reasoning-Modelle und kausale Eingriffe

Bei sechs Modellen mit Reasoning-Fähigkeiten bleibt Schädlichkeit während des Schlussfolgerns dekodierbar. Eine starke Ausgabe von Ablehnungssignalen konzentriert sich dagegen auf den Beginn der Antwort. Laut Abstract bleibt dieses Muster auch bestehen, wenn Reasoning deaktiviert ist.

Die Autoren berichten außerdem von kausalen Eingriffen, die den angenommenen Verarbeitungsweg stützen: Werden nachgelagerte MLP-Aktualisierungen auf ihre unveränderten Werte zurückgesetzt, sinkt die durch vorgelagerte Eingriffe in die Aufmerksamkeit ausgelöste Verschiebung hin zu einer Ablehnung deutlich. Das spricht in den untersuchten Eingriffen für einen Beitrag der MLP-Aktualisierungen. Es beantwortet aber nicht automatisch, wie sich das Verhalten bei sämtlichen Promptvarianten oder im praktischen Einsatz verändert.

Sentinel kombiniert Signale, um Sicherheitsfehler zu untersuchen

Auf Grundlage der Befunde stellen die Autoren Sentinel vor. Das Verfahren verbindet einen aus der Aufmerksamkeit abgeleiteten Wahrnehmungswert P mit einem aus MLP-Aktualisierungen abgeleiteten Entscheidungswert D. Die gemeinsamen Profile sollen helfen, Jailbreaks und übermäßige Ablehnungen zu charakterisieren.

Laut Abstract erreicht ein bedingtes Routing, das beide Signale nutzt, über acht untersuchte Modelle hinweg eine niedrigere aggregierte Fehlerrate als Routing mit nur einem Signal sowie als die ausgewerteten festen Erinnerungen. Das ist ein Ergebnis des beschriebenen Vergleichs, kein Nachweis, dass Sentinel sämtliche Sicherheitsfehler verhindert oder sich außerhalb der untersuchten Bedingungen genauso bewährt.

Was die Ergebnisse für Sicherheitsfehler bedeuten

Die Trennung zwischen Erkennung und Ablehnung bietet eine Möglichkeit, unterschiedliche Fehlerbilder zu untersuchen. Bei einer übermäßigen Ablehnung könnte eine Analyse beispielsweise prüfen, ob ein Modell Hinweise auf Schädlichkeit zu stark gewichtet oder ob der Schritt, der die Ablehnung formuliert, auf eine schwache Gefahreneinschätzung überreagiert. Der Abstract allein belegt jedoch nicht, dass sich jeder konkrete Fehler auf diese Weise erklären lässt.

Die Studie zeigt auch nicht, dass Jailbreaks gelöst sind. Ihre Befunde betreffen interne Messungen, ausgewählte Modelle und berichtete Eingriffe. Ob die Muster bei mehr Modellversionen, mehr Arten von Jailbreaks, harmlosen, aber mehrdeutigen Anfragen und unterschiedlichen Promptformulierungen bestehen bleiben, lässt sich anhand des verfügbaren Abstracts nicht feststellen.

Preprint-Status und offene Fragen

Der verfügbare Datensatz weist die Arbeit als am 9. Oktober 2026 eingereichtes Preprint aus. Eine Begutachtung durch eine Fachzeitschrift oder Konferenz und eine unabhängige Replikation sind damit nicht belegt. Die hier wiedergegebenen Ergebnisse stammen aus dem Abstract; daraus lassen sich weder die vollständigen Details der Evaluationsdatensätze noch sämtliche Kontrollmessungen und Auswertungen rekonstruieren.

Offen bleibt außerdem, ob Code und Daten die berichteten Messungen vollständig reproduzierbar machen. Ebenso lässt sich aus dem Abstract nicht klären, wie umfassend das Verfahren mit Jailbreaks, mehrdeutigen harmlosen Anfragen und wechselnden Prompts geprüft wurde. Diese Grenzen schränken die Reichweite der Aussagen ein, ohne die im Abstract ausdrücklich berichteten Resultate aufzuheben.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.