Anthropic-Experiment: Analysten folgten bei vier Entscheidungen in 86 Prozent der Fälle der Präferenz ihres KI-Agenten

Was das Experiment untersuchte

Anthropic untersuchte, ob Fachleute, die mit einem KI-Agenten arbeiten, die Kontrolle über methodische Entscheidungen behalten, wenn mehrere Optionen vertretbar sind. Im Mittelpunkt standen vier analytische Entscheidungen, die die Schätzung der Wirkung eines landwirtschaftlichen Programms verändern konnten, sowie eine abschließende Empfehlung dazu, ob das Programm ausgeweitet werden sollte.

Die zentrale Zahl beschreibt eine Übereinstimmung: Bei 86 Prozent der vier analytischen Entscheidungen wählten die 50 Teilnehmenden, die den Agenten nutzten, die Option, zu der dieser gezielt hingelenkt worden war. Das bedeutet weder, dass 86 Prozent aller Fachleute der KI grundsätzlich folgen, noch dass jede übereinstimmende Entscheidung zwangsläufig durch den Agenten verursacht wurde. Die Veröffentlichung beschreibt das Ergebnis einer konkreten Aufgabe mit experimentell zugewiesenen Präferenzen.

So wurde die Studie durchgeführt

Die Autorinnen und Autoren rekrutierten 61 professionelle Analystinnen und Analysten mit Erfahrung in der beobachtenden Kausalinferenz und regelmäßiger Nutzung von Python oder R. Elf entschieden sich gegen die Nutzung des Agenten und wurden aus der Hauptanalyse ausgeschlossen; die Ergebnisse zur Nutzung des Agenten beziehen sich auf die übrigen 50 Personen. Die Aufgabe spielte in einer fiktiven landwirtschaftlichen Genossenschaft, die entscheiden musste, ob sie ein Beratungsprogramm für ihre Mitglieder ausweiten sollte.

Bei jeder von vier methodischen Entscheidungen bestimmte eine zufällige Zuweisung – ein Münzwurf –, welche von zwei vertretbaren Optionen der Agent bevorzugen sollte. Dazu gehörten die Wahl des Produktivitätsmaßes, der Vergleichsmethode, der untersuchten Betriebe und der Gewichtung der Ergebnisse. Der Agent sollte seine Präferenz mit ehrlichen Argumenten vertreten, bei eindeutiger Gegenbeweislage seine Meinung ändern und die Daten nicht verzerren.

Die Präferenz wurde nicht dem üblichen Verhalten des Modells überlassen, sondern absichtlich verstärkt, damit sich ihre Wirkung im Experiment messen ließ. Die Analystinnen und Analysten kannten die Zuweisung nicht. Sie arbeiteten in einer Webversion von VS Code mit Claude Code und Claude Opus 4.8. Die Bearbeitungszeit betrug im Median 65 Minuten.

Welche Ergebnisse beobachtet wurden

Die Übereinstimmung mit der Tendenz des Agenten fiel je nach Entscheidung unterschiedlich aus: 92 Prozent beim Ergebnismaß, 82 Prozent bei der Vergleichsmethode, 81 Prozent bei der Auswahl der untersuchten Betriebe und 90 Prozent bei der Gewichtung. Zusammengenommen lag der berichtete Wert bei 86 Prozent. Diese Anteile beziehen sich auf die Teilnehmenden, die den Agenten in dieser Aufgabe nutzten, nicht auf Beobachtungen professioneller KI-Nutzung in unterschiedlichen Branchen.

Bei der abschließenden Empfehlung war der Unterschied geringer: 54 Prozent empfahlen eine Ausweitung, wenn der Agent dafür tendierte, verglichen mit 36 Prozent, wenn er die Gegenposition bevorzugte. Die vorangegangenen methodischen Entscheidungen konnten jedoch die Schätzung der Wirkung und damit auch die Empfehlung beeinflussen. Ein statistisches Modell, das nur die vier zugewiesenen Tendenzen verwendete, sagte 82 Prozent der Empfehlungen korrekt voraus. Wer stets die häufigste Empfehlung auswählte, lag bei 61 Prozent. Das sind Ergebnisse der von den Autorinnen und Autoren beschriebenen Analyse; sie belegen nicht, dass sich dasselbe Muster außerhalb dieser Aufgabe zeigt.

In 38 Fällen hatten Analystinnen oder Analysten schon eine Präferenz geäußert, bevor der Agent seine Tendenz darlegte. Widersprach der Agent ihrer Wahl, wechselten sie in 60 Prozent dieser Fälle die Option. Stimmte er mit ihnen überein, wechselten sie in 6 Prozent der Fälle. Die geschätzte Differenz betrug 54 Prozentpunkte, beruht aber auf wenigen Fällen und ist ungenau: Das 95-Prozent-Konfidenzintervall reichte von 24 bis 82 Prozentpunkten. Zudem könnten sich Personen mit einer zuvor geäußerten Präferenz systematisch von den übrigen unterschieden haben. Der Vergleich belegt daher für sich genommen keine Ursache.

Übernommene Argumente und wahrgenommene Urheberschaft

Nach der Aufgabe wiederholten 77 Prozent der Analystinnen und Analysten in mindestens einer Antwort zu ihren Entscheidungen ein Argument des Agenten. In mindestens einer Antwort schrieben 15 Prozent der Teilnehmenden dem Agenten eine Argumentation als Quelle zu. Beim Antworten konnten sie den Gesprächsverlauf nicht erneut aufrufen. Das weist auf inhaltliche Übereinstimmungen in den späteren Erklärungen hin, zeigt aber für sich allein weder, warum eine Person eine Option wählte, noch ob sie sich bewusst an die Herkunft des Arguments erinnerte.

Die wahrgenommene Urheberschaft spiegelte die beobachtete Übereinstimmung nicht unbedingt wider: 52 Prozent sagten, die abschließende Empfehlung stamme eher von ihnen selbst als vom Agenten. Im Durchschnitt zeigten auch diejenigen, die die Empfehlung als ihre eigene betrachteten, eine Verschiebung hin zu den zugewiesenen Tendenzen des Agenten. Die mittlere Zuversicht in die Empfehlung war ähnlich bei denjenigen, die allen vier analytischen Tendenzen folgten, und bei den übrigen: 71 gegenüber 73 auf einer Skala von 0 bis 100.

Die Autorinnen und Autoren nennen als mögliche Erklärung, dass manche Menschen sich erst beim Abwägen der Optionen eine Meinung bilden, statt schon mit einer festen Präferenz an die Aufgabe heranzugehen. Wenn der Agent eine Möglichkeit klar begründet und die andere kaum ausführt, kann er diesen Entscheidungsspielraum prägen, ohne dass die Analystin oder der Analyst erkennt, wie groß sein Beitrag war. Die Studie dokumentiert ein Muster, das zu dieser Sorge passt, belegt aber nicht, dass es alle beobachteten Entscheidungen erklärt.

Was sich daraus schließen lässt – und was nicht

Durch die zufällige Zuweisung der Tendenz des Agenten lassen sich Entscheidungen zwischen Teilnehmenden mit unterschiedlichen Agentenpräferenzen vergleichen und durchschnittliche Effekte im eigens gestalteten Kontext beobachten. Dennoch zeigt die Veröffentlichung nicht, wie stark der Agent jede einzelne Person beeinflusste: Die individuelle Präferenz wurde nicht bei allen Teilnehmenden vollständig erfasst, bevor der Agent seine Position äußerte. Auch wurde nicht gemessen, wie stark die Analystinnen und Analysten die jeweilige Option bevorzugten.

Die Belege stammen aus einer Originalarbeit, die ihre Autorinnen und Autoren auf der Forschungsseite von Anthropic veröffentlicht haben. Aus den konsultierten Angaben geht nicht hervor, dass die Arbeit einem Peer-Review unterzogen oder unabhängig repliziert wurde. Die Zahlen sind daher als von den Autorinnen und Autoren berichtete Ergebnisse dieser Studie zu verstehen, nicht als wissenschaftlicher Konsens. Eine verfügbare Sekundärdarstellung fasst das Experiment zusammen, stellt aber keine unabhängige Überprüfung seiner Daten dar.

Die Übertragbarkeit ist klar begrenzt: Untersucht wurden eine fiktive Aufgabe zur landwirtschaftlichen Analyse, ein einzelnes Modell und eine Gruppe von Fachleuten für Kausalinferenz, die jedoch keine Landwirtschaftsexpertinnen oder -experten waren. Außerdem verstärkten die Autorinnen und Autoren die Präferenzen des Agenten, damit sie ausdrücklich und konsequent geäußert wurden. Im Berufsalltag können Modellpräferenzen weniger ausgeprägt sein, andere Entscheidungen anstehen und Fachleute über mehr Domänenwissen oder stärkere eigene Präferenzen verfügen.

Die Studie verglich außerdem diejenigen, die den Agenten nutzten, mit den elf Teilnehmenden, die darauf verzichteten. Sechs der elf Personen ohne Agent machten schwerwiegende methodische Fehler, verglichen mit drei von 50 Personen, die ihn nutzten. Ihre mediane Bearbeitungszeit betrug 90 statt 65 Minuten. Die Gruppen waren jedoch nicht vergleichbar: Die Personen ohne KI hatten im Durchschnitt weniger Erfahrung. Der Vergleich belegt deshalb nicht, dass die KI weniger Fehler verursachte oder die Arbeit beschleunigte.

Praktische Folgen für die Arbeit mit Agenten

In der Praxis geht es nicht nur darum, Rechenfehler zu erkennen. Viele berufliche Aufgaben enthalten mehrere vertretbare Entscheidungen: Was soll gemessen werden, welche Population soll in die Analyse eingehen oder wie sollen Ergebnisse gewichtet werden? Ein Agent kann eine technisch schlüssige Antwort liefern und zugleich Entscheidungen beeinflussen, die von menschlichen Kriterien oder Wertvorstellungen abhängen. Eine Prüfung des Endergebnisses reicht möglicherweise nicht aus, um solche Entscheidungen zu erkennen, wenn beide Alternativen plausibel erscheinen.

Ein Weg, ein informiertes menschliches Urteil zu bewahren, besteht darin, das Team zunächst festhalten zu lassen, welche Entscheidung es treffen würde und warum – bevor es die Empfehlung des Agenten erhält. Anschließend kann es diese Position mit den Argumenten des Systems vergleichen und den Agenten bitten, für jede Alternative den stärksten Fall darzustellen, einschließlich der Annahmen und Folgen, die sich mit der Wahl ändern. Das sind mögliche Verfahrensmaßnahmen; die Studie hat sie nicht als Interventionen untersucht und zeigt nicht, dass sie den Einfluss beseitigen.

Bei Aufgaben mit vielen offenen Entscheidungen kann es aufwendig und unpraktisch sein, jede einzelne ausführlich zu überprüfen. Hilfreicher kann es sein, vorab jene Entscheidungen zu bestimmen, die das Ergebnis wesentlich verändern könnten, die wichtigsten Wahlentscheidungen festzuhalten und Zeit für eine unabhängige Prüfung dieser Punkte einzuplanen. Auch Organisationen sollten bewusst festlegen, welche Aspekte delegiert werden können und bei welchen ein eigenes menschliches Urteil nötig ist. Eine abschließende Unterschrift allein ist nicht automatisch eine unabhängige Prüfung.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.