Ein gemeinsames Signal in robots.txt für KI-Training: Was sich geändert hat und was noch aussteht

Die Ankündigung eines geteilten Signals für KI-Training

Am 30. Oktober 2026 kündigten OpenAI, Google, Microsoft und Anthropic an, ein gemeinsames Signal in der robots.txt-Datei zu respektieren. Diese Initiative ermöglicht es Website-Betreibern, mehreren Anbietern über eine einzige Regel mitzuteilen, ob ihre Inhalte für das Training generativer KI-Modelle verwendet werden dürfen.

Bisher mussten Redakteure separate Ausschlusslisten für jeden spezifischen Crawler wie GPTBot von OpenAI oder Google-Extended pflegen. Das neue Signal soll diese operative Komplexität reduzieren, indem es ein einheitliches Policy-Token bereitstellt, das die teilnehmenden Anbieter ähnlich interpretieren werden, was die Verwaltung der Nutzungsrechte für Daten vereinfacht.

Technische Mechanik: Das Token __usage_ai-training

Der Mechanismus basiert auf einem individuellen Internet-Entwurf mit dem Titel 'Machine-Readable Training Preference Signal', der von Kevin Kelley von Anthropic vor der Internet Engineering Task Force (IETF) vorgeschlagen wurde. Der Vorschlag ändert die bestehende Syntax von robots.txt nicht und führt keine neuen Direktiven ein, sondern verwendet reguläre User-Agent-Gruppen.

Das spezifische Token, das für diesen Zweck definiert ist, lautet __usage_ai-training. Wenn dieser Bezeichner mit Allow- oder Disallow-Direktiven verknüpft wird, drückt der Betreiber eine Nutzungspräferenz aus. Parser, die dieses Token nicht erkennen, behandeln es als unbekannten Agentennamen, wodurch bestehende Systeme unverändert weiterarbeiten können, während die neue Funktionalität integriert wird.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Beteiligung der Anbieter und Implementierungszeitpläne

Die Akzeptanz des Standards variiert je nach Unternehmen. Anthropic hat bestätigt, dass es die Unterstützung für dieses Token bereits implementiert hat. OpenAI plant, es in den kommenden Monaten einzuführen, hat jedoch kein konkretes Datum angegeben. Google und Microsoft planen, das Signal Anfang 2027 zu akzeptieren.

Google hat mitgeteilt, dass es, wenn eine Website das Policy-Token verwendet, um sich vom Training auszuschließen, und Google-Extended nicht ausdrücklich erwähnt, dies so interpretieren wird, als hätte der Redakteur diesen spezifischen Crawler deaktiviert. Microsoft wird seinerseits zusätzliche Steuerelemente anbieten, die es ermöglichen, sich unabhängig vom Training oder vom 'Grounding' (Verankerung) zu verweigern.

Grenzen des Standards und Umfang der Präferenzen

Es ist entscheidend, zwischen der Steuerung des Crawling und der Steuerung der Nutzung zu unterscheiden. Das Signal __usage_ai-training drückt eine Präferenz für das Training von Modellen aus, bestimmt aber nicht von selbst, ob ein Crawler eine Seite aus anderen Zwecken wie Suche oder Echtzeit-Inferenz besuchen darf.

Der IETF-Entwurf stellt klar, dass private Vereinbarungen Vorrang vor den in robots.txt ausgedrückten Präferenzen haben können. Darüber hinaus betont das technische Dokument, dass dieses Signal die bestehenden Crawling-Steuerungen nicht ersetzt. Ein Administrator kann beispielsweise das Training über das gemeinsame Signal blockieren, aber den Zugriff für generative Suche erlauben, wenn er die spezifischen Such-Crawler nicht blockiert.

Überlegungen für Redakteure und Web-Betreiber

Redakteure, die dieses Signal nutzen möchten, sollten verstehen, dass seine Wirksamkeit von der Adoption durch die Anbieter abhängt. Da der Standard weiterhin ein Entwurf bei der IETF ist, hat er keine formelle Unterstützung der Organisation und keinen Status als genehmigter Standard.

Es wird Betreibern empfohlen, dieses Signal mit anderen Schutzmaßnahmen wie WAF-Regeln oder Bot-Management zu kombinieren, da Inhalts-Signale Präferenzen und keine technischen Gegenmaßnahmen gegen die Aneignung von Inhalten sind. Außerdem ist es wichtig, die spezifische Dokumentation jedes Anbieters zu überprüfen, um zu verstehen, wie sie das Signal im Verhältnis zu ihren eigenen Crawlern interpretieren.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.