AntwortenVeröffentlicht24 Quellen
Ein robots.txt-Signal für alle? Was der KI-Trainings-Widerspruch für Publisher bedeutet
Am 30. Oktober 2026 unterstützten Google, OpenAI, Microsoft und Anthropic ein gemeinsames robots.txt Signal für den Widerspruch gegen KI Training: User agent: usage ai training mit Disallow: /.[4][8] Microsoft will das Signal ab dem 1.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Am 30. Oktober 2026 unterstützten Google, OpenAI, Microsoft und Anthropic ein gemeinsames robots.txt Signal für den Widerspruch gegen KI Training: User agent: usage ai training mit Disallow: /.[4][8]
- Microsoft will das Signal ab dem 1. Februar 2027 beim Crawlen beachten.
- Das Signal steht in einem IETF Internet Draft, ist also noch kein fertiger Standard.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Ein gemeinsames robots.txt-Signal könnte Website-Betreibern die Arbeit erleichtern: Statt für jeden Anbieter eine eigene Regel zum KI-Training zu formulieren, könnten sie ihre Präferenz einmal für alle teilnehmenden Unternehmen ausdrücken. Am 30. Oktober 2026 unterstützten Google, OpenAI, Microsoft und Anthropic den Vorschlag mit dem Token __usage_ai-training.4
8
Wichtig ist die Einschränkung: robots.txt ist hier eine Präferenz, die teilnehmende Anbieter nach eigener Ankündigung beachten wollen – keine technische Sperre, die den Zugriff auf eine Website verhindert.
So funktioniert die Regel
Kevin Kelley, bei Anthropic für Standards zuständig, reichte den Entwurf Machine-Readable Training Preference Signal bei der Arbeitsgruppe AI Preferences der Internet Engineering Task Force (IETF) ein. Der Entwurf definiert __usage_ai-training als Token, das in einer gewöhnlichen robots.txt-Gruppe verwendet werden kann.2
6
7
Wer KI-Training für die gesamte Website untersagen möchte, kann beispielsweise diese Regel eintragen:
User-agent: __usage_ai-training
Disallow: /
Auch gezielte Ausnahmen für einzelne Pfade sind möglich. Im folgenden Beispiel ist Training grundsätzlich untersagt, für den Pfad /permitted/ aber erlaubt:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
Das Token bezeichnet die gewünschte Nutzung der Inhalte, nicht den Crawler eines bestimmten Unternehmens. Es muss ausdrücklich genannt werden: Eine Gruppe mit User-agent: * gilt nicht als passende Regel für __usage_ai-training.7
34
Was das Signal regelt – und was nicht
Der gemeinsame Token betrifft die Frage, ob Inhalte für das Training generativer KI verwendet werden dürfen. Er ist für sich genommen weder eine Aufforderung, das Crawlen einzustellen, noch ein Antrag, eine Seite aus Suchergebnissen zu entfernen.2
7 Da es sich um eine robots.txt-Präferenz handelt, hängt ihre Wirkung davon ab, ob Anbieter sie respektieren.
7
8
Bestehende anbieterspezifische Einstellungen können trotzdem relevant bleiben. Google zufolge soll ein gemeinsamer Widerspruch als Sperre für Google-Extended gelten, falls eine Website keine eigene Google-Extended-Regel festgelegt hat.33
34
Microsoft hat separat erklärt, dass die neuen Präferenzen nichts daran ändern, ob Inhalte für Bing-Suchergebnisse infrage kommen.19
31 Diese Zusicherung bezieht sich auf Bing; aus den verfügbaren Angaben lässt sich keine umfassende Garantie für die Suchindexierung bei allen vier Unternehmen ableiten.
Wann die Anbieter das Signal beachten wollen
Die genannten Termine sind angekündigte Pläne und kein Beleg dafür, dass die Umsetzung überall bereits läuft:
- Anthropic: Kevin Kelley sagte, das Unternehmen habe mit der Umsetzung begonnen. Ein verbindlicher Abschlusstermin ist in den verfügbaren Berichten nicht genannt.
8
- Google: Das Unternehmen peilt eine Unterstützung Anfang 2027 an.
- Microsoft/Bing: Microsoft will die gemeinsame Trainingspräferenz ab dem 1. Februar 2027 beim Crawlen von Seiten beachten.
17
- OpenAI: Eine Unterstützung ist „in den kommenden Monaten“ angekündigt; ein fester Termin liegt nicht vor.
Microsoft trennt Training und „Grounding“
Microsoft ergänzt die gemeinsame Trainingspräferenz um eigene Einstellungen für AI Grounding. Damit ist gemeint, dass Inhalte beim Erstellen generierter Antworten als Grundlage dienen können. Diese Entscheidung ist laut Bing eine separate, seitenbezogene Präferenz und unabhängig von der Frage, ob Inhalte fürs Training genutzt werden dürfen.17
Für Grounding nennt Microsoft drei Optionen: Allow, Disallow und DisallowExtended. Die letzte Option soll Grounding in von Microsoft betriebenen Angeboten zulassen, aber Dienste Dritter ausschließen, die Microsoft Grounding-Funktionen bereitstellt.3
17
Auch für Websites, die noch die älteren Kennzeichnungen NoArchive oder NoCache nutzen, gibt es Übergangstermine. Ab dem 15. Dezember 2026 sollen geeignete Websites vorübergehende Grounding-Einstellungen in den Bing Webmaster Tools nutzen können. Als Umstellungsfrist für Websites, die auf diese älteren Kennzeichnungen setzen, wird der 1. März 2027 genannt. Die neuen Präferenzen sollen beim Crawlen ab dem 1. Februar 2027 greifen.3
17
31
44
51
Was noch offen ist
- Der IETF-Prozess ist nicht abgeschlossen. Der Vorschlag ist ein Internet-Draft und kein fertiger IETF-Standard. Der zitierte Entwurf trägt das Datum 30. Oktober 2026 und ist mit einem Ablaufdatum am 3. Mai 2027 aufgeführt.
2
34
41
- Für bereits gesammelte Inhalte gibt es keine klare Aussage. Die verfügbaren Angaben klären nicht, ob der Widerspruch rückwirkend gilt, eine Löschung verlangt oder bereits trainierte Modelle betrifft.
- Die Wirkung hängt von der freiwilligen Beachtung ab. Die Quellen beschreiben die Pläne teilnehmender Anbieter, eine Präferenz zu respektieren – nicht eine technische Durchsetzung gegenüber anderen.
7
- Eine Umsetzung durch Meta ist hier nicht belegt. Die Berichte nennen Google, OpenAI, Microsoft und Anthropic, bestätigen aber keine Zusage von Meta.
4
Für Publisher ist das gemeinsame Token eine nützliche Möglichkeit, eine Trainingspräferenz einheitlich auszudrücken. Es ersetzt aber nicht den Blick auf anbieterspezifische Regeln, getrennte Grounding-Einstellungen und die tatsächlichen Einführungstermine der einzelnen Unternehmen.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Ein robots.txt-Signal für alle? Was der KI-Trainings-Widerspruch für Publisher bedeutet“?
Am 30. Oktober 2026 unterstützten Google, OpenAI, Microsoft und Anthropic ein gemeinsames robots.txt Signal für den Widerspruch gegen KI Training: User agent: usage ai training mit Disallow: /.[4][8]
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Am 30. Oktober 2026 unterstützten Google, OpenAI, Microsoft und Anthropic ein gemeinsames robots.txt Signal für den Widerspruch gegen KI Training: User agent: usage ai training mit Disallow: /.[4][8] Microsoft will das Signal ab dem 1. Februar 2027 beim Crawlen beachten.
Was soll ich als nächstes in der Praxis tun?
Das Signal steht in einem IETF Internet Draft, ist also noch kein fertiger Standard.
Quellen
anythingengineoptimization.comAI-search news archive — AEO Wire