AnswersPublished24 sources
Met één robots.txt-regel aangeven of AI-bedrijven je content mogen trainen
Google, OpenAI, Microsoft en Anthropic steunden op 30 oktober 2026 een gedeeld robots.txt signaal voor AI training: User agent: usage ai training met Disallow: /.[4][8] Microsoft wil het signaal vanaf 1 februari 2027 toepassen; Google mikt op begin 2027, OpenAI noemt ‘de komende maanden’ en Anthropic zegt dat de imp...
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Google, OpenAI, Microsoft en Anthropic steunden op 30 oktober 2026 een gedeeld robots.txt signaal voor AI training: User agent: usage ai training met Disallow: /.[4][8]
- Microsoft wil het signaal vanaf 1 februari 2027 toepassen; Google mikt op begin 2027, OpenAI noemt ‘de komende maanden’ en Anthropic zegt dat de implementatie is gestart.[8][17]
- Het voorstel is een IETF Internet Draft, geen afgeronde standaard. Het gaat om gebruik voor AI training, niet automatisch om crawlen of gewone zoekresultaten.[2][7]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Een uitgever hoeft straks mogelijk niet voor elke AI-aanbieder een aparte regel in robots.txt te schrijven om bezwaar te maken tegen het gebruik van content voor AI-training. Google, OpenAI, Microsoft en Anthropic steunden op 30 oktober 2026 een gedeeld signaal: de token __usage_ai-training.4
8
De belangrijkste kanttekening: robots.txt geeft een voorkeur door, maar vormt geen technische muur. Het signaal werkt alleen voor aanbieders die aangeven het te zullen respecteren.7
8
Zo werkt de regel
Anthropics standaardenleider Kevin Kelley diende het voorstel Machine-Readable Training Preference Signal in als Internet-Draft bij de AI Preferences-werkgroep van de IETF, de organisatie die internetstandaarden ontwikkelt. Het voorstel gebruikt __usage_ai-training als herkenningstoken in een gewone robots.txt-groep.2
6
7
Wie AI-training op de hele site wil weigeren, kan dit aangeven met:
User-agent: __usage_ai-training
Disallow: /
Met gewone padregels kan een uitgever een uitzondering maken. In dit voorbeeld geldt het bezwaar in principe voor de hele site, behalve voor /permitted/:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
De token benoemt het gebruik waar de voorkeur over gaat, niet de crawler van één specifiek bedrijf. Het voorstel vereist dat de token expliciet wordt genoemd: een groep met User-agent: * geldt er niet voor.7
34
Wat het signaal wel en niet regelt
De gedeelde regel gaat specifiek over het gebruik van content voor generatieve AI-training. Op zichzelf vraagt hij niet om een pagina niet meer te crawlen of uit zoekresultaten te verwijderen.2
7 Omdat het om een voorkeur in
robots.txt gaat, is het geen technische blokkade: de werking hangt af van de naleving door aanbieders.7
8
Bestaande bedrijfsregels kunnen daarnaast relevant blijven. Google zegt dat het een gedeeld trainingsverbod wil behandelen als een verbod voor Google-Extended wanneer een site geen aparte regel voor Google-Extended heeft opgegeven. Die bestaande, Google-specifieke instelling blijft dus van belang bij het instellen van voorkeuren voor Google.33
34
Microsoft zegt afzonderlijk dat de nieuwe voorkeuren niets veranderen aan de geschiktheid voor Bing-zoekresultaten.19
31 Die toezegging gaat over Bing; de beschikbare bronnen geven geen algemene garantie over indexering bij alle vier de bedrijven.
Wanneer de bedrijven het willen invoeren
Dit zijn aangekondigde plannen; ze betekenen niet dat alle systemen al werken:
- Anthropic: Kelley zei dat het bedrijf was begonnen met de implementatie. Een vaste datum voor afronding is niet bekendgemaakt.
8
- Google: mikt op ondersteuning in het begin van 2027.
- Microsoft/Bing: wil de gedeelde trainingsvoorkeur vanaf 1 februari 2027 toepassen wanneer Bing pagina’s crawlt.
17
- OpenAI: zou ondersteuning in ‘de komende maanden’ willen invoeren; de beschikbare bronnen noemen geen vaste datum.
Microsoft maakt training en ‘grounding’ apart instelbaar
Microsoft voegt naast de gedeelde voorkeur voor training eigen instellingen toe voor AI-grounding: het gebruik van webcontent om gegenereerde antwoorden te onderbouwen. Die instelling staat los van training en geldt per pagina.17
De gemelde opties zijn Allow, Disallow en DisallowExtended. Met die laatste keuze kan content wel worden gebruikt in Microsofts eigen diensten, maar niet in Microsofts groundingdiensten voor derden.3
17
Voor sites die de oudere tags NoArchive of NoCache gebruiken, zijn er overgangsdata om rekening mee te houden. Volgens de berichtgeving komen tijdelijke groundinginstellingen in Bing Webmaster Tools op 15 december 2026 beschikbaar voor in aanmerking komende sites. 1 maart 2027 is genoemd als migratiedeadline voor sites die nog op die oudere tags vertrouwen.3
44
51 De nieuwe Microsoft-voorkeuren moeten vanaf 1 februari 2027 gelden wanneer Bing content opnieuw crawlt.
17
31
Wat nog niet vaststaat
- Het standaardisatieproces loopt nog. Het voorstel is een Internet-Draft, geen afgeronde IETF-standaard. De aangehaalde versie is gedateerd op 30 oktober 2026 en vermeldt 3 mei 2027 als vervaldatum.
2
34
41
- De gevolgen voor eerder verzamelde content zijn niet duidelijk. De beschikbare informatie zegt niet of het signaal ook geldt voor materiaal dat al is verzameld, verwijdering daarvan vereist of gevolgen heeft voor modellen die al zijn getraind.
- Naleving blijft bepalend. De bronnen beschrijven de plannen van deelnemende bedrijven om de voorkeur te respecteren. Ze tonen geen afdwinging tegen partijen die niet meedoen.
7
- Steun van Meta is niet bevestigd. De berichtgeving noemt Google, OpenAI, Microsoft en Anthropic, maar bevestigt geen implementatietoezegging van Meta.
4
Voor uitgevers is de praktische conclusie: zie __usage_ai-training als een gezamenlijke manier om een trainingsvoorkeur kenbaar te maken, niet als vervanging voor provider-specifieke regels, aparte groundinginstellingen of controle van de uitrol per bedrijf.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Met één robots.txt-regel aangeven of AI-bedrijven je content mogen trainen"?
Google, OpenAI, Microsoft en Anthropic steunden op 30 oktober 2026 een gedeeld robots.txt signaal voor AI training: User agent: usage ai training met Disallow: /.[4][8]
What are the key points to validate first?
Google, OpenAI, Microsoft en Anthropic steunden op 30 oktober 2026 een gedeeld robots.txt signaal voor AI training: User agent: usage ai training met Disallow: /.[4][8] Microsoft wil het signaal vanaf 1 februari 2027 toepassen; Google mikt op begin 2027, OpenAI noemt ‘de komende maanden’ en Anthropic zegt dat de implementatie is gestart.[8][17]
What should I do next in practice?
Het voorstel is een IETF Internet Draft, geen afgeronde standaard. Het gaat om gebruik voor AI training, niet automatisch om crawlen of gewone zoekresultaten.[2][7]
Sources