AnswersPublished24 sources
Yksi robots.txt-merkintä voisi kertoa, saako sisältöä käyttää tekoälyn koulutukseen
Google, OpenAI, Microsoft ja Anthropic ilmoittivat 30. lokakuuta 2026 tukevansa yhteistä robots.txt tunnistetta, jolla julkaisija voi ilmaista, saako sisältöä käyttää generatiivisen tekoälyn koulutukseen.[4][8] Microsoft aikoo noudattaa merkintää 1.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Google, OpenAI, Microsoft ja Anthropic ilmoittivat 30. lokakuuta 2026 tukevansa yhteistä robots.txt tunnistetta, jolla julkaisija voi ilmaista, saako sisältöä käyttää generatiivisen tekoälyn koulutukseen.[4][8]
- Microsoft aikoo noudattaa merkintää 1. helmikuuta 2027 alkaen, Google tähtää vuoden 2027 alkuun, OpenAI on puhunut tulevista kuukausista ja Anthropic kertoi aloittaneensa toteutuksen.[8][17]
- Kyseessä on IETF:lle jätetty luonnos, ei valmis standardi. Merkintä koskee koulutuskäyttöä eikä itsessään estä sivujen indeksointia tai hakutuloksissa näkymistä.[2][7]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Yksi rivi sivuston robots.txt-tiedostossa voisi tulevaisuudessa riittää kertomaan usealle tekoäly-yhtiölle, ettei sivuston sisältöä haluta käytettävän generatiivisten mallien koulutukseen. Google, OpenAI, Microsoft ja Anthropic ilmoittivat 30. lokakuuta 2026 tukevansa yhteistä tunnistetta __usage_ai-training.4
8
Tärkeä varaus: kyse on julkaisijan ilmoittamasta käyttötoiveesta, ei teknisestä lukosta, joka estäisi sivustolle pääsyn. Tunnisteen vaikutus riippuu siitä, noudattavatko palveluntarjoajat sitä.7
8
Näin robots.txt-merkintä toimii
Anthropicin standardointivastaava Kevin Kelley toimitti IETF:n AI Preferences -työryhmälle luonnoksen nimeltä Machine-Readable Training Preference Signal. IETF eli Internet Engineering Task Force on internetin teknisiä standardeja kehittävä järjestö. Luonnoksessa määritellään __usage_ai-training-tunniste, jota sivuston ylläpitäjä voi käyttää tavallisessa robots.txt-tiedostossa.2
6
7
Jos julkaisija haluaa kieltää koko sivuston sisällön käytön tekoälyn koulutukseen, merkintä voisi näyttää tältä:
User-agent: __usage_ai-training
Disallow: /
Tunnisteella voi rajata myös yksittäisiä polkuja. Esimerkiksi seuraava sääntö kieltää koulutuskäytön yleisesti mutta sallii sen /permitted/-polulla:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
Tunniste kertoo käyttötarkoitusta koskevasta toiveesta, ei yksittäisen yhtiön botista. Luonnoksen mukaan tunniste on kirjoitettava erikseen: User-agent: * -ryhmä ei vastaa sitä.7
34
Koulutuksen rajoittaminen ei ole sama kuin indeksoinnin estäminen
Yhteinen tunniste koskee nimenomaan sitä, saako sisältöä käyttää generatiivisen tekoälyn koulutukseen. Se ei sellaisenaan pyydä estämään sivun indeksointia tai poistamaan sitä hakutuloksista.2
7 Koska
robots.txt ilmaisee palveluntarjoajille sivuston käyttötoiveen, sitä ei pidä ajatella teknisenä pääsynestona.7
8
Yhtiöiden omat, palvelukohtaiset asetukset voivat silti olla tarpeen. Google on kertonut aikovansa tulkita yhteisen koulutuskiellon Google-Extended-eston tavoin, jos sivusto ei ole määritellyt erillistä Google-Extended-sääntöä. Googlen oma ohjaus on siis edelleen olennainen osa asetusten kokonaisuutta.33
34
Microsoft puolestaan sanoo, etteivät uudet asetukset muuta sivuston kelpoisuutta näkyä Bingin hakutuloksissa.19
31 Tämä lupaus koskee Bingiä. Käytettävissä olevat lähteet eivät anna vastaavaa kattavaa takuuta kaikkien neljän yhtiön hakupalveluista.
Milloin yhtiöt aikovat ottaa tunnisteen käyttöön?
Alla olevat aikataulut ovat ilmoitettuja suunnitelmia, eivät vahvistus siitä, että toteutukset olisivat jo käytössä:
- Anthropic: Kelley kertoi yhtiön aloittaneen tunnisteen toteutuksen. Lähteissä ei ilmoiteta tarkkaa valmistumispäivää.
8
- Google: Tavoitteena on tuki vuoden 2027 alussa.
- Microsoft ja Bing: Microsoft aikoo noudattaa yhteistä koulutuspreferenssiä sivuja indeksoidessaan 1. helmikuuta 2027 alkaen.
17
- OpenAI: Tuen on kerrottu olevan tulossa ”tulevien kuukausien aikana”, mutta tarkkaa päivää ei ole ilmoitettu.
Microsoft erottaa koulutuksen ja vastausten pohjustamisen
Microsoft lisää yhteisen koulutuspreferenssin rinnalle erillisiä asetuksia AI grounding -käyttöön. Grounding tarkoittaa tässä sitä, että verkkosisältöä käytetään tekoälyn tuottamien vastausten taustatietona. Microsoftin mukaan julkaisija voi hallita tätä sivukohtaisesti erillään koulutuskäytöstä.17
Raportoidut grounding-vaihtoehdot ovat Allow, Disallow ja DisallowExtended. Viimeinen sallii sisällön käytön Microsoftin omissa palveluissa mutta rajaa pois Microsoftin kolmansille osapuolille tarjoamat grounding-palvelut.3
17
Microsoftin aikataulut ovat merkityksellisiä myös sivustoille, jotka käyttävät vanhoja NoArchive- tai NoCache-tunnisteita:
- 15. joulukuuta 2026: Bing Webmaster Tools -työkaluun on tarkoitus avata väliaikaiset grounding-asetukset ehdot täyttäville sivustoille.
3
44
51
- 1. helmikuuta 2027: Microsoft aikoo alkaa noudattaa uusia preferenssejä sivuja indeksoidessaan.
- 1. maaliskuuta 2027: lähteissä ilmoitetaan määräaika vanhoihin
NoArchive- taiNoCache-tunnisteisiin nojaaville sivustoille.
Mitä ei vielä tiedetä?
- IETF:n käsittely on kesken. Kyseessä on Internet-Draft eli standardointiluonnos, ei valmis IETF-standardi. Viitattu luonnos on päivätty 30. lokakuuta 2026, ja sen voimassaolon päättymispäiväksi on merkitty 3. toukokuuta 2027.
2
34
41
- Aiemmin kerättyä sisältöä koskevat vaikutukset ovat epäselviä. Käytettävissä olevissa lähteissä ei kerrota, koskeeko preferenssi takautuvasti jo kerättyä sisältöä, edellyttääkö se aineiston poistamista tai vaikuttaako se jo koulutettuihin malleihin.
- Tunniste ei takaa kaikkien noudattavan toivetta. Lähteet kuvaavat mukana olevien yhtiöiden suunnitelmia kunnioittaa asetusta, eivät keinoja valvoa sen noudattamista muiden toimijoiden osalta.
7
- Metan osallistumisesta ei ole vahvistusta. Tässä käsitellyt lähteet nimeävät Googlen, OpenAI:n, Microsoftin ja Anthropicin, mutta eivät vahvista Metan sitoutuneen toteuttamaan tunnisteen.
4
Julkaisijalle yhteinen tunniste voi tarjota kätevän tavan ilmaista koulutusta koskeva peruslinjaus yhdellä säännöllä. Se ei kuitenkaan korvaa palvelukohtaisten asetusten tarkistamista, Microsoftin erillisiä grounding-valintoja tai yhtiöiden käyttöönottotietojen seuraamista.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Yksi robots.txt-merkintä voisi kertoa, saako sisältöä käyttää tekoälyn koulutukseen"?
Google, OpenAI, Microsoft ja Anthropic ilmoittivat 30. lokakuuta 2026 tukevansa yhteistä robots.txt tunnistetta, jolla julkaisija voi ilmaista, saako sisältöä käyttää generatiivisen tekoälyn koulutukseen.[4][8]
What are the key points to validate first?
Google, OpenAI, Microsoft ja Anthropic ilmoittivat 30. lokakuuta 2026 tukevansa yhteistä robots.txt tunnistetta, jolla julkaisija voi ilmaista, saako sisältöä käyttää generatiivisen tekoälyn koulutukseen.[4][8] Microsoft aikoo noudattaa merkintää 1. helmikuuta 2027 alkaen, Google tähtää vuoden 2027 alkuun, OpenAI on puhunut tulevista kuukausista ja Anthropic kertoi aloittaneensa toteutuksen.[8][17]
What should I do next in practice?
Kyseessä on IETF:lle jätetty luonnos, ei valmis standardi. Merkintä koskee koulutuskäyttöä eikä itsessään estä sivujen indeksointia tai hakutuloksissa näkymistä.[2][7]
Sources