Cloudflare: säilytä hakunäkyvyys, kiellä sisällön käyttö tekoälyn koulutukseen

Cloudflaren 15. syyskuuta 2026 julkistama Disallow AI Training -asetus muuttaa julkaisijoiden käytännön valintaa: sivusto voi pyrkiä säilyttämään löydettävyyden hakukoneissa ja samalla ilmoittaa, ettei sama indeksoija saa käyttää sisältöä tekoälymallien kouluttamiseen. Tätä tukee Accountable-merkintä, joka koskee toimijoita, jotka joko jo noudattavat valintaa tai ovat sitoutuneet toteuttamaan sen Cloudflaren ilmoittamassa aikataulussa. 5

Ratkaiseva ero on käyttötarkoitus, ei pelkkä botin nimi

Cloudflare jakaa indeksoijien liikenteen kolmeen erikseen hallittavaan käyttötarkoitukseen:

• Haku (Search): sisällön indeksointi hakutuloksia varten.
• Koulutus (Training): sisällön kerääminen tekoälymallin kouluttamista tai hienosäätöä varten.
• Agentti (Agent): sisällön hakeminen, kun tekoäly suorittaa käyttäjän pyytämää tehtävää. 10

Jaottelu on tärkeä, koska sama indeksointi-infrastruktuuri voi palvella useaa tarkoitusta. Aiemmin tekoälyyn liitetyn botin estäminen saattoi samalla vaarantaa tavallisen hakunäkyvyyden. Uudella asetuksella sivuston omistaja voi tehdä rajatumman päätöksen: sallia haun mutta kieltää koulutuskäytön. 5

Mitä Accountable tarkoittaa?

Cloudflare loi Accountable-merkinnän bottien ylläpitäjille, jotka pystyvät erottamaan hakutarkoituksen ja koulutuskäytön tavalla, joka kunnioittaa sivuston omistajan asetusta. Applen, Googlen ja Microsoftin kerrotaan joko noudattavan uutta asetusta jo nyt tai sitoutuneen noudattamaan sitä Cloudflaren määrittelemässä määräajassa. 5

Julkaisijalle merkintä on merkittävä siksi, ettei hyödyllistä hakuindeksoijaa tarvitsisi estää kokonaan vain sen vuoksi, että sen ylläpitäjällä on myös tekoälykoulutukseen liittyvää toimintaa. Ehdot täyttävät sekakäyttöiset toimijat voivat siis jatkaa sivujen indeksointia hakuun, vaikka julkaisija kieltää koulutuksen. 5

Saatavilla oleva Cloudflaren ilmoitus kuvaa standardin yleisellä tasolla. Sen perusteella ei kuitenkaan voi varmistaa jokaisen toimijan käyttöönottoaikataulua, yksittäisen indeksoijan toimintaa tai kaikkia teknisiä sitoumuksia. Siksi sivuston omistajan kannattaa tarkistaa omat bottiasetuksensa ja indeksointidatansa eikä olettaa käytäntöjen olevan kaikilla toimijoilla identtisiä.

Mitä saa jatkua ja mitä estetään?

Asetuksen tarkoitus on säilyttää hakuindeksointi Accountable-merkityiltä sekakäyttöisiltä toimijoilta ja estää samalla sisällön koulutuskäyttö. Cloudflare kuvaa ominaisuutta nimenomaan keinona pysyä mukana haussa mutta kieltää saman indeksoijan käyttämä koulutus. 5

Lähdeaineisto ei muodosta täydellistä, bottikohtaista julkista sallittujen ja estettyjen toimijoiden luetteloa. Se tukee kuitenkin seuraavia käytännön johtopäätöksiä:

• Hakuun tarkoitettu pääsy voi säilyä Accountable-vaatimukset täyttäviltä toimijoilta, kun koulutus kielletään. 5
• Koulutus- ja agenttiliikennettä voidaan estää erikseen hausta. 10
• Kaikkien tekoälybottien yleinen esto on edelleen vaihtoehto sivuston omistajalle, joka haluaa keskeyttää tai rajoittaa kaiken tällaisen liikenteen. Se on kuitenkin käyttötarkoituskohtaista hallintaa karkeampi ratkaisu. 7

Päivitys on erityisen olennainen orgaanisesta näkyvyydestä riippuvaisille sivustoille: koulutuksesta kieltäytymisen ei enää tarvitse tarkoittaa luopumista hakunäkyvyydestä.

Mainosrahoitteiset sivut ja syyskuun oletusasetukset

Cloudflare oli jo aiemmin ilmoittanut, että 15. syyskuuta 2026 alkaen Cloudflareen liitettäville uusille verkkotunnuksille koulutus- ja agentti-indeksoijat estetään oletuksena mainoksia näyttävillä sivuilla. 10 Linjaus perustuu julkaisijakeskeiseen ajatukseen: mainoksilla rahoitettu sisältö voi edellyttää tiukempia tekoälykäytön oletusrajoituksia.

Aiemmassa mallissa oli myös riski. Jos indeksoijalla oli useita käyttötarkoituksia, kategorian perusteella tehty rajoitus saattoi vaikuttaa myös hakuindeksointiin. Disallow AI Training ja Accountable ovat Cloudflaren vastaus tähän ristiriitaan: julkaisija voi suojata mainosrahoitteisen sisällönsä koulutukselta ja säilyttää hakunäkyvyyden silloin, kun indeksoijan ylläpitäjä kykenee noudattamaan käyttötarkoitusten erottelua. 5

Saatavilla olevista lähteistä ei käy kattavasti ilmi, miten kaikki aiemmat verkkotunnukset siirrettiin uusiin käytäntöihin tai mitkä oletukset koskivat kutakin tilityyppiä. Jo olemassa olevien verkkotunnusten omistajien kannattaa siksi tarkistaa omat määrittelynsä sen sijaan, että he päättelisivät ne uusien verkkotunnusten oletuksista.

Google-Extended, Applebot-Extended ja Bingin NOARCHIVE-kiertotie

Käyttötarkoituskohtaiset hallintakeinot ratkovat samaa ongelmaa, johon toimijakohtaisilla direktiiveillä on pyritty: hakutoiminnan ja tekoälykäytön erottamiseen.

Cloudflare on käsitellyt Googlen omia opt-out-mekanismeja, kuten Google-Extended- ja nosnippet-direktiivejä. Yhtiön mukaan julkaisijoilta saatu palaute on kertonut, etteivät nämä mekanismit olleet estäneet kaikkia niitä käyttötapoja, joita julkaisijat halusivat hallita. 22 Tämän jutun lähdeaineisto ei kuitenkaan vahvista itsenäisesti Google-Extendedin, Applebot-Extendedin tai Bingin NOARCHIVE-direktiivin tarkkaa laajuutta ja nykyistä toimintaa.

Yleistason johtopäätös on silti selvä: erillinen koulutuksesta kieltäytymisen mekanismi tai Accountable-sitoumus voi mahdollistaa ohjeen ”indeksoi sivu hakuun, mutta älä käytä sitä koulutukseen”. Koko indeksoijan suoraviivainen esto ei pysty luotettavasti tekemään tätä eroa.

Miksi tarkempi hallinta on nyt tärkeää?

Cloudflaren liikenneanalyysin mukaan 80 % tekoälyindeksoinnista edeltäneen 12 kuukauden aikana luokiteltiin koulutukseksi. Haun osuus oli 18 % ja käyttäjän pyytämien toimien 2 %. Yhtiö kertoo luokituksen perustuvan toimijoiden ilmoituksiin ja alan lähteisiin. 16

Jakauma auttaa ymmärtämään, miksi julkaisijat voivat tarvita yhden tekoälyasetuksen sijasta erillisiä valintoja. Sisällöntuottaja voi hyväksyä hakuindeksoinnin, kieltää sisällön pysyvän sisällyttämisen malliin koulutuksen kautta ja tehdä erillisen ratkaisun reaaliaikaisesta agenttipääsystä.

Cloudflare kertoi vuonna 2025, että yli 2,5 miljoonaa verkkosivustoa oli päättänyt kieltää tekoälykoulutuksen kokonaan yhtiön hallitulla robots.txt-toiminnolla tai tekoälyindeksoijat estävällä hallitulla säännöllä. 13 Syyskuun asetukset tarjoavat näille julkaisijoille tarkemman vaihtoehdon tilanteissa, joissa myös hakunäkyvyyden säilyttäminen on tärkeää.

Seuraava askel: tekoälytiivistelmien hallinta

Cloudflare on ilmoittanut tavoitteekseen tarjota julkaisijoille tarkempaa hallintaa tekoälyn tuottamiin yhteenvetoihin vuoden 2027 alussa. 2 Saatavilla oleva ilmoitus vahvistaa suunnan, mutta ei vielä lopullista tuoteratkaisua, valvontatapaa tai tarkkoja valinnanmahdollisuuksia.

Tämänhetkinen käytännön neuvo on yksinkertainen: tarkastele haku-, koulutus- ja agenttikäytäntöjä erillisinä päätöksinä. Jos orgaaninen löydettävyys on tärkeää, tekoälyrajoituksen ei tarvitse tarkoittaa hakurajoitusta — erityisesti silloin, kun indeksoijan ylläpitäjä on Accountable-merkitty. 5