Cloudflare ja OpenAI testaavat reaaliaikaista verkkodataa tekoälyhaun parantamiseksi

OpenAI-yhteistyö liittyy Cloudflaren 1. heinäkuuta 2026 julkistamaan kokonaisuuteen, jota yhtiö kutsui nimellä ”Content Independence Day” ^TBB. Sen keskiössä on ajatus, että verkkosivustojen ylläpitäjien pitäisi pystyä päättämään nykyistä tarkemmin, mihin tarkoitukseen tekoälyrobotit saavat niiden sisältöä käyttää.

Tekoälyrobotit jaetaan kolmeen käyttötarkoitukseen

Cloudflare pyrkii siirtymään pois yksinkertaisesta ”tekoälyrobotti vai ei” -jaottelusta. Robotit luokitellaan yhden tai useamman toimintatapansa perusteella kolmeen ryhmään ^TB:

Cloudflare suosittelee vahvasti, että yritykset käyttävät näihin tarkoituksiin erillisiä ja selkeästi tunnistettavia robotteja ^T. Tällöin sivuston omistaja voi erottaa esimerkiksi hakunäkyvyyden ylläpitämisen mallien kouluttamisesta.

Mitä muuttuu 15. syyskuuta 2026?

Cloudflare aikoo ottaa 15. syyskuuta 2026 käyttöön uudet oletusasetukset uusille asiakkaille, nykyisten asiakkaiden uusille sivustoille ja maksuttomien palvelujen käyttäjille ^TBB. Mainoksia näyttävillä sivuilla oletukset ovat seuraavat:

• Koulutusrobotit: estetään oletuksena.
• Agenttirobotit: estetään oletuksena.
• Monikäyttörobotit: estetään oletuksena. Näihin kuuluvat robotit, jotka yhdistävät haun, agenttitoiminnot ja/tai mallien kouluttamisen samaan käyttöön ^TB.
• Pelkkään hakuun tarkoitetut robotit: sallitaan oletuksena, jotta sivustot säilyvät löydettävissä perinteisissä hakupalveluissa.

Sivuston omistaja voi muuttaa asetuksia. Kyse ei siis ole siitä, että kaikki tekoälyliikenne muuttuisi automaattisesti maksulliseksi tai estetyksi, vaan oletusasetusten muutoksesta ^N.

Merkittävin muutos kohdistuu monikäyttörobotteihin. Jos sama robotti kerää sisältöä sekä hakua että tekoälymallien kouluttamista varten, sivuston ylläpitäjä ei välttämättä pysty tietämään, mihin sisältö lopulta päätyy. Cloudflaren oletusesto painostaa tekoälyyrityksiä erottelemaan käyttötarkoitukset omiksi roboteikseen tai hyväksymään sen, etteivät ne pääse oletuksena mainoksia sisältäville sivuille ^TB.

Pay Per Use -mallissa korvaus sidotaan tekoälyn vastauksiin

Cloudflare ilmoitti samalla siirtyvänsä aiemmasta Pay Per Crawl -kokeilusta kohti Pay Per Use -mallia ^BB.

• Pay Per Crawl: vuonna 2025 käynnistetty yksityinen beta-kokeilu, jossa tekoälyyritystä veloitettiin jokaisesta sisältöä pyytävästä robottikäynnistä. Tekninen toteutus hyödynsi HTTP-tilakoodeja ja tunnistautumista ^B.
• Pay Per Use: julkaisijalle maksettaisiin, kun sen sisältö todella auttaa tuottamaan tekoälyn vastauksen – ei pelkästään silloin, kun robotti lataa sivun ^B.

Cloudflare kuvaa mallia eräänlaiseksi mitatuksi palveluksi: tekoälyyritys maksaisi sisällön tuottamasta arvosta eikä pelkästä pääsystä raakadataan ^B.

Pay Per Use on kuitenkin vielä varhainen kokeilu ja tutkimusohjelma. Cloudflare ei ole julkaissut tarkkoja hintoja, tulojen jakamista koskevia ehtoja tai yleisen saatavuuden aikataulua ^B.

Yksi strategia, neljä tavoitetta

Cloudflaren ja OpenAI:n tutkimuspilotti, uusi robottien luokittelu, monikäyttörobottien oletusestot ja Pay Per Use -kokeilut muodostavat yhtenäisen kokonaisuuden ^TBB:

1. Lisää läpinäkyvyyttä: erilliset robotit paljastavat, käytetäänkö sisältöä hakuun, agenttitoimintoihin vai mallien kouluttamiseen.
2. Anna sivustojen omistajille enemmän valtaa: oletukset rajoittavat koulutus- ja agenttik äyttöä mainoksia sisältävillä sivuilla, mutta säilyttävät perinteisen hakunäkyvyyden.
3. Luo korvausmekanismi: Pay Per Use pyrkii sitomaan maksun siihen, tuottaako sisältö arvoa tekoälyn vastauksessa.
4. Tee tekoälyhausta tehokkaampaa: Cloudflaren verkkosignaalit voivat vähentää turhia hakukertoja ja auttaa tekoälypalveluja löytämään tuoreemman sisällön.

Jos pilotti onnistuu, verkon sisältöä ei tarvitse käsitellä vain jatkuvasti kasvavana sivumassana. Tekoälyhaku voisi käyttää tietoa siitä, mikä verkossa on oikeasti muuttunut – ja verkkosivustojen omistajat saisivat samalla aiempaa selkeämmän kuvan siitä, miten heidän sisältöään hyödynnetään.