Clairic on Cloudflaren esikatselussa oleva tekoälymalli, joka poimii tekstistä ja kuvista rakenteisia arvoja: esimerkiksi päivämääriä, lukuja ja listoja. Se ei kirjoita vastaukseksi kappaletta tekstiä, vaan palauttaa tiedot pyydettyihin kenttiin. Cloudflare raportoi mallista nopeita ja edullisia testituloksia, mutta ne eivät vielä osoita, että Clairic olisi yleisesti tarkempi tai tehokkaampi kuin suuret kielimallit eli LLM:t.
3
4
14
Tiedonpoimintaan suunniteltu malli
Clairic on niin sanottu System One -poimintamalli, joka on saatavilla esikatseluversiona Cloudflaren Workers AI -palvelussa tunnisteella @cf/cloudflare/clairic. Cloudflaren mukaan sillä voi poimia, laskea, arvioida ja ennustaa arvoja jäsentämättömästä aineistosta. Hinta on 0,10 dollaria miljoonalta syötetokenilta. Koska malli ei tuota tulostokeneita, niistä ei veloiteta erikseen.
3
7
18
Käyttäjä antaa mallille tekstin ja halutessaan enintään neljä kuvaa sekä määrittelee nimettyihin kenttiin, millaisia vastauksia tarvitaan. Clairic palauttaa pyydetyt tiedot yhdellä käsittelykerralla sen sijaan, että se tuottaisi vastauksen sanasta sanaan.
16
20
Tuetut kenttätyypit kattavat tekstikatkelmat, luvut, päivämäärät, kellonajat, aikaleimat, kestot, listat, arviot ja ennusteet. Tekstikatkelmaan voi sisältyä merkkijonon sijainti lähdetekstissä. Ennustekenttä voi palauttaa arvoja enintään 64 tulevalle askeleelle.
1
20
Epävarmuus näkyy myös tuloksessa
Yksittäisten arvojen mukana tulee luottamusarvo sekä p_null, joka kuvaa todennäköisyyttä sille, ettei syöte anna vastausta. Vastauksessa voi olla myös value- ja guess-kentät: jos arvoa ei voi määrittää, se voidaan palauttaa muodossa null sen sijaan, että sitä esitettäisiin varmana tietona.
2
9
18
Arvio- ja ennustekentät sisältävät mediaanin ja 80 prosentin vaihteluvälin, joka ulottuu p10-arvosta p90-arvoon. Väli kuvaa mallin epävarmuusarviota, eikä takaa, että toteutunut arvo osuu sen sisään. Cloudflare suosittelee käyttämään luottamusarvoa, p_null-lukua ja vaihteluväliä sen harkintaan, mitkä tehtävät voi automatisoida ja mitkä kannattaa ohjata tarkistettaviksi.
2
Cloudflaren testit lupaavat säästöjä – rajatussa tehtävässä
Cloudflaren vahinkotuotetta koskevassa asiakaspalveluesimerkissä Clairic poimi korvausvaatimuksesta olennaiset tiedot, Clef valitsi esimerkiksi hyvityksen tai korjauksen ja GLM-5.3 kirjoitti asiakkaalle lähtevän vastauksen. Testistä raportoidut ajat olivat Clairicin poimintavaiheessa 0,46 sekuntia ja Clefin päätösvaiheessa 0,22 sekuntia. Koko useasta mallista koostuva työnkulku kesti 19,3 sekuntia, kun taas GLM-5.3:een kaikissa vaiheissa perustuva versio vei 61,7 sekuntia.
4
15
Raportoidut kustannukset olivat sekamalliputkessa 6 032 dollaria miljoonaa korvausvaatimusta kohti ja pelkkää GLM-5.3:a käyttävässä versiossa 11 740 dollaria. Tässä yksittäisessä esimerkissä kustannukset laskivat 49 prosenttia.
15 Luvut koskevat kyseistä työnkulkua, eivätkä sellaisenaan kerro, millaisia säästöjä muissa sovelluksissa syntyisi.
Cloudflare testasi Clairicia myös ennustamaan Yhdysvaltain lentokenttien turvatarkastuspisteiden matkustajamääriä seuraavalle päivälle 21 päivän ajan. Raportoitu keskivirhe oli 3,3 prosenttia, ja toteutunut määrä osui mallin 80 prosentin vaihteluvälille 17 päivänä 21:stä.
6
9 Kyse on yhdestä rajatusta aikasarjakokeesta, ei näytöstä siitä, miten malli ennustaisi erilaisia aineistoja ja tilanteita yleisesti.
Mitä Clairic ei vielä tee luotettavasti?
Cloudflaren mukaan ennustaminen on perustasolla: lähiajan arviot mukailevat viimeaikaisia kehityskulkuja, mutta kauemmas ulottuvat ennusteet voivat tasoittua kohti keskiarvoa. Malli ei myöskään pysty ennakoimaan tapahtumia, joita syöteaineiston aiemmat arvot eivät heijasta.
1
17
Myös laskennassa on rajansa. Cloudflare pitää yhden tai kahden vaiheen laskutoimituksia – kuten summia, erotuksia, muunnoksia ja päivämäärälaskuja – luotettavina. Pitkät, toisistaan riippuvat laskuketjut ja monien taulukkorivien yhteenlaskut eivät sen mukaan vielä toimi luotettavasti. Suositus on poimia tarvittavat luvut Clairicilla ja tehdä laskutoimitukset ohjelmakoodissa.
1
17
Clairicin suorituskyvystä esitetty näyttö perustuu toistaiseksi yksittäisiin, tehtäväkohtaisiin esimerkkeihin. Ne eivät muodosta laajaa vertailutestiä, joka osoittaisi mallin olevan kaikissa töissä tarkempi, nopeampi tai halvempi kuin suuret kielimallit. Käytännössä hyödyt kannattaa siis testata omalla aineistolla.
4
14
15
Mitä ”System One” tarkoittaa – ja mitä Clairicin nimestä tiedetään?
Cloudflare käyttää System One -nimitystä kuvaamaan nopeasti toimivaa, tiettyyn tehtävään suunniteltua mallia. Sitä verrataan malleihin, jotka tuottavat harkittua tekstivastausta vaihe vaiheelta.
5 PPC Landin mukaan TypeSafe esitteli System One -idean aiemmin Jev-nimisen mallin yhteydessä. Tämä kertoo raportoidusta edeltäjästä, mutta käytettävissä olevat lähteet eivät osoita mallien suoraa teknistä jatkumoa.
13
Myöskään väitettä Clairicin nimen tietystä Daniel Kahnemaniin perustuvasta alkuperästä ei voida vahvistaa lähteiden perusteella. Cloudflare on kertonut aikovansa julkaista mallin avoimet painot, mutta ilmoitettua julkaisupäivää ei ole.
7
12