Jev ei juttele – se tekee rajattuja päätöksiä ohjelmistojen puolesta

Jev on TypeSafe AI:n malli ennalta määriteltyihin kysymyksiin – ei avoimen tekstin kirjoittamiseen. Kehittäjä antaa sille sovelluksen tilaa kuvaavaa tietoa ja kysyy esimerkiksi, mihin luokkaan asia kuuluu tai täyttyykö jokin ehto. Jev palauttaa rakenteisen vastauksen, kuten valinnan, pisteytyksen tai kyllä–ei-arvion, sekä siihen liittyvän todennäköisyyden. Ohjelmisto voi käyttää tulosta suoraan sen sijaan, että se yrittäisi tulkita tekstimuotoista vastausta. 12

Tällainen rajattu vastausmuoto voi yksinkertaistaa automaatiota. Se ei kuitenkaan itsessään takaa, että päätös on oikea – eikä vastaukseen liitetty todennäköisyys vielä todista, että malli on hyvin kalibroitu. Jevin varhaisesta käytöstä on näyttöä, mutta yhtiön suurimmat suorituskykyväitteet ja mallin luotettavuus tuotantokäytössä tarvitsevat riippumatonta lisäarviointia.

Chatbotista poikkeava toimintatapa

Tekstiä tuottava chatbot voi vastata monenlaisiin avoimiin kysymyksiin, mutta ohjelmiston on usein jäsenneltävä sen kirjoittama vastaus ennen kuin se voi toimia sen perusteella. Jev on suunniteltu kapeampaan tehtävään: mahdolliset vastaustyypit määritellään etukäteen. TypeSafe kuvaa tulosteiksi esimerkiksi valintoja, pisteitä ja kyllä–ei-tyyppisiä arvioita, joihin liitetään todennäköisyydet. 12

Sovellus voisi esimerkiksi kysyä, täyttääkö tuote säännön tai mihin kategoriaan pyyntö kuuluu, ja ohjata sen perusteella seuraavaan työvaiheeseen. Kun vastauksen täytyy noudattaa määriteltyä rakennetta, sovelluksen ei tarvitse poimia luokkaa vapaamuotoisesta tekstistä. Tämä voi vähentää muotoilu- ja jäsentelytyötä, mutta ei poista virheellisen arvion mahdollisuutta. 2

TypeSafe kutsuu Jeviä ”System One” -malliksi. Yhtiön mukaan sen rakenteessa käytetään rinnakkaista näytteenottoa ja koulutusmenetelmää, josta se käyttää nimeä Reinforcement Learning for Calibrated Decisions. Nämä ovat yhtiön kuvauksia mallin suunnittelusta, eivät riippumatonta näyttöä Jevin tarkkuudesta tai kalibroinnista erilaisissa tuotantotehtävissä. 1

Käyttöönotto, hinta ja suorituskykyväitteet

Varhainen käyttö kertoo kiinnostuksesta, ei vielä liikevaihdon kasvusta

Vercelin mukaan lähes 13 prosenttia sen maksavista AI Gateway -tiimeistä käytti Jeviä 24 tunnin sisällä mallin julkaisusta. Vercel kuvaili sitä yhdyskäytävänsä historian nopeimmin käyttöön otetuksi malliksi. Luku kertoo varhaisesta kiinnostuksesta kyseisellä alustalla, mutta se ei koske kaikkia Vercelin asiakkaita eikä kerro käytön toistuvuudesta, maksullisista Jev-kutsuista tai TypeSafen liikevaihdosta. Vercel tarjosi mallia aluksi kampanjan aikana maksutta, joten julkaisun aikainen käyttö ei myöskään osoita, kuinka moni on valmis maksamaan siitä. 34

Hinta on ilmoitettu, mutta säästöväitteet riippuvat vertailusta

TypeSafe ilmoittaa Jevin hinnaksi 0,042 dollaria miljoonalta syötetokenilta. Tulostokeneista ei sen mukaan veloiteta. 23 Yhtiö on lisäksi markkinoinut jopa 100-kertaista nopeus- ja kustannusetua. Valituissa työnkuluissa sen omat arviot ovat raportoineet jopa 193,6-kertaisesta nopeudesta ja 444,6-kertaisesta edullisuudesta. Luvut perustuvat yhtiön omiin testeihin, joten ne kuvaavat testattuja vertailuja – eivät kaikkien tehtävien tai palveluntarjoajien kohdalla taattua säästöä. 612

Myös viiveestä esitetyt luvut vaihtelevat. TypeSafen julkaisumateriaaleissa mainittiin alle 100 millisekunnin viive, kun taas muissa julkaistuissa kuvauksissa puhutaan 70–500 millisekunnin päästä päähän -vasteajoista. Luvut eivät ole sama mittari, eikä alle sadan millisekunnin aika ole takuu jokaiselle pyynnölle. 46

Rakenteinen vastaus ei yksin ratkaise luotettavuutta

Rajattu vastausmuoto voi estää mallia poikkeamasta sallitusta tulosrakenteesta. Se ei kuitenkaan kerro, onko päätös sisällöllisesti oikea. Samoin vastaukseen liitetystä todennäköisyydestä on hyötyä vain, jos se on kyseisessä tehtävässä riittävän hyvin kalibroitu. Tarkastellut lähteet eivät tarjoa tarpeeksi riippumatonta näyttöä Jevin tuotantotarkkuuden, kalibroinnin tai käyttövarmuuden arvioimiseksi eri käyttötapauksissa. 12

Rahoitus ja arvostus: toteutunut rahoitus on eri asia kuin keskustelut

TypeSafe ilmoitti saaneensa 40 miljoonaa dollaria rahoitusta, jonka johti DCVC. 6 Raporteissa yhtiön siemenrahoituskierroksen arvostukseksi on arvioitu noin 200 miljoonaa dollaria, ja niissä kerrotaan myös mahdollisista yli 10 miljardin dollarin arvostukseen liittyvistä keskusteluista. Raportoidut keskustelut eivät tarkoita toteutunutta rahoituskierrosta tai vahvistettua markkina-arvoa. Julkistettu rahoitus on näistä tiedoista varmimmin dokumentoitu. 1821

Miten Jev vertautuu uusiin vaihtoehtoihin?

• Liquid AI:n d1: Liquid dokumentoi API:n kautta käytettävän päätösmallin, joten d1 on konkreettinen isännöity vaihtoehto. Raportoidussa Decision Index 0.2.1 -vertailussa d1 sai 58,9 pistettä ja Jev 57,9. Tulos perustuu kuitenkin Liquidin omaan testien toistoon, ei neutraaliin, riippumattomaan rinnakkaistestiin. Se on varhainen viite, ei lopullinen paremmuusjärjestys. 313338
• OpenAI Decisions API: OpenAI on kertonut rajatussa ennakkotestissä olevasta rajapinnasta, joka on tarkoitettu rajattuihin kysymyksiin ja ennalta määriteltyihin vastauksiin. Tarkastellut lähteet eivät vahvista julkista pyyntörajapintaa, hinnoittelua tai riippumatonta suorituskykyvertailua Jeviin. Samanniminen decisions-api.org on itsenäinen useita malleja tarjoava palvelu, ei OpenAI:n rajapinta. 394232
• Databricksin ai_decide: Tarkastelluista lähteistä ei käy riittävästi ilmi, onko palvelu julkisesti saatavilla tai mitkä sen ominaisuudet ja vertailukelpoiset testitulokset ovat. Näillä tiedoilla sitä ei voi asettaa paremmuusjärjestykseen Jevin kanssa.
• Avoimen lähdekoodin mallit: Riippumaton malliopas kuvaa laajempaa Decision Index -arviointia, jossa on mukana myös avoimia malleja. Pelkkä mukanaolo vertailussa ei kuitenkaan osoita, että malli vastaisi Jeviä samalla työkuormalla, viiveellä ja hinnalla. Tarkastelluissa kuvauksissa Jevin painoja ei ole julkaistu, joten sen paikallinen ajaminen ei ole suora vertailukohta itse isännöidyille malleille. 1338

Mitä tiedoista voi päätellä?

Jev on esimerkki mallista, joka palauttaa keskustelutekstin sijaan rajattuja, ohjelmiston luettavissa olevia päätöksiä. Vercelin raportoima käyttö on huomionarvoinen varhainen kiinnostuksen osoitus, ja TypeSafen ilmoittama syötehinta on täsmällinen. Julkaisuvaiheen käyttö ei silti osoita pitkäaikaista kaupallista kasvua, eivätkä yrityksen omat nopeus- ja kustannusvertailut todista yleispätevää etua. 23412

Ratkaisevaa on, miten mallit toimivat samoissa käytännön tehtävissä: kuinka usein ne tekevät oikean päätöksen, miten hyvin niiden todennäköisyydet vastaavat todellisuutta, millainen on päästä päähän -viive ja mitä käyttö maksaa vertailukelpoisissa oloissa. Arvioon kuuluu myös se, jatkuuko käyttö maksuttoman kokeilujakson jälkeen. Ennen kuin tällaiset vertailut voidaan toistaa riippumattomasti, päätösmallien lähestymistapa voi olla lupaava – mutta yksittäisen palveluntarjoajan suorituskykyväitteitä ei voi pitää ratkaisevina.