Jev on TypeSafe AI:n malli, joka palauttaa päätöksen tekstin sijaan

Jev on TypeSafe AI:n ensimmäinen System One Model. Käytännössä se on kehittäjille suunnattu malli, jonka tehtävä ei ole jutella tai kirjoittaa tekstiä, vaan tehdä rajattuja päätöksiä ohjelmiston puolesta. TypeSafe AI tuli julkisuuteen kahden stealth-vuoden jälkeen ja ilmoitti samalla DCVC:n johtamasta, raportoidusti 40 miljoonan dollarin siemenrahoituksesta. Jev on varhaisessa käyttöoikeusvaiheessa kehittäjien jonotuslistan kautta. 61112

Mitä Jev palauttaa?

Kehittäjä antaa Jeville luonnollista kieltä ja/tai rakenteista tilatietoa sekä tyypitettyjä kysymyksiä. Vastauksena malli voi palauttaa esimerkiksi:

• yhden vaihtoehdon ennalta määritellystä joukosta, enimmillään 255 vaihtoehdosta yhdessä valintakysymyksessä,
• numeerisen pistemäärän tai
• kaksiluokkaisen todennäköisyyden.

Mukana tulee todennäköisyys- tai luottamustieto, jota sovelluskoodi voi käyttää suoraan ilman vapaamuotoisen tekstivastauksen tulkintaa. 16

Ajatuksena voisi olla esimerkiksi asiakaspalveluviesti ”korttiani veloitettiin kahdesti”. Sen sijaan, että malli kirjoittaisi selityksen, Jev voi valita valmiiksi määritellyn luokan, antaa riskipisteen ja ilmoittaa, kuinka varma se on arviostaan.

Ero kielimalleihin: ei token kerrallaan syntyvää vastausta

Tavalliset autoregressiiviset suuret kielimallit tuottavat vastauksen token kerrallaan: seuraava token riippuu aiemmista. TypeSafen mukaan Jev tuottaa pyydetyt rakenteiset vastaukset rinnakkain yhdellä kyselyllä. Tällöin tekstin generointi sekä sen jälkeinen jäsentäminen ja validointi jäävät pois. 611

Jev kannattaa siis nähdä eräänlaisena tekoälyavusteisena, tavallista älykkäämpänä ehtolauseena tai luokittelijana osana muuten determinististä työnkulkua. Se ei ole yleiskäyttöisen keskustelubotin korvaaja.

RLCD pyrkii siihen, että epävarmuus olisi käyttökelpoista

TypeSafe kutsuu koulutusmenetelmäänsä nimellä RLCD (Reinforcement Learning for Calibrated Decisions). Yhtiön tavoite on kalibroitu epävarmuus: kun verrataan suurta joukkoa samankaltaisia ennusteita, korkeamman ilmoitetun varmuuden pitäisi vastata myös parempaa toteutunutta tarkkuutta. 16

Tämä on hyödyllistä käytännön automaatiossa. Sovellus voi esimerkiksi hyväksyä korkean varmuuden päätökset automaattisesti, lähettää epävarmat tapaukset ihmiselle tai pyytää niistä perusteellisemman arvion toiselta mallilta. Kalibroitu luottamusluku ei silti tarkoita, että yksittäinen erittäin varma päätös olisi välttämättä oikein.

Nopeus ja hinta ovat yhtiön keskeinen lupaus

TypeSafe ilmoittaa Jeville noin 70–500 millisekunnin päästä päähän -vasteajat. Yhtiön mukaan se voi System One -tyyppisissä tehtävissä ja valitusta vertailukohdasta riippuen olla 20–200 kertaa nopeampi ja 40–400 kertaa halvempi kuin kielimallipohjaiset työnkulut. Näkyvin yksittäinen työnkulkuvertailu lupaa 193,6-kertaista nopeutta ja 444,6-kertaista kustannussäästöä. 67

Listahinta on 0,042 dollaria miljoonalta syötetokenilta. Tuloste on hinnoiteltu ilmaiseksi, koska sen kustannus on yhtiön mukaan liian pieni mitattavaksi. 67

Nämä ovat TypeSafen omia suorituskyky- ja hinnoitteluvertailuja, eivät riippumattomasti toistettuja tutkimustuloksia. Todellinen hyöty riippuu tehtävästä, syötteen koosta, työnkulusta ja siitä, mihin malliin vertailu tehdään.

Doom-demo näyttää nopean toimintasilmukan

Yhtiön Doom-esittelyssä Jev saa rakenteista tietoa pelin tilasta ja valitsee toistuvasti seuraavan toiminnon. Kutsuja tehdään suunnilleen kymmenen sekunnissa, ja arvioitu kustannus on noin seitsemän dollaria tunnilta. 6

TypeSafe kertoo myös Jevin päihittäneen useita frontier-malleja Wikipedian linkkinavigointitehtävässä. Yhtiö kuitenkin toteaa, että vertailussa käytettiin pääosin mallien ei-päättelytiloja. Siksi tulosta ei pidä tulkita yleiseksi älykkyysjärjestykseksi. 6

Missä Jev voisi olla hyödyllinen?

Luontevimpia käyttökohteita ovat suuren volyymin, rajatut ja toistuvat päätökset, kuten:

• tukipyyntöjen reititys,
• tiedon poiminta ja luokittelu,
• sääntö- ja käytäntövalvonta,
• petos- tai riskipisteytys,
• toisen mallin vastauksen tarkistus tai suojakaiteet,
• reaaliaikaiset käyttöliittymäpäätökset sekä
• suurten aineistojen map-reduce-tyyppinen analyysi.

Näissä tapauksissa kehittäjä rajaa mahdolliset toimintavaihtoehdot, yhdistää Jevin vastauksen tavalliseen ohjelmakoodiin ja ohjaa epävarmat tapaukset ihmiselle tai harkitsevammalle mallille. 16

Rajoitteet ovat tarkoituksellisia

Jev ei julkaisuvaiheessa kirjoita proosaa tai koodia eikä tarjoa päättelynsä selityksiä. Se ei myöskään vastaanota kuvia. 1611

Väite siitä, ettei mallissa ole tyyppivirheitä, tarkoittaa sitä, että vastaus sopii ennalta määriteltyyn skeemaan. Se ei tarkoita, että itse päätös olisi sisällöllisesti oikea. Siksi myös kuvaus ”hallusinaatiovapaa” voi johtaa harhaan: Jev ei sepitä vapaamuotoista tekstiä, mutta se voi silti tehdä virheellisen rakenteisen ennusteen. 1611

Suurin kysymys on vielä avoin

Jevin benchmark-menetelmistä, kalibroinnin toimivuudesta tuotantokäytössä, pitkän aikavälin yksikkötaloudesta ja koko erillisen päätösmallikategorian kestävyydestä ei vielä ole riittävästi riippumatonta näyttöä.

Lähiajan uskottavin rooli onkin täydentävä: Jev sopii nopeisiin, rajattuihin ja toistuviin päätöksiin, kun taas yleiskäyttöisiä kielimalleja tarvitaan edelleen tekstin tuottamiseen, avoimeen päättelyyn, multimodaaliseen syötteeseen ja perusteluihin.