Jev vil være en rask beslutningsmotor for programvare – ikke en chatbot

Kort fortalt

Jev er TypeSafe AIs første «System One Model»: en utviklermodell som skal ta raske, avgrensede og maskinlesbare beslutninger, fremfor å føre en samtale eller skrive tekst. TypeSafe AI kom ut av en to år lang «stealth»-periode samtidig med en rapportert såkornrunde på 40 millioner dollar, ledet av DCVC. Jev er foreløpig tilgjengelig i tidlig tilgang via selskapets utviklerplattform. 61112

I praksis kan Jev ses som en AI-forsterket beslutningsfunksjon i en større programvareflyt: Programmet sender inn en situasjon, modellen velger innenfor et forhåndsdefinert handlingsrom, og vanlig programlogikk bruker svaret videre.

Hva Jev faktisk returnerer

Utvikleren sender inn en «tilstand» – enten naturlig språk, strukturerte data eller begge deler – og stiller spørsmål med en definert datatype. Jev kan blant annet returnere:

• ett valg blant forhåndsdefinerte alternativer, med opptil 255 alternativer i én valgprimitiv,
• en numerisk skår, eller
• en binær sannsynlighet, altså ja/nei med sannsynlighets- og sikkerhetsinformasjon.

Poenget er at applikasjonen kan bruke resultatet direkte, uten å måtte hente ut mening fra et fritekstsvar og deretter validere det. 16

Et kundeservice-system kan for eksempel sende inn teksten «Kortet mitt ble belastet to ganger» og be modellen velge riktig sakskategori, vurdere hvor hastende saken er og oppgi sannsynligheten for at den skal sendes videre til et menneske.

Ikke en LLM som svarer i setninger

Vanlige autoregressive språkmodeller genererer tekst token for token, der hvert neste token påvirkes av det som allerede er skrevet. TypeSafe sier at Jev i stedet produserer de forespurte strukturerte resultatene parallelt i én spørring. Dermed bortfaller selve tekstgenereringen, tolkingen av svaret og etterfølgende formatkontroller. 611

Det betyr ikke at Jev er en universell erstatter for GPT-lignende modeller. Den er bedre forstått som en «smart if-setning», klassifiserer eller skåringsmotor for gjentatte beslutninger med tydelige rammer. Den er ikke laget for å skrive en e-post, forklare et resonnement eller føre en åpen samtale.

RLCD: Trening for mer ærlige usikkerhetsanslag

TypeSafe kaller treningsmetoden sin RLCD, kort for Reinforcement Learning for Calibrated Decisions. Målet er kalibrert usikkerhet: Når modellen oppgir høyere sikkerhet på en gruppe sammenlignbare prediksjoner, bør den gruppen også ha høyere faktisk treffsikkerhet over tid. 16

Dette kan være nyttig i produksjon. En virksomhet kan for eksempel automatisere saker over en bestemt sikkerhetsterskel, sende usikre saker til manuell behandling eller eskalere dem til en mer resonnerende språkmodell.

Men kalibrering er ikke en sannhetsgaranti. En enkelt beslutning med høy oppgitt sikkerhet kan fortsatt være feil. Verdien ligger i om sikkerhetstallene er pålitelige nok til å styre hvordan systemet håndterer risiko.

TypeSafe lover høy fart og lav pris – men tallene er egne målinger

TypeSafe oppgir ende-til-ende-responstid på om lag 70–500 millisekunder. Avhengig av oppgave og sammenligningsgrunnlag hevder selskapet at Jev kan være 20–200 ganger raskere og 40–400 ganger billigere enn LLM-baserte arbeidsflyter for oppgaver som passer System One-formatet. 67

Selskapets mest iøynefallende arbeidsflyttall er 193,6 ganger raskere og 444,6 ganger billigere. Listeprisen er 0,042 amerikanske dollar per million inndata-tokener, mens utdata omtales som gratis fordi kostnaden skal være for lav til å måle meningsfullt. 67

Dette er imidlertid selskapets egne påstander, ikke resultater som så langt er bredt og uavhengig replikert. Gevinsten vil også avhenge av om oppgaven faktisk kan reduseres til et begrenset sett med strukturerte beslutninger.

DOOM-demo og Wikipedia-test

I en demonstrasjon fra TypeSafe får Jev strukturert informasjon om spilltilstanden i DOOM og velger handlinger gjentatte ganger – rundt ti kall i sekundet – til en anslått kostnad på rundt 7 dollar i timen. 6

TypeSafe oppgir også at Jev slo flere avanserte modeller i en utfordring der målet var å navigere mellom Wikipedia-lenker. Selskapet påpeker selv at sammenligningen i stor grad brukte modeller uten resonneringsmodus. Resultatet er derfor ikke en generell rangering av intelligens, men en mer avgrenset test av denne typen beslutningsoppgave. 6

Aktuelle bruksområder

Jev passer best der programvare må ta mange raske beslutninger innenfor tydelige rammer, blant annet:

• ruting og prioritering av kundesaker,
• informasjonsuttrekk og klassifisering,
• policy- og regelkontroller,
• svindel- og risikoskåring,
• kontroll eller «guardrailing» av andre modellers svar,
• beslutninger i brukergrensesnitt i sanntid, og
• analyse av store tekstmengder i map-reduce-lignende arbeidsflyter.

Den mest praktiske modellen er ofte en kombinasjon: La Jev håndtere raske, repeterende og avgrensede valg, mens ordinær kode setter forretningsregler og mennesker eller generalistmodeller tar seg av tvilstilfeller. 16

Viktige begrensninger

Jev kan ved lansering ikke skrive prosa, kode eller forklaringer på resonnementet sitt, og den støtter ikke bildeinndata. 1611

At modellen ikke gir typefeil, betyr bare at svaret passer det forhåndsdefinerte skjemaet. Det betyr ikke at den faglige eller semantiske vurderingen er riktig. Derfor er betegnelsen «hallusinasjonsfri» potensielt misvisende: Jev kan ikke dikte opp fritekst på samme måte som en chatbot, men den kan fortsatt gi en feilaktig strukturert prediksjon. 1611

Det som fortsatt må bevises

Jevs idé er enkel å forstå: Ikke bruk en tekstgenerator når du egentlig trenger et kontrollert valg i et program. Likevel mangler det foreløpig uavhengig dokumentasjon av benchmark-metodene, hvor godt sikkerhetsanslagene holder i reell drift, langsiktig enhetsøkonomi og om kategorien kan stå seg som et eget marked.

Det mest sannsynlige på kort sikt er ikke at Jev erstatter generelle LLM-er, men at modelltypene utfyller hverandre. Jev kan være interessant for raske og gjentatte beslutninger med faste rammer; generelle språkmodeller vil fortsatt være nødvendige når oppgaven krever tekst, åpne resonnementer, bilder eller forklaringer.