Jev skal træffe hurtige AI-beslutninger – ikke føre en samtale

Jev er TypeSafe AI's første “System One Model” – en model til udviklere, der skal træffe afgrænsede beslutninger, som software kan bruge direkte. Den er altså ikke en chatbot og skriver ikke svar i fritekst. TypeSafe AI trådte frem efter to år i stealth med en seed-runde på angiveligt 40 mio. dollar ledet af DCVC, og Jev er i early access via virksomhedens udviklerplatform. 61112

Fra input til en beslutning, som kode kan bruge

En udvikler sender en naturlig sprogbeskrivelse og/eller en struktureret state – eksempelvis JSON-data eller teksten “Mit kort er blevet trukket to gange” – sammen med typed spørgsmål. Jev returnerer derefter direkte et struktureret resultat:

• et valg blandt på forhånd definerede muligheder – op til 255 i én valgmulighedsprimitive,
• en numerisk score eller
• en binær sandsynlighed.

Resultatet ledsages af sandsynligheds- og konfidensoplysninger, som programmet kan anvende uden først at skulle udlede betydning fra en tekstbesvarelse. 16

Det gør Jev mere sammenlignelig med en avanceret klassifikator, scorer eller et “intelligent if-udsagn” i et ellers deterministisk system end med en generel sprogmodel.

Hvorfor TypeSafe mener, at Jev er hurtigere

En traditionel autoregressiv LLM genererer tekst token for token, hvor hvert næste token afhænger af dem, der allerede er skrevet. Ifølge TypeSafe kan Jev i stedet levere de ønskede strukturerede output parallelt i én forespørgsel. Dermed bortfalder både selve tekstgenereringen og det efterfølgende arbejde med parsing og validering af et tekstsvar. 611

Virksomheden oplyser en samlet svartid på cirka 70-500 millisekunder. Afhængigt af opgave og sammenligningsgrundlag hævder TypeSafe, at modellen er 20-200 gange hurtigere og 40-400 gange billigere end LLM-baserede arbejdsgange. Virksomhedens mest opsigtsvækkende workflow-tal er 193,6 gange højere hastighed og 444,6 gange lavere pris. Listeprisen er 0,042 dollar pr. million inputtokens, mens output er gratis, fordi det ifølge virksomheden er for billigt at måle. 67

De tal bør læses som TypeSafe's egne påstande, ikke som uafhængigt reproducerede resultater.

RLCD og idéen om ærlig usikkerhed

TypeSafe kalder træningsmetoden RLCD, en forkortelse for Reinforcement Learning for Calibrated Decisions. Målet er ifølge selskabet kalibreret usikkerhed: Når modellen angiver højere konfidens på tværs af mange sammenlignelige forudsigelser, bør den også i gennemsnit have højere træfsikkerhed. 16

Det kan være praktisk i automatisering. Et system kan eksempelvis automatisk behandle sager over en bestemt konfidensgrænse, sende tvivlstilfælde til manuel behandling eller lade en mere langsom, ræsonnerende model overtage. Men en høj konfidens er ikke en garanti for, at den enkelte beslutning er korrekt.

Hvad Jev kan bruges til

Jev passer især til opgaver med en tydeligt afgrænset handlemulighed, som gentages i stor skala, herunder:

• sortering og videresendelse af supporthenvendelser,
• dataudtræk og klassifikation,
• kontrol af regler og politikker,
• risiko- og bedragerivurderinger,
• vurdering eller afskærmning af en anden models output,
• beslutninger i brugerflader i realtid og
• analyse af store tekstmængder i map-reduce-lignende arbejdsgange. 16

I virksomhedens DOOM-demo får modellen struktureret information om spillets tilstand og vælger løbende handlinger – omkring ti kald i sekundet – til en anslået pris på cirka 7 dollar i timen. TypeSafe oplyser også, at Jev slog flere frontier-modeller i en udfordring med navigation mellem Wikipedia-links. Selskabet bemærker dog, at sammenligningen hovedsageligt brugte modeller uden ræsonneringstilstand, så den er ikke et bredt mål for generel intelligens. 6

Hvad modellen ikke kan

Jev kan ved lanceringen ikke skrive prosa, kode eller forklaringer på sin ræsonnering, og den tager ikke imod billeder. 1611

Når TypeSafe taler om ingen typefejl, betyder det, at svaret passer til det skema, udvikleren har angivet. Det betyder ikke, at den bagvedliggende vurdering nødvendigvis er rigtig. Derfor er betegnelsen “hallucinationsfri” misvisende, hvis den forstås som fejlfri: Jev kan ikke opfinde fritekst, men den kan stadig træffe en forkert struktureret beslutning.

Det afgørende er stadig uprøvet

Jevs stærkeste kort på kort sigt er sandsynligvis samspillet med almindelige LLM'er, ikke en erstatning for dem. Jev kan håndtere hurtige, afgrænsede og gentagne beslutninger, mens generelle modeller fortsat er nødvendige til tekstproduktion, åbne ræsonnementer, billedinput og forklaringer.

Der findes endnu ikke tilstrækkelig uafhængig dokumentation for TypeSafe's benchmarkmetoder, modellens kalibrering i drift, de langsigtede enhedsomkostninger eller om en selvstændig kategori for strukturerede beslutningsmodeller kan fastholde en varig plads ved siden af generelle LLM'er.