Jev: TypeSafe AI:s modell för snabba, strukturerade AI-beslut

TypeSafe AI har lanserat Jev, sin första så kallade System One Model. Tanken är inte att konkurrera som chatbot, utan att fungera som ett snabbt beslutssteg i programvara: in med ett tillstånd och tydligt definierade frågor, ut med strukturerade svar som kod kan använda direkt. Bolaget kom ur två års "stealth mode" i samband med en rapporterad såddrunda på 40 miljoner dollar, ledd av DCVC. Jev finns i tidig åtkomst via TypeSafes utvecklarplattform. 61112

Inte en modell som skriver

En utvecklare kan skicka in fritext, strukturerade data eller en kombination – exempelvis ett JSON-objekt eller ett kundärende som lyder ”Mitt kort debiterades två gånger”. Därefter ställs typade frågor. Jev kan bland annat returnera:

• ett val ur en förutbestämd lista, med upp till 255 alternativ i en val-primitiv,
• ett numeriskt värde eller betyg,
• en binär sannolikhet,
• sannolikhets- och konfidensinformation som kan läsas direkt av applikationen. 16

Det innebär att ett system slipper be en språkmodell formulera ett svar i text, tolka texten och sedan validera att resultatet följer rätt schema. I praktiken är Jev närmare ett AI-drivet, avancerat if-villkor eller en klassificerare/scorare i ett i övrigt deterministiskt flöde än en ersättare för en generell chattbot. 611

Parallella beslut i stället för ord för ord

Vanliga autoregressiva språkmodeller skapar normalt ett token i taget, där varje nästa token beror på de tidigare. TypeSafe beskriver Jev som en modell som i stället producerar de efterfrågade strukturerade utdata parallellt i ett enda anrop. Bolaget säger att detta tar bort både själva textgenereringen och efterföljande parsning och validering. 611

Den här avgränsningen är central för produktidén. Om ett system tusentals gånger behöver avgöra exempelvis vilken kö ett supportärende ska till, om en transaktion behöver granskas eller om ett modellsvar bryter mot en policy, är ett kort strukturerat beslut ofta mer användbart än ett stycke välformulerad text.

RLCD ska göra osäkerheten användbar

TypeSafe kallar träningsmetoden RLCD, en förkortning för Reinforcement Learning for Calibrated Decisions. Målet är enligt bolaget kalibrerad osäkerhet: bland jämförbara bedömningar ska en högre angiven säkerhet också motsvara högre faktisk träffsäkerhet över tid. 16

Det kan vara praktiskt i produktionssystem. Ett företag kan till exempel automatisera beslut över en viss säkerhetsgräns, skicka osäkra fall till en handläggare eller låta en mer långsam och resonerande modell ta över.

Men kalibrering är ingen garanti för att ett enskilt svar är rätt. En modell kan fortfarande fatta ett felaktigt strukturerat beslut, även om svaret följer det schema som utvecklaren har angett.

Snabbare och billigare – enligt bolaget

TypeSafe uppger en änd-till-änd-latens på omkring 70–500 millisekunder. För uppgifter som har den form bolaget kallar System One-uppgifter hävdar företaget att Jev kan vara 20–200 gånger snabbare och 40–400 gånger billigare än jämförda språkmodeller. I ett särskilt arbetsflödestest lyfter bolaget fram siffrorna 193,6 gånger snabbare och 444,6 gånger billigare. 67

Listpriset är 0,042 dollar per miljon indatatoken. Utdata prissätts som gratis, eftersom TypeSafe beskriver kostnaden som för låg för att vara meningsfull att mäta. 6

Siffrorna är dock bolagets egna påståenden. De har ännu inte fått bred, oberoende verifiering, och utfallet lär bero starkt på uppgift, jämförelsemodell, infrastruktur och hur hela arbetsflödet är byggt.

DOOM-demot visar idén – men inte hela bilden

I ett av TypeSafes demonstrationer får Jev strukturerad information om speltillståndet i DOOM och väljer sedan återkommande nästa handling. Enligt bolaget handlar det om ungefär tio anrop per sekund och en uppskattad kostnad på omkring 7 dollar i timmen. 6

Bolaget säger också att Jev slog flera ledande modeller i en utmaning där modeller skulle navigera mellan Wikipedia-länkar. TypeSafe påpekar samtidigt att jämförelsen till största del använde modeller i lägen utan explicit resonemang. Det gör testet begränsat: det är inte ett allmänt mått på modellernas intelligens. 6

Var Jev kan passa

Jev är främst tänkt för högvolymbeslut med begränsat handlingsutrymme, exempelvis:

• routning och klassificering av supportärenden,
• informationsutvinning och policykontroller,
• bedömning av bedrägeri- och risknivåer,
• granskning eller skyddsräcken för en annan modells utdata,
• realtidsbeslut i användargränssnitt,
• analys av stora dokumentmängder i map-reduce-liknande arbetsflöden. 16

I sådana system ska utvecklaren fortfarande definiera möjliga åtgärder, kombinera modellens svar med vanlig programlogik och ha en reservväg för låg säkerhet – exempelvis mänsklig granskning eller en generell språkmodell.

Tydliga begränsningar

Jev kan vid lanseringen inte skriva prosa, programkod eller förklaringar till sitt resonemang. Den tar inte heller emot bilder som indata. 1611

Det gör uttryck som ”hallucinationsfri” missvisande om de tolkas som att modellen aldrig har fel. Jev kan inte hitta på fritt formulerad text, eftersom den inte genererar sådan text alls. Men den kan fortfarande välja fel kategori, ge fel poäng eller uppskatta en sannolikhet fel.

Det avgörande testet återstår

Jevs tydligaste styrka på kort sikt är sannolikt att komplettera generella LLM:er, inte att ersätta dem. Den kan vara ett effektivt verktyg för snabba, återkommande och avgränsade beslut, medan vanliga språkmodeller fortfarande behövs för text, öppna resonemang, förklaringar och multimodala uppgifter.

Det återstår att se om TypeSafes mätmetoder, kalibrering i verkliga produktionsmiljöer och kostnadsbild håller vid oberoende granskning. Lika öppet är om strukturerade beslutsmodeller blir en varaktig egen kategori – eller främst en specialfunktion som med tiden byggs in i bredare AI-plattformar.