AI-modeller som väljer i stället för att skriva

En AI-agent behöver inte alltid formulera ett svar i hela meningar. Ibland ska den bara avgöra: ”Vilket verktyg ska jag använda?” eller ”Vilken av de här köerna ska ärendet skickas till?” En beslutsmodell väljer då bland givna alternativ och kan returnera en poäng eller sannolikhet, i stället för att generera text token för token. Det kan passa återkommande uppgifter där svarstiden spelar roll. Men en hög konfidens är ingen garanti för att beslutet är rätt. 1112

Fyra modeller – olika sätt att leverera beslut

• TypeSafe AI:s Jev: En värdbaserad modell för strukturerade val, poäng och sannolikheter. Rapporterad svarstid är cirka 70–500 millisekunder. Det publicerade priset är 0,042 dollar per miljon indatatoken, utan avgift för utdata. Jev är tänkt för bland annat dirigering och andra återkommande beslut i appar. TypeSafe har inte offentliggjort tillräckligt om modellens arkitektur eller släppt vikterna för att utomstående ska kunna förklara prestandafördelen oberoende. De tydligaste jämförelserna av kostnad och prestanda kommer fortfarande från företaget självt. 3567
• OpenAI:s Decisions API: Utvecklare kan ange text eller bilder som kontext, formulera en fråga och definiera ett begränsat antal svar. API:t är avsett för exempelvis klassificering, dirigering och val av en AI-agents nästa åtgärd. Det är i begränsad förhandsversion. Lanseringsbevakning rapporterar omkring 150 millisekunder per beslut, men OpenAI har inte publicerat något direkt jämförbart test mot Jev eller något pris för API:t. 1234
• AWS Strands Decider 2B: En modell med omkring två miljarder parametrar för avgränsade val, ja/nej-sannolikheter och poäng. Den är öppen källkod och kan köras lokalt; utvecklare kan också granska den publicerade träningsmetoden. Det kan locka till experiment, anpassning och driftsättningar som inte ska vara beroende av ett externt besluts-API. En rapporterad mediantid på ungefär 106–115 millisekunder beror på hårdvara och testupplägg. Modellvikterna är kostnadsfria, men beräkningsresurserna för att köra modellen är det inte nödvändigtvis. 1181
• Cloudflares Clef och Clef-flash: Modeller med öppna vikter som kan köras lokalt eller via Workers AI. Clef är inriktad på starkare beslutsförmåga, medan Clef-flash prioriterar låg svarstid. Rapporterade priser via tjänsten är 0,24 respektive 0,09 dollar per miljon indatatoken. Jämförelser kopplade till Cloudflare anger en mediantid på omkring 39 millisekunder för Clef-flash. Siffrorna är inte resultatet av ett likvärdigt hastighets- eller kostnadstest mot Jev. 135

Vad betyder konkurrensen för TypeSafe?

Lanseringarna stärker bilden av att det finns efterfrågan på modeller som väljer mellan givna alternativ – men gör samtidigt TypeSafes försprång mindre självklart. OpenAI erbjuder en värdbaserad väg, AWS och Cloudflare ger utvecklare öppna alternativ, och Cloudflare erbjuder dessutom sin modell via en värdtjänst.

TypeSafe behöver därför visa att Jev ger bättre uppmätt besluts kvalitet och total kostnad på kundernas faktiska arbetsflöden. En enskild siffra för svarstid eller ett påstående om att vara först räcker inte när modellerna testas på olika hårdvara och med olika metoder.

Rapporter anger att TypeSafe har tagit in 40 miljoner dollar. Däremot finns det inte tillräckligt underlag här för att slå fast en tillförlitlig värdering eller för att avgöra om Jevs påstådda prestandaförsprång håller i ett oberoende test där villkoren är desamma. 41115