AI-modeller som velger – i stedet for å skrive

En AI-agent må ofte ta små, avgrensede valg: Hvilket verktøy skal den bruke? Hvor skal en henvendelse sendes? Bør et foreslått steg gjennomføres? En vanlig språkmodell kan svare med tekst, men en beslutningsmodell velger i stedet fra en liste over tillatte svar og kan returnere en poengsum eller sannsynlighet. Det gjør modellen aktuell når programvare må ta mange valg med kort responstid. En høy konfidens er likevel ikke det samme som en garanti for at valget er riktig. 1112

Fire løsninger – ulike avveininger

• TypeSafe AI – Jev: En driftet modell som returnerer strukturerte valg, poengsummer og sannsynligheter. Oppgitt responstid er rundt 70–500 millisekunder. Prisen er oppgitt til 0,042 dollar per million inndatatokener, uten kostnad for utdatatokener. Den kan passe til ruting og andre hyppige valg i en applikasjon. TypeSafe har ikke offentliggjort nok om Jevs arkitektur eller åpnet modellvektene til at ytelsesfordelen kan vurderes uavhengig; sentrale sammenligninger av pris og ytelse er fortsatt selskapets egne. 3567
• OpenAI – Decisions API: Utviklere kan sende inn tekst eller bilder, et spørsmål og et avgrenset sett med svar. API-et er laget for blant annet klassifisering, ruting og valg av neste handling for en agent. Det er foreløpig i begrenset forhåndstilgang. Lanseringsomtale oppgir rundt 150 millisekunder per valg, men OpenAI har ikke publisert en direkte sammenlignbar Jev-test eller pris for API-et. 1234
• AWS – Strands Decider 2B: En åpen modell med omtrent 2 milliarder parametere, laget for avgrensede valg, ja/nei-sannsynligheter og poengsummer. Utviklere kan kjøre den lokalt og undersøke den publiserte treningsoppskriften. Det kan gjøre den interessant for eksperimentering, tilpasning og bruk der man ikke vil være avhengig av en driftet beslutningstjeneste. Oppgitte medianmålinger på rundt 106–115 millisekunder avhenger av maskinvare og testoppsett. Modellvektene er gratis, men datakraften som trengs for å kjøre modellen, er det ikke nødvendigvis. 1181
• Cloudflare – Clef og Clef-flash: Modeller med åpne vekter som kan kjøres selv eller brukes via Workers AI. Clef er rettet mot sterkere beslutninger, mens Clef-flash prioriterer lavere forsinkelse. Oppgitte priser for den driftede tjenesten er henholdsvis 0,24 og 0,09 dollar per million inndatatokener. Cloudflare-relatert omtale oppgir en median nær 39 millisekunder for Clef-flash. Tallene er ikke resultatet av en likestilt test mot Jev, så de bør ikke leses som en direkte rangering. 135

Hva betyr konkurransen for TypeSafe?

De nye alternativene tyder på at flere aktører ser et marked for modeller som velger fremfor å skrive. OpenAI tilbyr en driftet løsning, AWS gir utviklere en åpen modell de kan kjøre selv, og Cloudflare kombinerer åpne vekter med en driftet tjeneste. Det gjør det vanskeligere for TypeSafe å skille seg ut bare ved å være tidlig ute.

TypeSafe må vise hvordan Jev presterer på kundenes faktiske oppgaver – både når det gjelder kvaliteten på valgene og samlet kostnad. En oppgitt responstid alene sier ikke hvilken løsning som er best, særlig når testoppsettene er ulike. Omtale oppgir at TypeSafe har hentet 40 millioner dollar, men grunnlaget her er ikke tilstrekkelig til å fastslå en pålitelig verdsettelse eller bekrefte at Jevs påståtte ytelsesfordel holder i uavhengige, sammenlignbare tester. 41115