Jev skal la programvare ta raske, strukturerte valg

Jev er TypeSafe AIs modell for å svare på spørsmål med forhåndsdefinerte utfall – ikke for å skrive fritekst. Utviklere sender inn informasjon om tilstanden i en app og ber om strukturerte vurderinger, for eksempel et valg, en poengsum eller et ja/nei-svar. Jev returnerer et svar i et fast format, med en sannsynlighet som programvaren kan bruke direkte i stedet for å måtte tolke en tekstlig forklaring. 12

Det kan gjøre modellen enklere å koble inn i automatiserte arbeidsflyter. Men et fast svarformat betyr ikke nødvendigvis at svaret er riktig, og en oppgitt sannsynlighet dokumenterer ikke i seg selv at modellen er godt kalibrert. Den tidlige bruken av Jev er omtalt, men de største ytelsespåstandene og hvor pålitelig modellen er i produksjon, trenger mer uavhengig dokumentasjon.

Hva skiller Jev fra en chatbot?

En tekstbasert chatbot kan svare på mange typer åpne spørsmål, men programvare må ofte tolke eller hente ut informasjon fra svaret. Jev er laget for smalere oppgaver der mulige svar er bestemt på forhånd. TypeSafe beskriver svar som valg, poengsummer etter en skala og vurderinger av typen ja eller nei – med tilhørende sannsynligheter. 12

Et system kan for eksempel spørre om en vare oppfyller et bestemt krav, eller hvilken kategori den tilhører, og sende resultatet videre til neste trinn. Når svaret må følge en definert struktur, slipper programmet å lete etter kategorien i et avsnitt. Det kan redusere arbeidet med formatering og tolkning, men garanterer ikke at vurderingen er korrekt. 2

TypeSafe kaller Jev en «System One»-modell og sier at den bruker en parallell sampler og en treningsmetode selskapet omtaler som Reinforcement Learning for Calibrated Decisions. Dette er selskapets beskrivelser av teknologien – ikke uavhengig dokumentasjon på at Jev er nøyaktig eller godt kalibrert i ulike produksjonsoppgaver. 1

Bruk, pris og påstander om ytelse

Tidlig bruk er et signal – ikke bevis på varig vekst

Vercel opplyste at Jev ble brukt av nær 13 prosent av de betalende AI Gateway-teamene deres innen 24 timer, og beskrev lanseringen som den raskest adopterte modell-lanseringen på tjenesten. Det tyder på tidlig interesse blant utviklere på plattformen. Tallet sier imidlertid ikke noe om alle Vercels kunder, gjentatt bruk, betalte Jev-kall eller TypeSafes inntekter. I starten kunne Jev dessuten brukes gratis gjennom Vercel, noe som gjør lanseringstallet mindre egnet til å si noe om betalingsvilje. 34

Oppgitt pris er konkret; besparelsene avhenger av sammenligningen

TypeSafe oppgir en pris på 0,042 dollar per million input-tokens, uten kostnad for output-tokens. 23 Selskapet har også markedsført Jev med tids- og kostnadsfordeler på opptil 100 ganger. I utvalgte sammenligninger av arbeidsflyter er det rapportert tall på opptil 193,6 ganger raskere og 444,6 ganger billigere. Disse større multiplikatorene stammer fra selskapets egne evalueringer. De bør derfor forstås som resultater fra de testede sammenligningene, ikke som en generell garanti for alle oppgaver eller leverandører. 612

Opplysninger om svartid varierer også. TypeSafes lanseringsmateriell viste til en forsinkelse på under 100 millisekunder, mens andre publiserte beskrivelser oppgir 70–500 millisekunder fra start til slutt. Dette er ikke nødvendigvis sammenlignbare målinger, og tallene innebærer ikke at hver forespørsel vil være ferdig på under 100 millisekunder. 46

Pålitelighet må vurderes separat

Et begrenset sett med mulige svar kan hindre modellen i å svare utenfor det tillatte formatet. Det avgjør ikke om selve beslutningen er riktig. Tilsvarende er en sannsynlighet knyttet til et svar nyttig bare hvis den er kalibrert for den aktuelle oppgaven. Kildene som er gjennomgått, gir ikke nok uavhengig dokumentasjon til å tallfeste Jevs nøyaktighet, kalibrering eller oppetid på tvers av produksjonsoppgaver. 12

Finansiering og verdsetting: skill mellom kunngjøring og spekulasjon

TypeSafe har kunngjort 40 millioner dollar i finansiering, ledet av DCVC. 6 Omtaler setter også verdsettingen ved såkornrunden til rundt 200 millioner dollar og beskriver samtaler om en mulig verdsetting på over 10 milliarder dollar. Slike samtaler er ikke det samme som en gjennomført finansieringsrunde eller en bekreftet markedsverdi. Den kunngjorte finansieringen er det sikreste holdepunktet. 1821

Hvordan Jev står mot nye alternativer

• Liquid AI d1: Liquid dokumenterer en beslutningsmodell som kan brukes via selskapets API, og d1 er dermed et konkret, tilgjengelig alternativ. En omtalt sammenligning i Decision Index 0.2.1 gir d1 58,9 poeng mot Jevs 57,9, men den beskrives som Liquids egen gjennomføring – ikke en nøytral, uavhengig test der begge modellene er sammenlignet på like vilkår. Se det som et tidlig signal, ikke en endelig rangering. 313338
• OpenAIs Decisions API: OpenAI har omtalt en Decisions API for avgrensede spørsmål med forhåndsdefinerte svar, og kilder beskriver den som en begrenset forhåndsvisning. Materialet som er gjennomgått, dokumenterer ikke et offentlig tilgjengelig grensesnitt for forespørsler, en pris eller en uavhengig sammenligning med Jev. Nettstedet decisions-api.org er en uavhengig tjeneste for å prøve flere modeller – ikke OpenAIs API. 394232
• Databricks ai_decide: Kildene som er tilgjengelige her, fastslår ikke om løsningen er offentlig tilgjengelig, hvilke spesifikasjoner den har, eller hvordan den presterer i sammenlignbare tester. Det er derfor ikke nok grunnlag for å rangere den mot Jev.
• Åpne modeller: En uavhengig modellguide omtaler en bredere Decision Index-test som også inkluderer åpne modeller. Men det at en modell står i en benchmark, viser ikke alene at den matcher Jev på samme arbeidsoppgave, svartid og kostnad. Jev har heller ikke publiserte modellvekter i beskrivelsene som er gjennomgått, så lokal kjøring er ikke et direkte sammenlignbart alternativ. 1338

Hva dokumentasjonen faktisk viser

Jev er et konkret eksempel på en modell som skal returnere avgrensede, maskinlesbare beslutninger i stedet for samtaletekst. Den rapporterte utbredelsen på Vercel er et tydelig signal om tidlig interesse, og den publiserte input-prisen er konkret. Men bruk i en lanseringsperiode dokumenterer ikke varig kommersiell vekst, og leverandørens egne tester av hastighet og kostnader fastslår ikke en fordel i alle situasjoner. 23412

Den viktigste testen blir hvordan modellene presterer på de samme praktiske oppgavene: beslutningsnøyaktighet, kalibrering av sannsynligheter, total svartid og kostnad under sammenlignbare forhold – og om bruken holder seg når gratis introduksjonstilgang tar slutt. Inntil slike sammenligninger kan gjentas uavhengig, kan kategorien være lovende uten at ytelsespåstandene fra noen enkelt leverandør er avgjørende dokumentasjon.