Jev wil software sneller laten beslissen zonder eerst tekst te genereren

Jev is het eerste zogeheten System One Model van TypeSafe AI. Het is niet gemaakt om te chatten, teksten te schrijven of code te genereren, maar om binnen software snel een afgebakende beslissing te nemen. Na twee jaar in stealth kwam TypeSafe naar buiten met naar verluidt een seedronde van 40 miljoen dollar onder leiding van DCVC. Jev is in early access beschikbaar via de ontwikkelaars-wachtlijst. 61112

Wat Jev teruggeeft

Een ontwikkelaar geeft Jev een toestand mee: dat kan vrije tekst zijn, maar ook gestructureerde gegevens, bijvoorbeeld een JSON-object. Daarbovenop komen getypeerde vragen. Jev levert vervolgens direct een uitkomst die programmatuur kan gebruiken:

• één keuze uit vooraf vastgelegde opties — maximaal 255 binnen één keuzeprimitief;
• een numerieke score; of
• een binaire waarschijnlijkheid.

Bij die uitkomst hoort waarschijnlijkheids- of betrouwbaarheidsinformatie. De applicatie hoeft dus geen door een taalmodel geschreven antwoord eerst te ontleden om er een beslissing van te maken. 16

Het verschil met een LLM

Een autoregressief taalmodel genereert tekst token voor token: elk volgend stukje hangt af van wat daarvoor is geproduceerd. TypeSafe stelt dat Jev de gevraagde gestructureerde uitkomsten parallel binnen één query produceert. Daarmee vervallen tekstgeneratie, het achteraf parsen van antwoorden en extra validatie van het uitvoerformaat. 611

In de praktijk kun je Jev daarom het best zien als een slimme, AI-gestuurde if-voorwaarde, classifier of scorer in een verder grotendeels deterministische softwareketen. Het is geen vervanger voor een algemene chatbot.

RLCD en wat ‘gekalibreerd vertrouwen’ betekent

TypeSafe noemt de eigen trainingsmethode RLCD, voluit Reinforcement Learning for Calibrated Decisions. Het beoogde doel is gekalibreerde onzekerheid: als het model bij een grote groep vergelijkbare voorspellingen vaker een hogere betrouwbaarheid meldt, zou de feitelijke nauwkeurigheid in die groep ook hoger moeten zijn. 16

Dat is nuttig voor operationele keuzes. Een systeem kan bijvoorbeeld een uitkomst met lage betrouwbaarheid doorsturen naar een medewerker of naar een trager, uitgebreider redeneermodel. Maar een hoge betrouwbaarheidsgraad is geen garantie dat één specifieke beslissing juist is.

Snelheid, kosten en benchmarks: claims met een voorbehoud

TypeSafe claimt een end-to-endreactietijd van ongeveer 70 tot 500 milliseconden. Afhankelijk van de taak en de gekozen vergelijking zou Jev 20 tot 200 keer sneller en 40 tot 400 keer goedkoper zijn dan LLM-workflows voor vergelijkbare, sterk afgebakende beslissingen. De opvallendste workflowclaim luidt: 193,6 keer sneller en 444,6 keer goedkoper. De catalogusprijs bedraagt 0,042 dollar per miljoen invoertokens; uitvoer is volgens het bedrijf gratis, omdat die te goedkoop is om te meten. 67

Die getallen zijn nadrukkelijk bedrijfsclaims en zijn nog niet onafhankelijk gerepliceerd. Ze zeggen bovendien vooral iets over taken die goed bij het System One-concept passen, niet over algemene AI-capaciteiten.

Wat de demonstraties laten zien

In een demonstratie met DOOM krijgt Jev gestructureerde informatie over de speltoestand en kiest het herhaaldelijk acties. Volgens TypeSafe gebeurt dat ongeveer tien keer per seconde, tegen een geschatte kostprijs van circa 7 dollar per uur. 6

Het bedrijf meldt ook dat Jev meerdere frontiermodellen versloeg in een Wikipedia-opdracht waarbij links moeten worden genavigeerd. TypeSafe merkt daarbij zelf op dat de vergelijking grotendeels modellen zonder redeneermodus betrof. Dat maakt de test beperkt: het is geen brede ranglijst van algemene intelligentie. 6

Waar Jev vooral bruikbaar kan zijn

De logische toepassingen zijn herhaalbare processen met een beperkte actieruimte, zoals:

• routering van grote aantallen supporttickets;
• extractie en classificatie van gegevens;
• beleids- en compliancecontroles;
• fraude- of risicoscores;
• controlelaag of beoordelaar voor de uitvoer van een ander model;
• realtimebeslissingen in een gebruikersinterface;
• analyse van grote documentverzamelingen in map-reduce-achtige workflows.

De ontwikkelaar legt daarbij de mogelijke acties vast, combineert Jevs uitkomst met reguliere code en kan twijfelgevallen opschalen naar menselijke beoordeling of een model dat wel uitgebreid kan redeneren. 16

De grenzen zijn bewust scherp

Jev kan bij de lancering geen proza, code of uitleg van zijn redenering schrijven en accepteert geen afbeeldingen als invoer. Dat het systeem geen typefouten maakt, betekent alleen dat de respons past binnen het opgegeven schema. Het betekent niet dat de inhoudelijke beslissing per definitie klopt. 1611

De aanduiding ‘hallucinatievrij’ vraagt daarom om nuance. Jev kan geen vrijlopende, verzonnen tekst produceren, maar kan nog altijd een verkeerde gestructureerde voorspelling doen.

Nog te bewijzen

Of Jev in productie daadwerkelijk goed gekalibreerd blijft, of de benchmarks robuust zijn, of de kostenvoordelen op lange termijn standhouden en of er een duurzame aparte markt voor dit soort beslismodellen ontstaat, is nog niet onafhankelijk aangetoond.

De meest aannemelijke rol op korte termijn is dan ook aanvullend: gebruik Jev voor snelle, begrensde en vaak terugkerende beslissingen; gebruik algemene LLM's wanneer tekstproductie, open redeneren, multimodale invoer of uitleg nodig is.