AI-agenter skal vælge, ikke altid skrive

Når en AI-agent skal vælge, hvilket værktøj den skal bruge, eller hvor en henvendelse skal sendes hen, er en lang tekstforklaring ikke altid nødvendig. En beslutningsmodel får en afgrænset opgave og et sæt tilladte svar og vælger mellem dem. Den kan også returnere en score eller sandsynlighed, så resten af softwaren kan reagere direkte på resultatet. 1112

Den type model kan være nyttig, når en agent skal træffe mange hurtige valg. Men en sandsynlighed er ikke en garanti for, at beslutningen er rigtig.

Fire modeller med forskellige styrker

• TypeSafe AI’s Jev: En hostet model, der returnerer strukturerede valg, scorer og sandsynligheder. Den oplyste svartid ligger omkring 70–500 millisekunder, og prisen er 0,042 dollar pr. million inputtokens uden betaling for outputtokens. Det gør den relevant til for eksempel routing og andre gentagne valg i software. TypeSafe har ikke offentliggjort tilstrækkelige oplysninger om Jevs arkitektur eller frigivet modellens vægte til, at dens påståede fordele kan forklares og efterprøves uafhængigt. De stærkeste sammenligninger af pris og ydeevne kommer fortsat fra virksomheden selv. 3567

• OpenAI Decisions API: Udviklere kan give API’et tekst eller billeder, et spørgsmål og en afgrænset liste af mulige svar. Det er tænkt til blandt andet klassificering, videresendelse af forespørgsler og valg af en AI-agents næste handling. API’et er i begrænset forhåndsadgang. Lancemedier har rapporteret en svartid på omkring 150 millisekunder, men OpenAI har ikke offentliggjort en pris eller en direkte sammenligningstest med Jev. 1234

• AWS Strands Decider 2B: En open source-model på omkring 2 milliarder parametre, der kan give valg, ja/nej-sandsynligheder og scorer. Udviklere kan køre den lokalt og undersøge den offentliggjorte træningsopskrift. Det gør den interessant til eksperimenter, tilpasning og løsninger, der ikke skal være afhængige af en hostet beslutnings-API. Rapporterede medianværdier på cirka 106–115 millisekunder afhænger af hardware og testopsætning. Modelvægtene er gratis, men det er computerkraften, der skal til for at køre modellen, ikke nødvendigvis. 11811718

• Cloudflare Clef og Clef-flash: To modeller med åbne vægte, som både kan køres selv og bruges via Cloudflares Workers AI. Clef er rettet mod stærkere beslutninger, mens Clef-flash er varianten med fokus på lavere svartid. De oplyste priser på Workers AI er henholdsvis 0,24 og 0,09 dollar pr. million inputtokens. Sammenligninger knyttet til Cloudflare angiver omkring 39 millisekunders median for Clef-flash. Tallene er ikke resultatet af en direkte, ensartet test mod Jev, så de bør ikke læses som en sikker sammenligning af hastighed eller pris. 135

Hvad betyder kapløbet for TypeSafe AI?

De nye lanceringer viser, at der er interesse for beslutningsmodeller, men de gør det sværere for TypeSafe at skille sig ud alene ved at være tidligt ude. OpenAI tilbyder en hostet løsning, mens AWS og Cloudflare giver udviklere åbne alternativer. Cloudflare tilbyder desuden sine modeller som en hostet tjeneste.

TypeSafe skal derfor kunne dokumentere god beslutningskvalitet og lave samlede omkostninger på kundernes faktiske opgaver. En enkelt imponerende svartid eller en påstand om at være først er ikke nok, især når målingerne ikke nødvendigvis er lavet på samme hardware eller med samme testmetode.

Der er rapporteret om 40 millioner dollars i finansiering til TypeSafe, men det foreliggende materiale giver ikke grundlag for en sikker værdiansættelse. Det er heller ikke muligt her at bekræfte, at Jevs påståede præstationsfordel holder i uafhængige, sammenlignelige tests. 41115