Gli agenti AI possono decidere senza generare testo: cosa cambia con Jev, OpenAI, AWS e Cloudflare

Un agente AI non deve sempre scrivere una risposta: spesso gli basta scegliere il passaggio successivo. Per esempio, può dover stabilire quale strumento usare, a quale reparto inoltrare una richiesta o se autorizzare un’azione.

È qui che entrano in gioco i modelli decisionali. Invece di generare testo un token alla volta, ricevono una situazione e una domanda con un insieme limitato di risposte possibili. Poi restituiscono una scelta, spesso accompagnata da un punteggio o da una probabilità. Questo approccio può essere utile quando le decisioni sono frequenti e la rapidità conta; una stima di confidenza, tuttavia, non equivale a una garanzia di correttezza. 1112

Quattro proposte, con compromessi diversi

• Jev di TypeSafe AI: modello ospitato pensato esclusivamente per produrre scelte strutturate, punteggi e probabilità. La latenza dichiarata va da circa 70 a 500 millisecondi; il prezzo pubblicato è di 0,042 dollari per milione di token in ingresso, senza costi per i token in uscita. È destinato, tra gli altri impieghi, all’instradamento delle richieste e alle decisioni ripetute all’interno delle applicazioni. TypeSafe non ha però reso pubblica l’architettura in misura sufficiente né ha rilasciato i pesi: le sue affermazioni più forti su costi e prestazioni restano quindi dichiarazioni aziendali. 3567

• Decisions API di OpenAI: consente di fornire testo o immagini, una domanda e un insieme finito di risposte, per classificare contenuti, instradare richieste o scegliere la prossima azione di un agente. È disponibile in anteprima limitata. Le notizie sul lancio riportano circa 150 millisecondi per decisione, ma OpenAI non ha pubblicato né un confronto diretto con Jev né il prezzo dell’API. 1234

• Strands Decider 2B di AWS: modello open source da circa 2 miliardi di parametri, progettato per selezionare tra opzioni e restituire probabilità sì/no o punteggi. Può essere eseguito localmente e la ricetta di addestramento è consultabile: caratteristiche che lo rendono interessante per sperimentazione, personalizzazione e ambienti che non vogliono dipendere da un’API ospitata. Le latenze mediane riportate, nell’ordine di 106–115 millisecondi, dipendono dall’hardware e dal test; i pesi sono gratuiti, ma non lo sono le risorse di calcolo necessarie per usarli. 1181

• Clef e Clef-flash di Cloudflare: modelli con pesi aperti, disponibili sia per l’esecuzione autonoma sia tramite Workers AI. Clef punta a decisioni di qualità più elevata, mentre Clef-flash privilegia la velocità. I prezzi dichiarati per il servizio ospitato sono rispettivamente 0,24 e 0,09 dollari per milione di token in ingresso; nei confronti collegati a Cloudflare, Clef-flash raggiunge una mediana di circa 39 millisecondi. Sono dati riportati da fonti diverse e non costituiscono un confronto di velocità o costo a parità di condizioni con Jev. 135

Cosa significa per TypeSafe

Le nuove proposte confermano l’interesse per i modelli decisionali, ma rendono meno esclusiva la posizione di TypeSafe. OpenAI offre una soluzione ospitata, ancora in anteprima; AWS e Cloudflare mettono a disposizione alternative con pesi aperti, e Cloudflare offre anche un servizio ospitato.

Per Jev, quindi, non basterà rivendicare un vantaggio di velocità o il primato sul mercato. TypeSafe dovrà dimostrare, su carichi di lavoro reali e con test comparabili, un vantaggio misurabile nella qualità delle decisioni e nel costo totale. Le notizie parlano di 40 milioni di dollari raccolti, ma le informazioni disponibili non bastano per indicare una valutazione aziendale attendibile né per verificare in modo indipendente che il vantaggio prestazionale dichiarato da Jev regga a un confronto condotto nelle stesse condizioni. 41115