AI nie zawsze musi pisać. Nowe modele wybierają zamiast generować tekst

Modele językowe zwykle tworzą odpowiedź, przewidując kolejne tokeny. Model decyzyjny dostaje węższe zadanie: ma odpowiedzieć na konkretne pytanie, wybierając spośród opcji wskazanych przez twórcę aplikacji. Agent może na przykład zapytać, którego narzędzia użyć albo do którego zespołu przekazać zgłoszenie. Wynikiem jest wybór, ocena lub prawdopodobieństwo — nie akapit tekstu. To może ograniczyć czas potrzebny na powtarzane decyzje, ale wysoki wynik pewności nie gwarantuje, że wybór jest poprawny. 1112

Cztery podejścia do decyzji agentów AI

• Jev od TypeSafe AI to hostowany model do odpowiedzi w określonym formacie: wyborów, ocen i prawdopodobieństw. Według opublikowanych danych jego opóźnienie wynosi około 70–500 ms, a cena to 0,042 USD za milion tokenów wejściowych; tokeny wyjściowe nie są naliczane. Jev może pasować do częstego routingu i innych powtarzalnych decyzji w aplikacji. Doniesienia opisują go jako produkt we wczesnym dostępie. TypeSafe nie udostępniło wag ani wystarczających szczegółów architektury, by niezależnie wyjaśnić deklarowaną przewagę modelu; najważniejsze porównania kosztów i wydajności pochodzą od firmy. 11

• Decisions API OpenAI pozwala podać kontekst w postaci tekstu lub obrazu, pytanie oraz skończony zestaw odpowiedzi. API ma służyć m.in. klasyfikacji, kierowaniu zgłoszeń i wyborowi kolejnego działania agenta. Jest dostępne w ograniczonym podglądzie. Relacje z premiery podają około 150 ms na decyzję, ale OpenAI nie opublikowało ceny ani testu porównawczego z Jev, więc tych wartości nie można traktować jako bezpośredniego porównania. 1234

• Strands Decider 2B od AWS to otwarty model o około 2 mld parametrów, przeznaczony do ograniczonych wyborów, odpowiedzi „tak/nie” i ocen. Można uruchamiać go lokalnie i korzystać z udostępnionych materiałów treningowych, co sprzyja eksperymentom i wdrożeniom, które nie chcą polegać wyłącznie na hostowanym API. Raportowane mediany opóźnienia — około 106–115 ms — zależą od sprzętu i warunków testu. Pobranie wag jest bezpłatne, ale uruchomienie modelu nadal wymaga własnych zasobów obliczeniowych lub płatnej chmury. 181719

• Clef i Clef-flash od Cloudflare to modele z otwartymi wagami, dostępne do samodzielnego uruchomienia oraz jako usługa Workers AI. Clef jest pozycjonowany jako wariant nastawiony na mocniejsze decyzje, a Clef-flash — na niższe opóźnienie. Podawane ceny hostowania to odpowiednio 0,24 i 0,09 USD za milion tokenów wejściowych. W porównaniach powiązanych z Cloudflare Clef-flash osiąga medianę bliską 39 ms, ale nie jest to test kosztu i szybkości przeprowadzony na identycznych zasadach co dla Jev.

Co ta konkurencja oznacza dla TypeSafe?

Nowe produkty potwierdzają zainteresowanie modelami, które podejmują decyzje zamiast prowadzić rozmowę, ale zmniejszają wyłączność TypeSafe w tej kategorii. OpenAI oferuje hostowane API, AWS udostępnia model do samodzielnego uruchomienia, a Cloudflare łączy otwarte wagi z opcją hostowaną. Dla zespołów wdrożeniowych różnica sprowadza się więc nie tylko do milisekund: liczą się także dostępność, koszt całego wdrożenia, kontrola nad modelem i jakość decyzji na własnych danych.

Doniesienia mówią o 40 mln USD finansowania TypeSafe. Dostępne relacje o wycenie są jednak niejednoznaczne, a wzmianki o późniejszych rozmowach inwestycyjnych nie potwierdzają zakończonej rundy na podawaną kwotę. Nie ma też wystarczających podstaw, by uznać deklarowaną przewagę Jev za potwierdzoną w niezależnym, dopasowanym teście. W praktyce o przewadze każdego z tych rozwiązań powinny zdecydować wyniki na konkretnych zadaniach i rzeczywisty koszt całego użycia, a nie sama liczba z materiałów premierowych. 11