ШІ-агенти можуть обирати без генерації тексту: як працюють моделі рішень

Моделі рішень призначені для запитань із чітко обмеженим набором відповідей: наприклад, «Який інструмент має використати агент?». Замість того щоб генерувати пояснення токен за токеном, така модель обирає один із дозволених варіантів і може повернути оцінку або ймовірність. Це зручно для частих завдань, де важлива швидкість, але висока впевненість моделі сама собою не гарантує правильності вибору. 1112

Чим відрізняються чотири рішення

• Jev від TypeSafe AI. Хмарна модель для структурованих рішень, оцінок і ймовірностей. Заявлена затримка — приблизно 70–500 мс, ціна — $0,042 за мільйон вхідних токенів; за вихідні токени плати немає. Jev може підійти для маршрутизації запитів та інших частих рішень у застосунках. Водночас TypeSafe не розкрила достатньо деталей про архітектуру Jev і не випустила ваги моделі, тож незалежно пояснити її переваги за швидкістю чи вартістю складно. Найгучніші порівняння залишаються оцінками самої компанії. 3567
• OpenAI Decisions API. Розробники можуть надати контекст у вигляді тексту або зображення, сформулювати запитання й задати скінченний набір відповідей. API призначений для класифікації, маршрутизації запитів і вибору наступної дії агента. Наразі сервіс доступний в обмеженому попередньому перегляді. У матеріалах про запуск наводять показник близько 150 мс на рішення, однак OpenAI не опублікувала прямого зіставлення з Jev чи ціну API. 1234
• AWS Strands Decider 2B. Модель із приблизно двома мільярдами параметрів для вибору з обмеженого набору варіантів, відповідей «так/ні» та оцінок. Її можна запускати локально; також доступні навчальні матеріали та рецепт тренування. Це може бути зручним для експериментів, налаштування й розгортання без залежності від хмарного API. У повідомленнях фігурує медіанна затримка приблизно 106–115 мс, але результат залежить від обладнання та умов тестування. Ваги можна завантажити безплатно, проте обчислювальні ресурси для запуску все одно потрібні. 1181
• Cloudflare Clef і Clef-flash. Моделі з відкритими вагами, які можна розгорнути самостійно або використовувати через Workers AI — платформу Cloudflare для запуску моделей. Clef орієнтована на якість рішень, а Clef-flash — на нижчу затримку. Заявлена ціна хмарного використання становить $0,24 і $0,09 за мільйон вхідних токенів відповідно. У порівняннях, пов’язаних із Cloudflare, для Clef-flash наводять медіану близько 39 мс. Ці показники не є прямим порівняльним тестом із Jev. 135

Що це означає для TypeSafe

Поява конкурентів підтверджує інтерес до моделей, які ухвалюють вузькі рішення для ШІ-агентів, але водночас зменшує унікальність пропозиції TypeSafe. OpenAI пропонує хмарний сервіс на етапі попереднього доступу; AWS і Cloudflare — моделі з відкритими вагами, а Cloudflare також надає власний хмарний варіант.

Тепер TypeSafe важливо показати, як Jev працює на реальних завданнях клієнтів: чи забезпечує він потрібну якість рішень і скільки коштує повний сценарій використання. Однієї заяви про низьку затримку або першопрохідництво для цього недостатньо. За повідомленнями, TypeSafe залучила $40 млн, але доступних тут підтверджень замало, щоб надійно назвати оцінку вартості компанії або встановити, чи зберігає Jev перевагу в незалежному тестуванні на однакових умовах. 41115