NVIDIA Nemotron 3.5 Lightning — робоча модель для ШІ-агентів

Показники «30B» і «3B active» означають різні речі:

• 30 млрд загальних параметрів — повний набір навчених параметрів моделі.
• Близько 3 млрд активних параметрів — приблизна частина мережі, яка використовується під час генерації кожного токена.

Така розріджена обробка дає Lightning місткість моделі більшого класу, але обчислювальний профіль активної мережі значно меншого розміру. Це не скасовує потреби зберігати та обслуговувати всю модель, однак може зменшити обсяг обчислень для кожного згенерованого токена.

Чому Lightning призначена саме для виконання

Автономні агенти зазвичай роблять багато послідовних звернень до моделей. Одне завдання може включати вибір інструмента, вилучення структурованих даних, перевірку результату та форматування відповіді — і все це після того, як початковий план уже сформовано.

Якщо використовувати велику frontier-модель для кожного такого виклику, зростають затримка та операційні витрати. Lightning має забрати на себе передбачувану й частотну частину процесу, тоді як потужніша система залишатиметься доступною для неоднозначних рішень і складного міркування.

Типова дворівнева схема може виглядати так:

1. Велика модель міркування розуміє мету та створює план.
2. Lightning виконує рутинні кроки, працюючи з інструментами, документами або структурованими даними.
3. Велика модель знову залучається, якщо виникають винятки, невизначеність або рішення, що потребує глибшого міркування.

NVIDIA позиціонує Nemotron 3 Ultra — MoE-модель із 550 млрд загальних і 55 млрд активних параметрів — для передового міркування та оркестрації. Це чітко показує різницю між ролями двох моделей.

Яку роль відіграє NeMo Switchyard

Ефективність такої архітектури частково залежить від маршрутизації. Агенту потрібен механізм, який визначатиме, яку модель залучити для конкретного кроку, замість того щоб відправляти всі запити на один і той самий endpoint.

NeMo Switchyard від NVIDIA — це SDK для маршрутизації, незалежний від конкретного постачальника. Він дає змогу описувати запити, визначати доступні моделі та керувати викликом обраного провайдера або ідентифікатора моделі. На практиці це дозволяє побудувати ієрархію, у якій Lightning обробляє звичайні запити, а складніші передаються потужнішій системі.

Це важливий архітектурний нюанс: Lightning найкраще розкривається не як ізольований чат-бот, а як компонент маршрутизованої багатомодельної системи для агентів.

Ефективність і варіанти розгортання

Для Lightning заявлена місткість контексту до 1 млн токенів. Це може бути корисно агентам, які підтримують тривалі діалоги, обробляють великі документи або постійно працюють із великим обсягом стану завдання. Фактична доступна довжина контексту та швидкодія залежать від серверного стека й конфігурації.

Контрольна точка NVFP4 призначена для інференсу й використовує спеціалізовані ядра NVIDIA на сумісних поколіннях GPU. NVIDIA вказує на можливість запуску моделі в локальній інфраструктурі, на робочих станціях, у дата-центрах і хмарних середовищах; модель також доступна через Hugging Face та хостингові сервіси.

AWS повідомляє, що Nemotron 3.5 Lightning доступна через SageMaker JumpStart — каталог моделей Amazon SageMaker. Розгорнути її можна з консолі SageMaker або за допомогою Python SDK. Окремий шлях пропонує документація NVIDIA NIM: це контейнеризоване розгортання з конкретними вимогами до операційної системи, CUDA, драйверів і Docker.

Втім, заяви про роботу на одному GPU варто оцінювати обережно. Квантизована контрольна точка справді може спростити сервінг, але можливість запуску на конкретній відеокарті залежить від обсягу пам’яті, довжини контексту, способу квантизації, розміру пакета та програмного забезпечення. Тому твердження про точне скорочення обсягу зберігання або широку підтримку всіх GeForce RTX слід перевіряти за актуальною карткою моделі та інструкцією з розгортання, а не переносити на кожен ноутбук чи настільний ПК.

До заяв про швидкість потрібен контекст

NVIDIA та AWS заявляють до чотирикратного зростання пропускної здатності й до 30% швидшого виконання завдань у цільових агентних сценаріях. Це не універсальні показники інтелекту моделі й не гарантія такої самої продуктивності в кожному продакшен-середовищі.

Результати можуть змінюватися залежно від:

• базової моделі, з якою проводиться порівняння;
• покоління GPU та конфігурації пам’яті;
• розміру пакета й рівня паралельності;
• довжини запиту та контексту;
• затримки викликів інструментів і мережі;
• параметрів декодування;
• допустимого рівня помилок у конкретному завданні.

Тому Lightning варто тестувати на показниках, важливих саме для конкретного агента: точності вилучення даних, надійності викликів інструментів, відповідності структурованому формату та повному часу виконання завдання. Одних лише цифр токенів за секунду недостатньо.

Ціна залежить від провайдера

Хостингова модель оплати може зробити Lightning привабливою для великого обсягу інференсу. DeepInfra вказує ціну $0,05 за 1 млн вхідних токенів і $0,20 за 1 млн вихідних токенів. Сервіс працює за використанням, без необхідності самостійно керувати GPU-інфраструктурою.

Однак ці ставки не є постійною властивістю самої моделі. Різні провайдери можуть встановлювати інші ціни, а на кінцеву вартість впливають постачальник, точність обчислень, кешування та обраний маршрут. Порівнюючи Lightning із більшими моделями, командам варто рахувати загальну ціну процесу: повторні спроби, виклики інструментів, маршрутизацію та запити, які все одно доведеться передавати потужнішій системі.

Чим Lightning є — і чим не є

Nemotron 3.5 Lightning найточніше описати як швидку модель-«працівника» для агентних систем. Вона має сенс у застосунках, де генерується багато однотипних запитів, а завдання можна спеціалізувати, обмежити правилами або адаптувати додатковим навчанням.

Це не універсальна заміна великій моделі оркестрації. Складне планування, непевні судження та завдання з високою ціною помилки можуть і надалі потребувати Nemotron 3 Ultra або іншої передової системи.

Практичний висновок простий: Lightning найкраще працює як малозатратний і швидкий рівень виконання в маршрутизованому стеку агентів. Її 30 млрд загальних параметрів, приблизно 3 млрд активних параметрів, відкриті матеріали моделі, варіант NVFP4 та різні шляхи розгортання мають зробити рутинну роботу агентів дешевшою й швидшою. Але заявлені переваги слід перевірити на власному процесі, перш ніж вважати їх гарантованим продакшен-результатом.