NVIDIA Nemotron 3.5 Lightning — исполнительная модель для ИИ-агентов

• 30 млрд параметров всего — полный набор обученных параметров модели;
• около 3 млрд активных параметров — приблизительная часть сети, используемая при генерации каждого токена.

Разреженная активация снижает объём вычислений на один шаг. Однако это не означает, что всю модель можно не хранить: полный набор параметров по-прежнему нужно разместить и обслуживать. Выигрыш касается прежде всего вычислительной нагрузки во время инференса.

Почему Lightning предназначена именно для «исполнительного» уровня

Автономный агент редко ограничивается одним обращением к модели. После первоначального планирования ему приходится многократно выбирать инструменты, извлекать структурированные данные, проверять результат и приводить его к нужному формату.

Если использовать для каждой такой операции модель уровня frontier, растут задержка и стоимость. Концепция Lightning предполагает разделение труда: крупная модель сохраняется для неоднозначных решений и сложного рассуждения, а более компактная активная сеть обслуживает предсказуемые и многочисленные вызовы.

Типичная двухуровневая схема может выглядеть так:

1. Крупная модель понимает цель пользователя и составляет план.
2. Lightning выполняет рутинные шаги через инструменты, документы и структурированные источники данных.
3. При исключении, неопределённости или сложном решении система снова обращается к более мощной модели.

Для сравнения, NVIDIA позиционирует Nemotron 3 Ultra — MoE-модель с 550 млрд параметров всего и 55 млрд активных — как систему для передового рассуждения и оркестрации. На этом фоне роль Lightning становится особенно ясной: это не «мозг» всей системы, а её быстрый рабочий слой.

Где в этой архитектуре нужен NeMo Switchyard

Чтобы такая схема работала, агенту нужен маршрутизатор: он должен понимать, какой запрос отправить Lightning, а какой — более мощной модели.

NeMo Switchyard от NVIDIA предоставляет независимый от конкретного провайдера SDK для маршрутизации запросов. Он позволяет описывать доступные модели, задавать цели и управлять вызовами выбранного провайдера или идентификатора модели.

На практике это даёт возможность построить иерархию моделей: Lightning берёт на себя частые стандартные операции, а Nemotron 3 Ultra или другая сильная система подключается только там, где требуется больше вычислительных возможностей.

Отсюда следует важный вывод: максимальная ценность Lightning раскрывается не в роли отдельного чат-бота, а как части маршрутизируемого многомодельного стека.

Контекст, форматы и варианты развёртывания

Для Lightning заявлена поддержка контекста до 1 млн токенов. Это может быть полезно агентам, которые ведут длительные сессии, обрабатывают большие документы или накапливают значительное состояние задачи. Реально доступный размер контекста и производительность будут зависеть от конфигурации и используемого сервера.

NVFP4-чекпойнт предназначен для инференса и использует специализированные ядра NVIDIA на поддерживаемых поколениях GPU. NVIDIA указывает варианты развёртывания в локальной инфраструктуре, на рабочих станциях, в дата-центрах и облаке; модель также доступна через Hugging Face и облачные сервисы.

AWS сообщает, что Nemotron 3.5 Lightning появилась в каталоге SageMaker JumpStart. Развернуть её можно через консоль Amazon SageMaker или Python SDK. Для отдельного контейнеризированного сценария NVIDIA предлагает путь через NIM; в документации указаны требования к операционной системе, CUDA, драйверу GPU и Docker.

При этом заявления о запуске на одной видеокарте стоит оценивать без излишних обобщений. Квантизация действительно может сделать обслуживание модели практичнее, но фактическая возможность запуска зависит от GPU, объёма памяти, длины контекста, выбранного формата, размера батча и серверного ПО. Поддержку конкретных потребительских видеокарт и параметры для ноутбуков или настольных ПК следует проверять по актуальной карточке модели и инструкции развёртывания.

Что означают заявления об ускорении

NVIDIA и AWS заявляют до четырёхкратного роста пропускной способности и до 30% более быстрого выполнения задач для целевых агентских нагрузок. Это не универсальный показатель интеллекта модели и не гарантия такой же производительности в любом production-сценарии.

Результаты могут заметно меняться в зависимости от:

• модели, с которой проводится сравнение;
• поколения GPU и объёма видеопамяти;
• размера батча и уровня параллелизма;
• длины запроса и контекста;
• задержки инструментов и сетевых вызовов;
• настроек декодирования;
• допустимого уровня ошибок.

Поэтому Lightning стоит проверять не только по числу токенов в секунду. Для конкретного агента важнее измерить точность извлечения, надёжность вызовов инструментов, соблюдение структурированного формата и полное время выполнения задачи.

Стоимость зависит от провайдера

Низкая цена облачного инференса может стать одним из главных аргументов в пользу Lightning при больших объёмах запросов. Например, DeepInfra указывает $0,05 за 1 млн входных токенов и $0,20 за 1 млн выходных токенов, без необходимости самостоятельно управлять GPU-инфраструктурой.

Но это цена конкретного сервиса и маршрута, а не постоянное свойство самой модели. У других провайдеров тарифы отличаются; на итоговую стоимость также влияют точность вычислений, кэширование и выбранный путь маршрутизации.

При сравнении с более крупными моделями нужно учитывать полную стоимость рабочего процесса: повторные попытки, вызовы инструментов, работу маршрутизатора и те запросы, которые всё равно придётся отправлять сильной модели.

Для чего Lightning подходит, а для чего — нет

Nemotron 3.5 Lightning — это настраиваемая быстрая «рабочая лошадка» для агентских систем. Она особенно уместна там, где приложение генерирует много похожих запросов, а задачи можно ограничить правилами, специализировать или дополнительно обучить под конкретную предметную область.

Модель не позиционируется как универсальная замена крупной системе оркестрации. Сложное планирование, неопределённые суждения и операции с высокой ценой ошибки по-прежнему могут требовать Nemotron 3 Ultra или другой модели передового уровня.

Практический итог прост: Lightning имеет наибольший смысл как исполнительный уровень в маршрутизируемой архитектуре ИИ-агента. Её 30 млрд параметров, примерно 3 млрд активных параметров, открытые материалы, вариант NVFP4 и несколько путей развёртывания рассчитаны на то, чтобы сделать рутинную агентскую работу дешевле и быстрее. Но заявленные преимущества следует подтвердить собственными тестами на том рабочем процессе, который планируется запускать в production.