LightNav-0: одна навигационная модель для разных роботов

Чтобы обучить робота ориентироваться в пространстве, ему нередко показывают нужные действия, управляя им дистанционно. Light Origins предлагает иной способ уменьшить объём такой работы: обучать одну навигационную модель на множестве смоделированных ситуаций, а затем переносить её на разные задачи и типы роботов. LightNav-0 построена на модели Qwen3-VL-4B, работающей с изображениями и текстом. Она предназначена для выполнения навигационных инструкций, поиска объектов по произвольному описанию и визуального отслеживания цели. 128

Общее направление — разные движения

В LightNav-0 эти задачи используют единый интерфейс на основе токенов, без отдельного выходного блока для каждой из них. Двухканальные указательные токены задают пространственное намерение модели — условно, куда следует двигаться. Токенизатор действий с остаточным векторным квантованием представляет более точную траекторию с учётом особенностей конкретного робота. Модель также сжимает историю визуальных наблюдений так, чтобы учитывать происходившее в разные моменты времени. 15

Смысл разделения в том, чтобы переносить между роботами представление о цели движения, не предполагая, что все они передвигаются одинаково. Однако такая архитектура сама по себе не гарантирует, что ранее не встречавшемуся роботу не понадобится адаптация. 15

Чем заменяют часть демонстраций

Свой конвейер подготовки данных Light Origins называет Real2Sim2Real. По данным компании, более 2000 реальных сцен, взятых из интернета, были преобразованы в многократно используемые виртуальные среды. На их основе получено свыше 4000 часов навигационного опыта, объединяющего зрительные данные, язык и действия. Это позволяет создавать разнообразные учебные ситуации в симуляции, а не полагаться только на новые демонстрации с дистанционным управлением для каждого робота и каждой задачи. Сами по себе эти цифры не показывают, насколько снизились затраты на сбор данных в реальном мире. 8

Обучение, согласно описанию компании, проходит в три этапа: промежуточное обучение рассуждению для задач робототехники, дообучение на размеченных примерах и обучение с подкреплением при взаимодействии со средой. Эти этапы должны приспособить исходную модель к навигации и улучшить её действия. 18

Что подтверждено испытаниями

Light Origins заявляет о лучших результатах по доле успешных попыток при использовании одной камеры в 10 общедоступных условиях симуляционного тестирования. Они охватывают следование инструкциям, поиск заданного объекта и визуальное отслеживание. Команда также сообщает о переносе навыков на другие типы роботов и реальные сцены без дополнительного обучения на них. Это результаты, представленные разработчиками, а не доказательство того, что модель одинаково хорошо справится с любым новым роботом или что дистанционное управление больше не потребуется. 7813

В открытый доступ выложены веса модели, код, технический отчёт и материалы для оценки INSIGHT-Bench; выпуск описан как распространяемый по лицензии Apache 2.0. Это даёт возможность изучать и проверять подход. Его практическое обещание пока точнее формулировать так: общая модель и повторно используемые виртуальные среды могут сократить потребность в отдельных демонстрациях, но эффективность нужно проверять на конкретном роботе и в конкретных условиях. 2510