GigaBrain-0.7 на Sunrise S600: зачем D-Robotics и GigaAI объединяют модель и чип

D-Robotics и GigaAI хотят получить не просто демонстрацию запуска модели на чипе, а доступную и воспроизводимую платформу для роботов: обучение и проверка стратегий с помощью модели мира должны быть связаны с восприятием, планированием и действиями непосредственно на устройстве. Первым шагом станет адаптация модели GigaBrain-0.7 с открытыми весами к вычислительной платформе Sunrise S600. О готовом совместном продукте партнёры пока не заявляли. 89

Как должна работать связка

В GigaBrain-0.7 задачи разделены между тремя системами: System 1 формирует последовательности непрерывных действий, System 2 отвечает за понимание задания и планирование, а System 3 прогнозирует развитие ситуации и оценивает продвижение к цели. Общий модуль Action Expert рассчитан на работу с роботами разного устройства: идея в том, чтобы переносить освоенные навыки, а не обучать совершенно отдельную стратегию для каждой машины. Это архитектурная цель, а не гарантия бесшовного переноса. 17

В предполагаемом цикле GigaWorld создаёт сценарии, предсказывает последствия действий, помогает оценивать стратегии и возвращаться к неудачным попыткам. GigaWorld-Policy теснее связывает прогноз с обучением действиям: при выполнении задачи действия можно декодировать без генерации видео на каждом шаге. Вместе эти компоненты должны сократить разрыв между виртуальной проверкой и физическим исполнением, но эффективность всей цепочки на S600 ещё предстоит показать. 29

Что даёт S600 — и чего не говорят 560 TOPS

Для локального запуска у S600 есть заявленная пиковая производительность 560 TOPS при точности INT8, четырёхъядерный ускоритель BPU, 18 ядер Cortex-A78AE, шесть ядер микроконтроллера реального времени и пропускная способность памяти 204,8 ГБ/с. Комплекты разработки рассчитаны на подключение камер и периферии; инструменты D-Robotics дают основу для переноса и оптимизации моделей. Но TOPS — показатель вычислительной мощности, а не измеренная частота управления роботом. После преобразования и квантования модели важно проверить не только скорость вывода, но и то, не меняются ли действия робота в критичных ситуациях. 18

Партнёры ориентируются на роботов разной конструкции и задачи дома, в промышленности и коммерческих сервисах. D-Robotics сообщает, что у S600 уже более 20 заказчиков в сфере робототехники, среди них UBTECH, X Square Robot и FOURIER. Это свидетельство интереса к чипу, но не подтверждение того, что перечисленные компании используют совместную систему с GigaBrain-0.7. 156

Перспектива у проекта есть, однако статус проверенной платформы для внедрения потребует опубликованных испытаний на реальных роботах: задержки от восприятия до действия, устойчивой частоты управления, энергопотребления и нагрева, ошибок после квантования, успешности задач и восстановления после сбоев на разных конструкциях. Также остаётся выяснить стоимость адаптации под каждого робота. Имеющиеся сведения о партнёрстве и S600 этих результатов пока не дают. 189