D-Robotics і GigaAI хочуть поєднати «мозок» робота з чипом Sunrise S600

Роботові недостатньо «розуміти» команду: він має побачити довкілля, спланувати дію, виконати її та вчасно помітити помилку. Саме цей ланцюжок D-Robotics і GigaAI хочуть поєднати в рішенні, яке працюватиме на самому роботі, а не покладатиметься щоразу на віддалені обчислення. Перший крок партнерства — глибока адаптація моделі GigaBrain-0.7 з відкритими вагами до обчислювальної платформи Sunrise S600. Йдеться про мету створити придатне до впровадження й доступне за вартістю програмно-апаратне рішення, а не про оголошення готового перевіреного продукту. 89

Як модель має перейти від задуму до руху

GigaBrain-0.7 розділяє роботу між трьома системами. System 1 формує послідовності безперервних дій на основі, зокрема, зображень, мовної команди та даних про стан робота. System 2 відповідає за розуміння ситуації й планування. System 3 прогнозує подальший розвиток подій та оцінює поступ у виконанні завдання. Такий поділ покликаний пов’язати рішення про що робити з перевіркою що може статися далі і з безпосереднім керуванням. 17

У ширшому робочому процесі GigaWorld має створювати сценарії для навчання, передбачати наслідки дій, оцінювати стратегії та повертатися до випадків невдачі. GigaWorld-Policy наближає прогнозування до навчання дій: задум полягає в тому, щоб отримувати команди для робота без обов’язкового створення відеопрогнозу на кожному кроці виконання. Важливо не плутати цей навчальний процес із доведеною схемою роботи всіх його компонентів на S600 — результати такої інтеграції ще не наведені. 29

Ще один елемент — спільний Action Expert, компонент моделі для формування дій з урахуванням будови робота. Він має допомагати переносити набуті навички між машинами з різною кількістю ступенів свободи й різними способами керування, замість того щоб навчати цілком окрему систему для кожної конструкції. Це архітектурна перевага, яку ще потрібно підтвердити під час адаптації до конкретних роботів. 17

Що дає S600 — і чого не обіцяють 560 TOPS

Для Sunrise S600 D-Robotics заявляє пікову продуктивність 560 TOPS за точності INT8 — тобто 560 трильйонів операцій за секунду в зазначеному форматі обчислень. Платформа також має чотириядерний прискорювач BPU, 18 ядер Cortex-A78AE, шість ядер мікроконтролера реального часу та пропускну здатність пам’яті 204,8 ГБ/с. Набори для розробників передбачають підключення камер і додаткового обладнання. Це дає основу для прототипів, де потрібно поєднати сприйняття, планування та керування рухом. 1

Але TOPS — характеристика обчислень, не показник швидкості реакції готового робота. Партнерам належить перетворити й оптимізувати модель для платформи, зокрема перевірити, як зменшення точності обчислень впливає не лише на швидкість, а й на точність дій. Вирішальними будуть вимірювання всього циклу на фізичному роботі, а не сам факт запуску моделі на чипі. 89

Потенційні сценарії охоплюють роботів для дому, промисловості, комерційного обслуговування та розробки. D-Robotics повідомляє, що S600 уже використовують понад 20 клієнтів у сфері робототехніки зі ШІ, серед яких UBTECH, X Square Robot і FOURIER. Це свідчить про інтерес до платформи, але не означає, що ці компанії застосовують спільне рішення з GigaBrain-0.7. 69

Коли задум можна буде назвати еталонним рішенням

Модель з відкритими вагами, архітектура для роботів різної конструкції та наявна апаратна платформа роблять проєкт перспективним кандидатом на повторювану основу для розробників. Однак наразі бракує оприлюднених результатів, які б показали затримку від отримання даних до дії, стабільну частоту керування, енергоспоживання й нагрівання, помилки після адаптації моделі, успішність завдань і відновлення після збоїв на різних роботах. Потрібно також зрозуміти, скільки зусиль і коштів потребує пристосування системи до кожної нової машини. Без таких випробувань називати GigaBrain-0.7 на S600 перевіреним рішенням для роботи ШІ безпосередньо на роботі зарано. 189