ОтветыОпубликовано25 источники
Почему WITA-Omni от AgiBot набрала 85,21% в Daily-Omni
AgiBot сообщает, что WITA Omni Preview набрала в Daily Omni 85,21% и заняла первое или разделила первое место в шести из восьми показателей. Daily Omni проверяет, умеет ли ИИ связывать звук и происходящее в кадре, определять порядок событий и рассуждать по аудиовизуальному контексту.
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- AgiBot сообщает, что WITA Omni Preview набрала в Daily Omni 85,21% и заняла первое или разделила первое место в шести из восьми показателей.
- Daily Omni проверяет, умеет ли ИИ связывать звук и происходящее в кадре, определять порядок событий и рассуждать по аудиовизуальному контексту.
- Архитектура Thinker–Talker–Actor должна синхронизировать рассуждение, потоковую речь, движения и мимику на единой временной шкале, однако публичных замеров сокращения задержки нет.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AgiBot’s WITA-Omni Preview full-modal model achieve a leading 85.21 score and six first-place results out of eight indicators on the. Article summary: AgiBot’s result is best understood as a strong benchmark outcome enabled by native audio-video temporal reasoning, not as independently proven evidence of superior real-world robot intelligence. Daily-Omni is designed to. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgiBot сообщила, что её мультимодальная модель WITA-Omni Preview получила среднюю точность 85,21% в бенчмарке аудиовизуального рассуждения Daily-Omni. По опубликованным результатам она опередила протестированные системы Qwen, Gemini, Doubao и NVIDIA, а в шести из восьми показателей заняла первое место либо разделила его. 1
18
23
Наиболее правдоподобное объяснение — не просто «большая модель», а соответствие заявленного подхода самой логике теста. Daily-Omni требует связать изображение, звук и их временную последовательность. WITA-Omni, по описанию AgiBot, как раз создавалась для совместного восприятия текста, изображений, аудио и видео.
Это важный результат для мультимодального ИИ, но не доказательство того, что робот с такой моделью уже будет надёжно действовать в открытой социальной или физической среде.
Что именно проверяет Daily-Omni
Daily-Omni — это бенчмарк вопросов и ответов по аудио и видео, предназначенный для проверки мультимодального рассуждения с временной синхронизацией. В набор входят 684 видеоролика из повседневной жизни и 1197 вопросов с выбором ответа по шести типам заданий. 17
27
Здесь недостаточно узнать предмет в кадре или распознать речь. Модель должна определить, какие зрительные и звуковые события происходят одновременно, в какой последовательности они случились и как использовать информацию из обеих модальностей для ответа. В публичной таблице результатов есть метрики аудиовизуального выравнивания, сравнения, понимания контекста, последовательности событий, вывода и рассуждения, а также отдельные результаты для роликов длиной 30 и 60 секунд. 20
23
Иными словами, тест проверяет способность отличить похожие визуальные действия по разным звукам или понять, произошёл ли звук до, во время либо после видимого действия.
Почему подход WITA-Omni хорошо подходит под этот тест
AgiBot называет WITA-Omni Preview «воплощённой» полно-модальной моделью, рассчитанной на совместное понимание текста, изображений, аудио и видео. 5
9 Это напрямую соответствует устройству Daily-Omni: тест поощряет системы, которые сохраняют связь между модальностями и временем, а не обрабатывают звук и видео как два несвязанных входа.
17
20
Особенно высокие результаты WITA-Omni были заявлены в аудиовизуальном выравнивании, сравнении, определении последовательности событий и поднаборах с роликами на 30 и 60 секунд. 1
18 Это как раз те категории, где полезно удерживать единую картину: что произошло, что было слышно и когда именно это случилось.
Компания и публикации о модели также указывают на обучение на десятках миллионов часов открытых и собственных мультимодальных данных, включая данные, сохраняющие естественную синхронизацию речи, изображения, движений и выражений лица. 5
6
9 Однако в открытом доступе нет сведений о размере модели, полном составе обучающих данных, абляционных экспериментах, настройках инференса и независимо воспроизводимой процедуре оценки. Поэтому нельзя уверенно приписать результат 85,21% одному конкретному техническому решению: это правдоподобное объяснение, а не доказанная причинность.
Thinker–Talker–Actor: параллельная схема для взаимодействия робота с человеком
AgiBot описывает WITA-Omni через архитектуру Thinker–Talker–Actor («мыслитель — говорящий — действующий»). Она расширяет привычную связку рассуждения и речи физическими и выразительными выходами. 5
12
- Thinker выполняет мультимодальный вывод по тексту, изображениям, звуку и видео, поддерживая интерпретацию сцены и ситуации общения.
15
- Talker формирует речь потоково: системе не нужно ждать, пока весь ответ будет составлен целиком.
8
9
- Actor отвечает за физические движения и выразительное поведение, включая жесты и мимику.
5
Заявленная цель такой схемы — синхронизировать речь, действие и выражение эмоций на одной временной шкале, а не выдавать их как разрозненные этапы. 12
Почему единая временная шкала может уменьшить ощущение задержки
В традиционном робототехническом конвейере процессы часто идут последовательно: восприятие создаёт описание ситуации, языковая система готовит ответ, планировщик выбирает действие, а слой анимации или управления его исполняет. Каждая передача между этапами добавляет ожидание; в итоге слова, жесты и движения робота могут выглядеть несогласованными.
В параллельной схеме Thinker–Talker–Actor часть этой модели «сначала закончи, потом начинай» предполагается избежать. Пока система продолжает интерпретировать речь, движения человека и окружение, она может уже начать словесное подтверждение и подготовить подходящий жест или выражение лица. В теории это делает смену реплик естественнее и лучше связывает слова робота с его движениями.
Но это именно архитектурное обоснование. Доступные источники описывают синхронизацию выходов, однако не приводят измеренного сокращения сквозной задержки. 12
Роль GE-Sim 2.0 и аппаратной платформы
WITA-Omni — лишь один слой более широкой концепции воплощённого ИИ от AgiBot. GE-Sim 2.0 (Genie Envisioner-Sim 2.0) — это замкнутый видеосимулятор мира для роботизированных манипуляций. Получая историю кадров с нескольких ракурсов и траекторию действия, он генерирует будущие многокамерные сценарии, соответствующие заданному поведению робота. Проект сообщает, что модель дообучали на крупных массивах данных реальных роботов: телеуправлении, контактных взаимодействиях и развёртывании политик непосредственно на роботе. 11
Концептуально роли трёх компонентов различаются:
- Симуляция мира: GE-Sim 2.0 может моделировать последствия действий для оценки и работы с политиками в замкнутом контуре.
11
- Мультимодальное взаимодействие: WITA-Omni интерпретирует аудиовизуальный контекст, рассуждает, говорит и координирует выразительное поведение.
12
- Физическое воплощение: аппаратная часть робота предоставляет датчики и исполнительные механизмы, нужные для восприятия и действий в реальном мире.
AgiBot также заявляла о лидерстве GE-Sim 2.0 в WorldArena, однако это утверждение компании в доступных материалах и его следует рассматривать отдельно от результата Daily-Omni. 4
36
Что устанавливает результат 85,21% — и чего он не устанавливает
Результат Daily-Omni служит полезным свидетельством того, что WITA-Omni хорошо справляется с определённым классом задач: временным рассуждением на основе звука и видео. Для взаимодействия человека с роботом это релевантно, поскольку системе приходится связывать речь, окружающие звуки, видимые действия и момент, когда всё это происходит. 17
27
Однако балл в бенчмарке сам по себе не подтверждает надёжность реального развёртывания. Он не измеряет безопасность управления, устойчивость манипуляций, восстановление после ошибок, долгосрочное планирование, социальную уместность в разных культурных контекстах или работу в незнакомых условиях.
Более точный вывод таков: заявленное лидерство WITA-Omni согласуется с моделью, спроектированной вокруг синхронного мультимодального понимания и выражения. Чтобы превратить это преимущество в надёжных роботов для неструктурированных социальных пространств, потребуются доказательства, выходящие далеко за рамки Daily-Omni.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Почему WITA-Omni от AgiBot набрала 85,21% в Daily-Omni»?
AgiBot сообщает, что WITA Omni Preview набрала в Daily Omni 85,21% и заняла первое или разделила первое место в шести из восьми показателей.
Какие ключевые моменты необходимо проверить в первую очередь?
AgiBot сообщает, что WITA Omni Preview набрала в Daily Omni 85,21% и заняла первое или разделила первое место в шести из восьми показателей. Daily Omni проверяет, умеет ли ИИ связывать звук и происходящее в кадре, определять порядок событий и рассуждать по аудиовизуальному контексту.
Что мне делать дальше на практике?
Архитектура Thinker–Talker–Actor должна синхронизировать рассуждение, потоковую речь, движения и мимику на единой временной шкале, однако публичных замеров сокращения задержки нет.
Источники
roboticsandautomationnews.comAGIBOT's foundation model tops benchmark test for audio- ...
finance.yahoo.comAGIBOT's WITA-Omni Preview Tops Daily-Omni Audio ...
lliar-liar.github.ioDaily-Omni: Towards Audio-Visual Reasoning with Temporal ...
arxiv.orgDaily-Omni: Towards Audio-Visual Reasoning with Temporal ... - arXiv