답변게시됨2개월 전Last edited 2개월 전25 소스

AgiBot WITA-Omni가 Daily-Omni에서 85.21점을 받은 이유

AgiBot는 WITA Omni Preview가 Daily Omni에서 평균 정확도 85.21%를 기록하고, 8개 세부 지표 중 6개에서 단독 또는 공동 1위를 차지했다고 밝혔다. Daily Omni는 소리와 영상 속 사건의 동시성·순서·맥락을 함께 판단하는 시간 정렬형 오디오 비주얼 질의응답 벤치마크다.

게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

AgiBot는 WITA Omni Preview가 Daily Omni에서 평균 정확도 85.21%를 기록하고, 8개 세부 지표 중 6개에서 단독 또는 공동 1위를 차지했다고 밝혔다.
Daily Omni는 소리와 영상 속 사건의 동시성·순서·맥락을 함께 판단하는 시간 정렬형 오디오 비주얼 질의응답 벤치마크다. [17][27]
Thinker–Talker–Actor 구조는 멀티모달 추론, 스트리밍 음성, 동작·표정을 같은 시간축에서 조율하는 것을 목표로 한다. 다만 실제 로봇 환경에서의 지연 감소나 신뢰성은 별도 검증이 필요하다.

Editorial illustration of an embodied AI robot processing audio, video, speech, and motion signals — How did AgiBot’s WITA-Omni Preview full-modal model achieve a leading 85.21 score and six first-place results out of eight indicators on theWITA-Omni’s reported Daily-Omni result highlights the importance of aligning visual, audio, language, and action signals over time.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How did AgiBot’s WITA-Omni Preview full-modal model achieve a leading 85.21 score and six first-place results out of eight indicators on the. Article summary: AgiBot’s result is best understood as a strong benchmark outcome enabled by native audio-video temporal reasoning, not as independently proven evidence of superior real-world robot intelligence. Daily-Omni is designed to. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
openai.com

AgiBot의 WITA-Omni Preview는 Daily-Omni 오디오-비주얼 추론 벤치마크에서 평균 **85.21%**를 기록했고, 평가 대상 Qwen·Gemini·Doubao·NVIDIA 계열 모델과 비교해 보고된 8개 지표 가운데 6개에서 단독 또는 공동 1위를 차지했다. 1 18 23

가장 타당한 해석은 단순히 모델 규모가 커서라기보다, Daily-Omni가 시험하는 능력인 소리·화면·시간의 관계를 함께 파악하는 능력에 WITA-Omni의 공개된 설계와 학습 방향이 잘 맞았다는 것이다.

이는 멀티모달 AI의 의미 있는 진전이다. 다만 이 점수만으로 해당 모델을 탑재한 로봇이 개방적이고 예측하기 어려운 사회·물리 환경에서 폭넓게 신뢰할 수 있다고 결론 내릴 수는 없다.

Daily-Omni는 무엇을 평가하나

Daily-Omni는 시간적으로 정렬된 멀티모달 추론을 평가하는 오디오-비주얼 질의응답 벤치마크다. 일상 장면을 담은 동영상 684개와 객관식 질의응답 1,197개로 구성되며, 6가지 과제를 포함한다. 17 27

핵심은 한 프레임의 물체를 알아보거나 음성을 받아쓰는 데 있지 않다. 모델은 화면의 사건과 소리의 사건이 어느 시점에 함께 일어났는지, 어떤 일이 먼저 벌어졌는지, 두 정보원을 결합했을 때 무엇을 뜻하는지를 판단해야 한다. 공개 성능표에는 음성-영상 정렬, 비교, 맥락 이해, 사건 순서, 추론·논리적 판단, 30초 및 60초 영상 구간 성능이 포함된다. 20 23

예컨대 겉보기에는 비슷한 장면이라도 소리가 다르면 구분해야 하며, 특정 소리가 눈에 보이는 동작 전·중·후 중 언제 났는지도 알아야 정답에 도달할 수 있다.

WITA-Omni의 접근법이 벤치마크와 맞는 이유

AgiBot는 WITA-Omni Preview를 텍스트·이미지·오디오·비디오를 함께 이해하도록 설계된 ‘임바디드 네이티브’ 전(全)모달 모델로 설명한다. 5 9 이는 음성과 영상을 별개 입력으로 취급하지 않고, 매체 간 관계와 시간 흐름을 보존하는 모델에 보상하는 Daily-Omni의 설계와 직접 맞닿아 있다. 17 20

보고된 결과에서 특히 강했던 항목은 음성-영상 정렬, 비교, 사건 순서, 30초·60초 영상 구간이었다. 1 18 다시 말해 무슨 일이 벌어졌고, 무엇이 들렸으며, 그것이 언제 일어났는가를 공유된 표현으로 유지하는 능력이 도움을 줄 법한 분야다.

AgiBot 및 관련 보도에 따르면 학습에는 오픈 데이터와 자체 보유 데이터를 합친 수천만 시간 규모의 멀티모달 데이터가 활용됐으며, 발화·영상·움직임·표정 사이의 자연스러운 시간 관계를 보존하는 데이터도 포함됐다. 5 6 9 다만 모델 크기, 전체 학습 데이터 구성, 구성요소별 기여도를 비교하는 제거 실험, 추론 설정, 독립적으로 재현 가능한 평가 세부 사항은 공개 보도만으로 확인되지 않는다. 따라서 85.21점의 원인을 특정 기술 하나로 단정하기보다, 그럴듯한 설명이지 입증된 인과관계는 아니라는 점을 구분할 필요가 있다.

Thinker–Talker–Actor: 몸을 가진 상호작용을 위한 병렬 구조

AgiBot는 WITA-Omni를 Thinker–Talker–Actor 구조로 설명한다. 텍스트 추론과 말하기의 틀을 물리적 행동과 표정 같은 표현 출력까지 확장한 형태다. 5 12

Thinker: 텍스트, 이미지, 소리, 비디오를 아우르는 멀티모달 추론을 수행하며 장면과 상호작용에 대한 해석을 유지한다. 15
Talker: 완성된 문장을 모두 만든 뒤에야 말하는 방식이 아니라, 스트리밍 방식으로 음성을 생성한다. 8 9
Actor: 제스처와 얼굴 표정을 포함한 물리적 움직임 및 표현 출력을 담당한다. 5 8

이 구조의 목표는 동기화다. 말, 동작, 표정을 서로 분리된 단계의 결과물로 내놓기보다 하나의 시간축에서 조율한다는 것이다. 12

공유 시간축이 ‘체감 지연’을 줄일 수 있는 이유

전통적인 로봇 시스템은 대체로 직렬형 처리 흐름을 가진다. 인지가 장면 해석을 만들고, 언어 시스템이 답변을 생성하고, 계획기가 행동을 선택한 뒤, 애니메이션 또는 제어 계층이 실행한다. 각 단계의 인계는 대기 시간을 늘리고, 로봇의 말과 손짓·움직임이 서로 따로 노는 듯한 인상을 줄 수 있다.

병렬적인 Thinker–Talker–Actor 방식은 이런 ‘완료 후 다음 단계’ 처리 일부를 피하는 것이 의도다. 시스템이 사람의 말, 움직임, 주변 상황을 계속 해석하는 동안에도 짧은 언어적 반응을 시작하고 이에 맞는 제스처나 표정을 준비할 수 있다. 원칙적으로는 더 자연스러운 턴테이킹과 말·움직임의 일관성으로 이어질 수 있다.

다만 이는 구조상의 기대효과다. 이용 가능한 자료는 동기화된 출력을 설명하지만, 종단 간 지연 시간이 얼마나 줄었는지를 수치로 제시하지는 않는다. 12

GE-Sim 2.0·로봇 하드웨어와의 역할 분담

WITA-Omni는 더 큰 임바디드 AI 구상에서 한 층을 이룬다. AgiBot의 **GE-Sim 2.0(Genie Envisioner-Sim 2.0)**은 로봇 조작을 위한 폐루프 비디오 월드 시뮬레이터다. 다중 시점의 과거 프레임과 행동 궤적을 입력받아, 지정한 로봇 행동과 일관된 미래 다중 시점 전개를 생성한다. 이 프로젝트는 원격조작, 접촉이 많은 상호작용, 로봇 탑재 정책 배포를 아우르는 대규모 실제 로봇 데이터로 재학습됐다고 설명한다. 11

개념적으로 세 요소의 역할은 다음과 같이 나눌 수 있다.

세계 시뮬레이션: GE-Sim 2.0은 가능한 행동 결과를 모델링해 정책 평가와 폐루프 작업을 지원할 수 있다. 11
멀티모달 상호작용: WITA-Omni는 음성·영상 맥락을 해석하고, 이를 추론하며, 말과 표현 행동을 조율할 수 있다. 5 12
물리적 구현: 로봇 하드웨어는 실제 환경을 감지하고 행동하기 위한 센서와 구동기를 제공한다.

AgiBot는 GE-Sim 2.0이 WorldArena 벤치마크를 선도한다고도 밝혔지만, 현재 이용 가능한 자료에서 이는 회사 측 주장이다. 따라서 Daily-Omni 성과와는 별개로 평가해야 한다. 4 36

85.21점이 보여주는 것과 보여주지 않는 것

Daily-Omni 결과는 WITA-Omni가 정의된 범위의 음성-영상 시간 추론 과제에서 강한 성능을 보였다는 유용한 근거다. 인간-로봇 상호작용에서는 발화, 환경음, 눈에 보이는 행동, 타이밍을 연결해야 하므로 이러한 역량은 임바디드 AI와 관련이 있다. 17 27

그러나 벤치마크 점수는 현실 배치의 신뢰성을 입증하지 않는다. 안전한 제어, 물체 조작의 견고성, 실수 뒤 복구, 장기 계획, 문화권에 따른 사회적 적절성, 낯선 조건에서의 신뢰도는 이 점수만으로 측정되지 않는다.

정리하면, WITA-Omni의 보고된 선두 성과는 동기화된 멀티모달 이해와 표현을 중심으로 설계된 모델이라는 설명과 일관된다. 하지만 이 장점을 비정형 사회 공간에서 신뢰할 수 있는 로봇으로 연결하려면 Daily-Omni 밖의 추가 검증이 필요하다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.