Proč WITA-Omni od AgiBotu dosáhl 85,21 % v testu Daily-Omni

AgiBot uvádí, že jeho WITA-Omni Preview získal v audio-vizuálním benchmarku Daily-Omni průměrnou přesnost 85,21 %. V šesti z osmi vykazovaných metrik měl být první nebo dělit první místo před hodnocenými systémy Qwen, Gemini, Doubao a NVIDIA. 11823

Nejpravděpodobnější vysvětlení není jen „větší model“. Podle popsaného zaměření je WITA-Omni navržen tak, aby společně vyhodnocoval zvuk, obraz a jejich časovou souvislost — tedy přesně oblast, na kterou je Daily-Omni zaměřen.

To je podstatný posun pro multimodální AI. Samotný výsledek však nedokazuje, že robot s tímto modelem bude obecně spolehlivý v otevřeném sociálním nebo fyzickém prostředí.

Co Daily-Omni skutečně měří

Daily-Omni je benchmark pro otázky a odpovědi nad zvukem a videem, zaměřený na časově sladěné multimodální uvažování. Obsahuje 684 videí z každodenního života a 1 197 otázek s výběrem odpovědi v šesti typech úloh. 1727

Nestačí tedy určit, co je na snímku, ani přepsat mluvenou větu. Model musí poznat, které obrazové a zvukové události nastaly současně, určit jejich pořadí a vyvodit odpověď z obou typů vstupů. Ve veřejné výsledkové tabulce jsou mimo jiné metriky pro sladění zvuku s obrazem, porovnávání, porozumění kontextu, pořadí událostí, inferenci, uvažování a videa o délce 30 a 60 sekund. 2023

Právě zde se může rozhodovat o správné odpovědi: dvě události mohou vizuálně vypadat podobně, ale odlišovat se zvukem; případně je nutné rozlišit, zda se zvuk ozval před viditelným úkonem, během něj, nebo až po něm.

Proč přístup WITA-Omni do tohoto testu zapadá

AgiBot popisuje WITA-Omni Preview jako plně multimodální model určený pro vtělenou interakci, který pracuje společně s textem, obrazem, zvukem a videem. 59 To přímo odpovídá zadání Daily-Omni: benchmark odměňuje systémy, které zachovají vztahy mezi modalitami i v čase, namísto toho, aby zvuk a video zpracovávaly jako nesouvisející vstupy. 1720

Uváděné silné stránky modelu — sladění zvuku a obrazu, porovnávání, časová posloupnost událostí a 30sekundová i 60sekundová videa — jsou právě kategorie, kde by měla pomoci společná reprezentace toho, co se stalo, co bylo slyšet a kdy se to stalo. 118

AgiBot a zprávy o modelu dále hovoří o desítkách milionů hodin otevřených i vlastních multimodálních dat. Součástí měly být i datové sady zachovávající přirozené časování řeči, obrazu, pohybu a výrazu. 569

Veřejně však nejsou k dispozici údaje o velikosti modelu, úplném složení trénovacích dat, ablačních studiích, nastavení inference ani plně reprodukovatelné vyhodnocení. Nelze proto spolehlivě připsat skóre 85,21 % jediné technické volbě. Vysvětlení je věrohodné, nikoli prokázané.

Thinker–Talker–Actor: paralelní model pro robotickou interakci

AgiBot popisuje WITA-Omni pomocí architektury Thinker–Talker–Actor, která k obvyklému schématu uvažování a řeči přidává fyzický a expresivní výstup. 512

• Thinker zajišťuje multimodální úsudek nad textem, obrazem, zvukem a videem a udržuje výklad situace i interakce. 15
• Talker tvoří jazykový výstup jako průběžnou řeč, takže systém nemusí čekat na dokončení celé odpovědi. 89
• Actor obstarává pohybové a expresivní výstupy, včetně gest a výrazů obličeje. 58

Cílem má být synchronizace: řeč, pohyb a výraz vznikají na jedné časové ose, nikoli jako izolované kroky. 12

Jak společná časová osa může zkrátit vnímanou prodlevu

Klasický robotický systém může fungovat převážně sériově: vnímání nejdříve vytvoří interpretaci, jazykový systém připraví odpověď, plánovač vybere akci a teprve řídicí či animační vrstva ji provede. Každé předání mezi vrstvami může přidat čekání. Výsledkem pak mohou být slova, gesta a pohyb, které na sebe působí opožděně nebo nekoordinovaně.

Paralelní uspořádání Thinker–Talker–Actor má část tohoto „zastav a čekej“ omezit. Zatímco systém dál vyhodnocuje lidskou řeč, pohyby a okolí, může už začít slovně reagovat a zároveň připravit odpovídající fyzický projev. V principu to podporuje přirozenější střídání v rozhovoru i lepší soulad mezi tím, co robot říká, a tím, jak se pohybuje.

Jde ale o architektonickou přednost, nikoli o nezávisle změřený výsledek: dostupné zdroje popisují synchronizované výstupy, ale neuvádějí konkrétní snížení celkové latence. 12

Kde jsou GE-Sim 2.0 a robotický hardware

WITA-Omni je jen jedna vrstva širšího konceptu vtělené AI od AgiBotu. GE-Sim 2.0 (Genie Envisioner-Sim 2.0) je uzavřený video simulátor světa pro robotickou manipulaci. Z historie záběrů z více kamer a trajektorie akce vytváří budoucí vícekamerové simulace odpovídající zadanému chování robota. Projekt uvádí, že model byl znovu natrénován na rozsáhlých datech ze skutečných robotů zahrnujících teleoperaci, manipulaci s intenzivním kontaktem a nasazení politik přímo na robotu. 11

Zjednodušeně lze jednotlivé části rozdělit takto:

1. Simulace světa: GE-Sim 2.0 může modelovat možné důsledky akcí pro hodnocení a práci s uzavřenou regulační smyčkou. 11
2. Multimodální interakce: WITA-Omni může vykládat zvukový a obrazový kontext, uvažovat nad ním, mluvit a koordinovat expresivní chování. 512
3. Fyzické ztělesnění: hardware robota poskytuje senzory a aktuátory nutné k vnímání a jednání ve skutečném světě.

AgiBot také uvádí, že GE-Sim 2.0 vede benchmark WorldArena. Toto pořadí je však v dostupných materiálech firemním tvrzením a je potřeba jej posuzovat odděleně od výsledku Daily-Omni. 436

Co skóre 85,21 % dokládá — a co ne

Výsledek v Daily-Omni je užitečným signálem, že WITA-Omni dobře zvládá vymezenou skupinu úloh vyžadujících časové propojení zvuku a videa. Pro interakci člověka s robotem jsou takové schopnosti relevantní: systém musí dávat do vztahu řeč, zvuky okolí, viditelné jednání a správné načasování. 1727

Benchmarkové skóre ale samo o sobě nepotvrzuje spolehlivé nasazení v reálném světě. Neměří přímo bezpečné řízení, robustnost manipulace, zotavení z chyb, dlouhodobé plánování, sociální přiměřenost napříč kulturami ani chování v neznámých podmínkách.

Nejpřesnější závěr je proto užší: uváděné vedení WITA-Omni je v souladu s modelem, jehož konstrukce zdůrazňuje synchronizované multimodální porozumění a vyjadřování. Cesta od této výhody v benchmarku k důvěryhodným robotům v neuspořádaném sociálním prostředí ještě vyžaduje další důkazy.