AnswersPublished25 sources
WITA-Omni’nin Daily-Omni’deki 85,21 puanının arkasında ne var?
AgiBot, WITA Omni Preview’in Daily Omni’de ortalama %85,21 doğrulukla ilk sıraya çıktığını ve sekiz ölçütün altısında birinci ya da ortak birinci olduğunu bildiriyor. Daily Omni, ses ile görüntüdeki olayların eşleşmesini, sıralamasını ve birlikte yorumlanmasını ölçen zamansal çok modlu bir soru cevap değerlendirmesi.
YayımlayanGPT-5.6 Terra ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- AgiBot, WITA Omni Preview’in Daily Omni’de ortalama %85,21 doğrulukla ilk sıraya çıktığını ve sekiz ölçütün altısında birinci ya da ortak birinci olduğunu bildiriyor.
- Daily Omni, ses ile görüntüdeki olayların eşleşmesini, sıralamasını ve birlikte yorumlanmasını ölçen zamansal çok modlu bir soru cevap değerlendirmesi.
- Thinker–Talker–Actor yaklaşımı; çok modlu çıkarımı, akış halinde konuşmayı ve jest/mimik/fiziksel hareketi ortak bir zaman çizelgesinde koordine etmeyi hedefliyor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AgiBot’s WITA-Omni Preview full-modal model achieve a leading 85.21 score and six first-place results out of eight indicators on the. Article summary: AgiBot’s result is best understood as a strong benchmark outcome enabled by native audio-video temporal reasoning, not as independently proven evidence of superior real-world robot intelligence. Daily-Omni is designed to. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgiBot’un WITA-Omni Preview modeli, şirketin aktardığı Daily-Omni sonuçlarında ortalama %85,21 doğruluğa ulaştı. Model; Qwen, Gemini, Doubao ve NVIDIA sistemleriyle karşılaştırılan tabloda sekiz ölçütün altısında birinci ya da ortak birinci oldu. 1
18
23
Bu sonucu açıklamanın en makul yolu yalnızca modelin büyüklüğüne bakmak değil. WITA-Omni’nin açıklanan tasarım odağı, Daily-Omni’nin ölçtüğü becerilerle doğrudan örtüşüyor: görüntüde ne olduğunu, sesin ne söylediğini ya da neyi işaret ettiğini ve bunların hangi anda gerçekleştiğini birlikte anlamak.
Bu, çok modlu yapay zekâ için kayda değer bir ilerleme işareti. Buna karşılık, böyle bir puan tek başına bu modeli kullanan bir robotun açık uçlu sosyal veya fiziksel ortamlarda genel olarak güvenilir biçimde çalıştığını göstermez.
Daily-Omni tam olarak neyi ölçüyor?
Daily-Omni, zaman bakımından hizalanmış çok modlu akıl yürütmeyi değerlendirmek için hazırlanmış, ses-görüntü soru-cevap odaklı bir kıyaslama seti. Veri kümesinde gündelik hayattan 684 video ve altı görev türüne yayılmış 1.197 çoktan seçmeli soru bulunuyor. 17
27
Buradaki zorluk, görüntüdeki bir nesneyi tanımak veya konuşmayı metne dökmekten ibaret değil. Modelin şunları yapması gerekiyor:
- Bir sesin hangi görünür olayla aynı anda gerçekleştiğini belirlemek,
- Olayların önce mi sonra mı olduğunu ayırt etmek,
- Soruyu yanıtlamak için ses ve görüntüden gelen kanıtı birlikte kullanmak.
Kıyaslamanın herkese açık sonuç tablosunda ses-görüntü hizalama, karşılaştırma, bağlamı anlama, olay dizilimi, çıkarım, akıl yürütme ile 30 ve 60 saniyelik video alt kümeleri yer alıyor. 20
23 Örneğin bir model, benzer görünen iki eylemi çıkardıkları ses sayesinde ayırmak ya da sesin görünür eylemden önce, eylem sırasında veya sonra geldiğini anlamak zorunda kalabilir.
WITA-Omni’nin yaklaşımı neden bu teste uygun görünüyor?
AgiBot, WITA-Omni Preview’i metin, görüntü, ses ve videoyu birlikte anlayabilen, bedenlenmiş etkileşim için tasarlanmış yerel çok modlu bir model olarak tanımlıyor. 5
9 Bu vurgu, Daily-Omni’nin yapısıyla uyumlu: Test, ses ve videoyu birbirinden kopuk girdiler gibi işlemek yerine, modlar arasındaki ilişkiyi zaman içinde koruyabilen modelleri ödüllendiriyor.
17
20
Bildirilen sonuçlarda WITA-Omni özellikle ses-görüntü hizalama, karşılaştırma, olay dizilimi ve 30 ile 60 saniyelik video kategorilerinde güçlü göründü. 1
18 Başka bir deyişle, “ne oldu, ne duyuldu ve ne zaman oldu?” sorularını ortak bir temsilde tutabilmek, tam da bu kategorilerde avantaj sağlamalıdır.
AgiBot ve model hakkındaki haberler, açık ve şirkete ait verilerden oluşan on milyonlarca saatlik çok modlu eğitim verisine işaret ediyor. Ayrıca konuşma, görüntü, hareket ve ifadenin doğal zaman ilişkilerini korumayı amaçlayan veri kullanıldığı belirtiliyor. 5
6
9
Ancak kamuya açık bilgiler; model boyutunu, eğitimin tam veri karışımını, hangi tasarım tercihlerinin ne kadar etkili olduğunu gösteren kaldırma çalışmalarını, çıkarım ayarlarını veya bağımsız biçimde yeniden üretilebilir değerlendirme ayrıntılarını sunmuyor. Bu nedenle 85,21 puanını tek bir teknik tercihe bağlamak mümkün değil; mimariyle ilgili açıklama makul bir yorum, ama kanıtlanmış tek neden değildir.
Thinker–Talker–Actor mimarisi ne yapıyor?
AgiBot, WITA-Omni’yi Thinker–Talker–Actor mimarisiyle açıklıyor. Bu yaklaşım, muhakeme ve konuşma üretimi fikrini fiziksel ve dışavurumsal çıktılara genişletiyor. 5
12
- Thinker (Düşünen): Metin, görüntü, ses ve video arasında çok modlu çıkarım yaparak sahneye ve etkileşime ilişkin bir yorum oluşturuyor.
15
- Talker (Konuşan): Sistem, yanıtın tamamlanmasını beklemek yerine dili akış halinde sese dönüştürmeyi hedefliyor.
8
9
- Actor (Eyleyen): Jestler, yüz ifadeleri ve fiziksel hareketler gibi bedensel çıktıları yönetiyor.
5
Bildirilen hedef, konuşma, hareket ve ifadenin birbirinden bağımsız aşamalarda üretilmesi yerine tek bir zaman çizelgesinde eşgüdümlenmesi. 12
Ortak zaman çizelgesi gecikme algısını neden azaltabilir?
Geleneksel bir robotik sistem çoğu zaman büyük ölçüde sıralı çalışır: Algılama katmanı sahneyi yorumlar; dil sistemi yanıtı üretir; planlama katmanı eylemi seçer; ardından animasyon veya kontrol katmanı hareketi uygular. Her aktarım bekleme süresi ekleyebilir. Sonuç olarak robotun sözleri, jestleri ve hareketi birbirinden kopuk algılanabilir.
Thinker–Talker–Actor gibi paralel bir düzenin amacı, bu “bir aşama bitsin, diğeri başlasın” akışının bir bölümünü azaltmaktır. Model, kişinin sözlerini, hareketlerini ve çevreyi yorumlamayı sürdürürken kısa bir sözlü onay vermeye başlayabilir; aynı anda bununla uyumlu bir jest veya yüz ifadesi planlayabilir.
Teoride bu, daha doğal söz alma ritmi ve robotun söyledikleriyle yaptıkları arasında daha iyi uyum sağlayabilir. Fakat burada önemli bir sınır var: Mevcut kaynaklar senkronize çıktılar tasarımını anlatıyor, uçtan uca gecikmede ne kadar ölçülebilir azalma sağlandığını açıklamıyor. 12
GE-Sim 2.0 ve robot donanımıyla ilişkisi
WITA-Omni, AgiBot’un bedenlenmiş yapay zekâ yaklaşımındaki katmanlardan biri olarak sunuluyor. GE-Sim 2.0 (Genie Envisioner-Sim 2.0), robotik manipülasyon için kapalı döngülü bir video dünya simülatörü. Çoklu kamera geçmiş kareleri ve bir eylem yörüngesi verildiğinde, belirtilen robot davranışıyla tutarlı geleceğe ait çoklu kamera görünümleri üretiyor. Proje, modelin uzaktan kumandalı robot kullanımı, yoğun temas içeren etkileşimler ve robot üzerindeki politika uygulamalarını kapsayan büyük ölçekli gerçek dünya robot verileriyle yeniden eğitildiğini söylüyor. 11
Kavramsal olarak bu üç unsurun rolleri farklı:
- Dünya simülasyonu: GE-Sim 2.0, olası eylem sonuçlarının modellenmesine; politika değerlendirmesine ve kapalı döngülü çalışmaya yardımcı olabilir.
11
- Çok modlu etkileşim: WITA-Omni, sesli-görüntülü bağlamı yorumlayabilir, bunun üzerinden çıkarım yapabilir, konuşabilir ve dışavurumsal davranışları koordine edebilir.
12
- Fiziksel beden: Robot donanımı, çevreyi algılamak ve dünyada hareket etmek için gerekli sensörleri ve eyleyicileri sağlar.
AgiBot ayrıca GE-Sim 2.0’ın WorldArena kıyaslamasında lider olduğunu belirtiyor. Ancak mevcut materyalde bu, şirketin kendi iddiası olarak kalıyor ve Daily-Omni sonucundan ayrı değerlendirilmesi gerekiyor. 4
36
85,21 puan neyi gösteriyor, neyi göstermiyor?
Daily-Omni sonucu, WITA-Omni’nin belirli bir ses-video zamansal akıl yürütme görevleri sınıfında güçlü performans sergilediğine dair yararlı bir kanıt. İnsan-robot etkileşiminde konuşmayı, çevresel sesleri, görünen eylemleri ve zamanlamayı ilişkilendirmek gerektiği için bu yetenekler bedenlenmiş yapay zekâ açısından önem taşıyor. 17
27
Ama bu puan; güvenli fiziksel kontrolü, nesne tutma ve manipülasyon dayanıklılığını, hatalardan toparlanmayı, uzun vadeli planlamayı, farklı kültürel bağlamlarda sosyal uygunluğu veya alışılmadık koşullardaki güvenilirliği tek başına ölçmüyor.
En net sonuç şu: WITA-Omni’nin bildirilen liderliği, eşzamanlı çok modlu anlama ve ifade etme etrafında tasarlanmış bir modelden beklenebilecek bir performansla tutarlı. Bu avantajın yapılandırılmamış sosyal alanlarda güvenilir robotlara dönüşüp dönüşmeyeceği ise Daily-Omni’nin ötesinde kanıt gerektiriyor.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "WITA-Omni’nin Daily-Omni’deki 85,21 puanının arkasında ne var?"?
AgiBot, WITA Omni Preview’in Daily Omni’de ortalama %85,21 doğrulukla ilk sıraya çıktığını ve sekiz ölçütün altısında birinci ya da ortak birinci olduğunu bildiriyor.
What are the key points to validate first?
AgiBot, WITA Omni Preview’in Daily Omni’de ortalama %85,21 doğrulukla ilk sıraya çıktığını ve sekiz ölçütün altısında birinci ya da ortak birinci olduğunu bildiriyor. Daily Omni, ses ile görüntüdeki olayların eşleşmesini, sıralamasını ve birlikte yorumlanmasını ölçen zamansal çok modlu bir soru cevap değerlendirmesi.
What should I do next in practice?
Thinker–Talker–Actor yaklaşımı; çok modlu çıkarımı, akış halinde konuşmayı ve jest/mimik/fiziksel hareketi ortak bir zaman çizelgesinde koordine etmeyi hedefliyor.
Sources
roboticsandautomationnews.comAGIBOT's foundation model tops benchmark test for audio- ...
finance.yahoo.comAGIBOT's WITA-Omni Preview Tops Daily-Omni Audio ...
lliar-liar.github.ioDaily-Omni: Towards Audio-Visual Reasoning with Temporal ...
arxiv.orgDaily-Omni: Towards Audio-Visual Reasoning with Temporal ... - arXiv