ByteDance SeedRealtime: První AI, která zároveň vidí, slyší a mluví

Čím se SeedRealtime liší od tradičních hlasových asistentů

Běžní hlasoví asistenti fungují jako kaskádové potrubí: audio projde ASR (převod řeči na text), text pak případně vizuálním modelem, poté velkým jazykovým modelem (LLM) a nakonec TTS (převod textu na řeč). Každé předání mezi moduly přidává zpoždění a na každém rozhraní se ztrácí kontext .

SeedRealtime toto potrubí nahrazuje čtyřmi klíčovými výhodami:

• Jednotná end-to-end architektura – nativní propojení audia, videa a textu odstraňuje vícestupňové zpoždění i ztrátu informací
• Společné audio-vizuální porozumění – model umí rozlišit homofonní slova na základě vizuálního kontextu (např. rozpozná, zda jde o „psát" nebo „právo" podle toho, co vidí) a přesně chápe časové reference ve videu
• Proaktivní interakce – model nepřetržitě vnímá své okolí a dokáže uživatele aktivně upozornit, když se scéna změní (např. objeví se hledaný předmět), a také volat externí nástroje
• Přirozené načasování konverzace – model v reálném čase vnímá stav konverzace a její tempo, přirozeně se zapojuje, dělá pauzy a reaguje ve správný okamžik, přičemž je vysoce odolný vůči hluku na pozadí i řeči kolemjdoucích

Technická výzva, kterou vyřešil: konverzační rytmus

Nejobtížnějším problémem, který SeedRealtime překonal, je „kdy mluvit a kdy poslouchat" v nepřetržitém multimodálním toku dat. Tradiční asistenti s polovičním duplexem (half-duplex) čekají na období ticha, než odpoví – což znamená, že buď skáčou do řeči, nebo mlčí .

Full-duplexní architektura SeedRealtime umožňuje:

• V reálném čase vnímat stav konverzace a její tempo
• Rozlišovat záměrné pauzy od zaváhání
• Ignorovat řeč kolemjdoucích a hluk na pozadí, aby nedocházelo k falešným spuštěním
• Produkovat zpětnovazební signály a přerušení v lidsky přirozených okamžicích

Výsledky end-to-end hodnocení ukazují, že ve srovnání s kaskádovými modely se problémy s rytmem audio-video dialogu u SeedRealtime snížily na polovinu. Výrazně ubylo situací, kdy „řečník nebyl dříve dokončen, odpověď přišla se zpožděním nebo došlo k falešnému spuštění kvůli hluku", a naopak se výrazně zvýšila pravděpodobnost úplného a plynulého jednoho dialogu .

Jak SeedRealtime navazuje na Seeduplex

SeedRealtime je multimodální evoluce dřívějšího full-duplexního modelu ByteDance. Seeduplex byl spuštěn 9. dubna 2026 jako první nativní full-duplexní pouze hlasový LLM od ByteDance – uměl zároveň poslouchat i mluvit, čímž překonal předchozí half-duplexní paradigma .

SeedRealtime přebírá klíčový průlom Seeduplexu – nativní end-to-end full-duplexní zpracování – a rozšiřuje ho o porozumění videu v reálném čase, což modelu umožňuje reagovat nejen na to, co slyší, ale i na to, co vidí .

Kde je SeedRealtime nasazen

SeedRealtime je plně nasazen v aplikaci Doubao (豆包) – AI asistentovi od ByteDance – a je k dispozici všem uživatelům. Stačí aktualizovat Doubao na nejnovější verzi a prostřednictvím funkce „telefonát" vstoupit do rozhraní videohovoru, kde lze zažít interakci s AI v reálném čase .

ByteDance předvedl několik případů použití: identifikaci různých osob ve skupinové konverzaci a sledování, kdo právě mluví; pomoc zahraničnímu turistovi s porozuměním čínskému menu a výkladu číšníka v reálném čase; nepřetržité pozorování exponátu v muzeu a proaktivní upozornění, když se objeví konkrétní artefakt; navigaci uživatele při obsluze kávovaru a opravu chyb na základě vizuálních změn; sledování otáčení stránek při čtení odborného článku a automatické upozornění, když se objeví cílová kapitola .

Širší AI portfolio ByteDance v roce 2026

SeedRealtime je jednou ze součástí zrychlujícího se tempa vydávání AI modelů ByteDance. Tým Seed mezitím uvedl několik dalších modelů:

Tyto modely společně s Seeduplexem (9. dubna 2026) tvoří full-stack AI ekosystém ByteDance pokrývající jazyk, obraz, video, generování zvuku a interakci v reálném čase .