ByteDance SeedRealtime: AI die kijkt, luistert én spreekt in één naadloos gesprek

ByteDance's Seed-team heeft op 5 augustus 2026 SeedRealtime gelanceerd . Dit is een native audiovisueel full-duplex groot taalmodel dat tegelijkertijd kan kijken, luisteren en spreken. In plaats van aparte modules voor spraakherkenning, beeldherkenning, taalverwerking en tekst-naar-spraak aan elkaar te rijgen, gebruikt SeedRealtime een uniforme end-to-end architectuur die audio, video en tekst native samenvoegt. Hierdoor kan het model parallel waarnemen, begrijpen, beslissen en uitdrukken – wat ByteDance een 'kijk, luister en spreek'-ervaring noemt .

Hoe SeedRealtime verschilt van traditionele spraakassistenten

Traditionele spraakassistenten werken als een cascade van losse stappen: audio gaat door ASR (spraak-naar-tekst), de tekst gaat door een visueel model (indien nodig), vervolgens door een LLM, en ten slotte door TTS (tekst-naar-spraak). Elke overdracht voegt vertraging toe en er gaat context verloren bij elke stap .

SeedRealtime vervangt deze keten door vier belangrijke voordelen:

• Universele end-to-end architectuur – native fusie van audio, video en tekst elimineert vertraging en informatieverlies door meerdere modules
• Audio-visueel gezamenlijk begrip – het model kan homofone ambiguïteit oplossen door visuele context te gebruiken (bijv. 'rechts' van 'recht' onderscheiden op basis van wat het ziet) en temporele verwijzingen in video nauwkeurig begrijpen
• Proactieve interactie – het model neemt continu zijn omgeving waar en kan de gebruiker proactief waarschuwen wanneer de scène verandert (bijv. een doelobject verschijnt) en externe tools aanroepen
• Natuurlijke gesprekstiming – het model voelt de gespreksstatus en het tempo van de gebruiker in realtime aan, valt op het juiste moment in, pauzeert en reageert, met grote robuustheid tegen achtergrondgeluiden en bijpraat van omstanders

De technische uitdaging die het oploste: gespreksritme

Het moeilijkste probleem dat SeedRealtime oploste, is 'wanneer spreken, wanneer luisteren' in een continue multimodale stroom. Traditionele op beurten gebaseerde (half-duplex) assistenten wachten op een periode van stilte voordat ze reageren – wat betekent dat ze ofwel onderbreken ofwel stil blijven .

De full-duplex architectuur van SeedRealtime stelt het in staat om:

• De gespreksstatus en het tempo van de gebruiker in realtime aan te voelen
• Opzettelijke pauzes te onderscheiden van aarzelingen
• Bijpraat van omstanders en achtergrondgeluiden te negeren om valse activering te voorkomen
• Backchannel-signalen en onderbrekingen te produceren op voor de mens geschikte momenten

End-to-end menselijke evaluaties tonen aan dat, vergeleken met cascademodellen, de audio-video dialoogritmeproblemen van SeedRealtime met de helft zijn verminderd. Problemen zoals 'worden onderbroken voordat je klaar bent, vertraagde reacties na het spreken, of vals activeren door achtergrondgeluiden' zijn aanzienlijk afgenomen, terwijl de kans op een volledige, soepele enkele dialoog aanzienlijk is toegenomen .

Hoe SeedRealtime voortbouwt op Seeduplex

SeedRealtime is de multimodale evolutie van het eerdere full-duplex werk van ByteDance. Seeduplex werd gelanceerd op 9 april 2026 als ByteDance's eerste native full-duplex spraak-only LLM – het kon tegelijkertijd luisteren en spreken, en ging daarmee verder dan het vorige half-duplex paradigma .

Seeduplex (9 april 2026)	SeedRealtime (5 augustus 2026)
Audio-only full-duplex	Audio + video + tekst full-duplex
'Luisteren terwijl je spreekt' voor spraak	'Kijken, luisteren en spreken' tegelijkertijd
Enkele modaliteit (spraak)	Unified multimodale architectuur

SeedRealtime neemt de kerndoorbraak van Seeduplex – native end-to-end full-duplex verwerking – en breidt deze uit met real-time visueel begrip, waardoor het model kan reageren op wat het ziet naast wat het hoort .

Waar SeedRealtime wordt ingezet

SeedRealtime is volledig uitgerold in de Doubao (豆包) app – de AI-assistent van ByteDance – en is beschikbaar voor alle gebruikers. Gebruikers updaten Doubao naar de nieuwste versie en gaan via de 'telefoongesprek'-functie naar de video-belinterface om real-time audio-video AI-interactie te ervaren .

ByteDance heeft meerdere gebruiksscenario's gedemonstreerd: het identificeren van verschillende personen in een groepsgesprek en het bijhouden wie er spreekt; het helpen van een buitenlandse toerist om een Chinees menu en de uitleg van de ober in realtime te begrijpen; het continu observeren van een museumexpositie en het proactief waarschuwen wanneer een specifiek artefact verschijnt; het begeleiden van een gebruiker bij het bedienen van een koffiezetapparaat en het corrigeren van fouten op basis van visuele veranderingen; het monitoren van paginaomslagen tijdens het lezen van een paper en het automatisch prompten wanneer een doelhoofdstuk verschijnt .

De bredere AI-portfolio van ByteDance in 2026

SeedRealtime is een onderdeel van het versnellende AI-release tempo van ByteDance. Het Seed-team heeft meerdere modellen uitgebracht van medio 2025 tot medio 2026:

Model	Categorie	Lancering	Kerncapaciteit
Seed 2.1 (Doubao 2.1 Pro)	Groot taalmodel	23 juni 2026 (Volcano Engine FORCE); live via API	Algemeen LLM; geprijsd op ~€0,81/M input tokens, ~€4,07/M output tokens
Seedance 2.5	Videogeneratie	31 juli 2026	30-seconden 4K one-shot videogeneratie; accepteert tot 50 multimodale referenties; timestamp-niveau bewerking
Seedream 5.0 Pro	Beeld generatie	Voorbeeld getoond op 23 juni 2026; 'binnenkort'	Next-generation beeldgeneratie model
Seed Audio 1.0	Muziek/geluid generatie	29 juni 2026	Tekst-naar-audio model voor muziek- en geluidseffecten generatie
SeedRealtime	Full-duplex audio-visueel LLM	5 augustus 2026	Native audio-visueel full-duplex interactie

Deze modellen vormen samen met Seeduplex (9 april 2026) het full-stack AI-ecosysteem van ByteDance, dat taal, beeld, video, audiogeneratie en real-time multimodale interactie omvat .