ByteDance lanserar SeedRealtime – en AI som ser, lyssnar och talar i realtid

Så skiljer sig SeedRealtime från traditionella röstassistenter

Traditionella röstassistenter arbetar i en kedja av steg: ljudet förstås av en taligenkänningsmodell (ASR), texten skickas vidare till en bildmodell om det behövs, därefter till en språkmodell (LLM) och slutligen till en talsyntesmodell (TTS). Varje överföring mellan modulerna skapar fördröjning, och sammanhanget går förlorat vid varje gränssnitt .

SeedRealtime ersätter denna kedja med fyra centrala fördelar:

• Enhetlig arkitektur – ljud, video och text bearbetas i en och samma modell, vilket eliminerar fördröjning och informationsförlust
• Gemensam ljud- och bildförståelse – modellen kan lösa homofona tvetydigheter genom att använda visuell kontext (t.ex. skilja på ”skriva” och ”höger” beroende på vad den ser) och förstå tidsreferenser i video
• Proaktiv interaktion – modellen övervakar kontinuerligt sin omgivning och kan självmant varna användaren när något förändras (t.ex. när ett specifikt objekt dyker upp) och anropa externa verktyg
• Naturlig samtalsrytm – modellen känner av användarens samtalsrytm i realtid och kan flika in, pausa och svara vid rätt tillfälle, med hög motståndskraft mot bakgrundsljud och sidokommentarer

Den tekniska utmaningen som löstes: samtalsrytm

Den svåraste utmaningen som SeedRealtime löste är ”när ska man tala, när ska man lyssna” i en kontinuerlig ström av ljud och bild. Traditionella röstassistenter (halv-duplex) väntar på en tystnad innan de svarar – vilket antingen leder till att de avbryter eller blir tysta .

SeedRealtimes full-duplex-arkitektur gör att den kan:

• Känna av användarens samtalsrytm i realtid
• Skilja mellan medvetna pauser och tvekan
• Ignorera sidokommentarer och bakgrundsljud för att undvika falska utlösningar
• Producera återkopplingssignaler och avbrott vid mänskligt naturliga tillfällen

Resultaten från slut-till-slut-utvärderingar visar att SeedRealtime halverade problemen med samtalsrytm jämfört med kedjemodeller. Problem som ”bli avbruten innan man talat färdigt, försenade svar eller falska utlösningar av bakgrundsljud” minskade kraftigt, medan sannolikheten för en fullständig och smidig dialog ökade markant .

Hur SeedRealtime bygger vidare på Seeduplex

SeedRealtime är den multimodala utvecklingen av ByteDances tidigare full-duplex-arbete. Seeduplex lanserades den 9 april 2026 som ByteDances första direktanslutna endast tal full-duplex LLM – den kunde lyssna och tala samtidigt, vilket var ett steg bortom den tidigare halv-duplex-paradigmen .

SeedRealtime tar Seeduplex kärngenombrott – direktansluten full-duplex-bearbetning – och utökar det med realtidsbildförståelse, så att modellen kan reagera på vad den ser utöver vad den hör .

Var SeedRealtime används

SeedRealtime är fullt integrerad i appen Doubao (豆包) – ByteDances AI-assistent – och är tillgänglig för alla användare. Genom att uppdatera Doubao till den senaste versionen och gå in i videokonversationsgränssnittet via ”telefonsamtalsfunktionen” kan användare uppleva realtidsinteraktion med ljud och bild .

ByteDance har demonstrerat flera användningsområden: att identifiera olika personer i en grupp och följa vem som talar; att hjälpa en utländsk turist att förstå en kinesisk meny och servitörens förklaringar i realtid; att kontinuerligt övervaka en museiutställning och självmant varna när ett specifikt föremål dyker upp; att guida en användare genom att använda en kaffemaskin och korrigera fel baserat på visuella förändringar; att övervaka sidvändning vid läsning av en text och automatiskt påminna när ett visst kapitel dyker upp .

ByteDances bredare AI-portfölj 2026

SeedRealtime är en del av ByteDances allt snabbare lanseringstakt. Seed-teamet har lanserat flera modeller från mitten av 2025 till mitten av 2026:

Dessa modeller, tillsammans med Seeduplex (9 april 2026), bildar ByteDances fullstack-AI-ekosystem som omfattar språk, bild, video, ljudgenerering och realtidsmultimodal interaktion .