ByteDance SeedRealtime: Den første AI, der kan se, høre og tale samtidigt

Hvordan SeedRealtime adskiller sig fra traditionelle stemmeassistenter

Traditionelle stemmeassistenter fungerer som en kaskaderet pipeline: lyd går gennem ASR (tale-til-tekst), teksten sendes eventuelt gennem en visionsmodel, derefter gennem en LLM og til sidst gennem TTS (tekst-til-tale). Hvert skift tilføjer latenstid, og kontekst går tabt ved hver overgang .

SeedRealtime erstatter denne pipeline med fire centrale fordele:

• Samlet end-to-end-arkitektur – indbygget fusion af lyd, video og tekst eliminerer forsinkelser og informationstab
• Audio-visuel fællesforståelse – modellen kan løse homofon-tvetydighed ved at bruge visuel scenekontekst (f.eks. skelne mellem "skrive" og "rigtig" baseret på, hvad den ser) og forstå tidsmæssige referencer i video korrekt
• Proaktiv interaktion – overvåger konstant sit miljø og kan proaktivt advare brugeren, når scenen ændrer sig (f.eks. når et målobjekt dukker op) og kalde eksterne værktøjer
• Naturlig samtalerytme – mærker brugerens samtaletilstand og tempo i realtid, og byder ind, pauser og svarer på de rigtige tidspunkter, med høj robusthed over for baggrundsstøj og uvedkommende snak

Den tekniske udfordring, den løste: samtalerytme

Det sværeste problem, SeedRealtime løste, er "hvornår skal man tale, hvornår skal man lytte" i en kontinuerlig multimodal strøm. Traditionelle tur-baserede (half-duplex) assistenter venter på en periode med stilhed, før de svarer – hvilket betyder, at de enten afbryder eller tier stille .

SeedRealtimes full-duplex-arkitektur gør det muligt for den at:

• Mærke brugerens samtaletilstand og tempo i realtid
• Skelne bevidste pauser fra tøven
• Ignorere uvedkommende snak og baggrundsstøj for at undgå falsk udløsning
• Produccere feedback-signaler og afbrydelser på menneskeligt passende tidspunkter

End-to-end menneskelig evaluering viser, at sammenlignet med kaskaderede modeller blev SeedRealtimes audio-video-dialogrytmeproblemer halveret. Problemer som "at blive afbrudt, før man er færdig, forsinkede svar efter at have talt, eller falsk udløsning af baggrundsstøj" faldt markant, mens sandsynligheden for en komplet, gnidningsløs enkeltdialog steg betydeligt .

Hvordan SeedRealtime bygger videre på Seeduplex

SeedRealtime er den multimodale udvikling af ByteDances tidligere full-duplex-arbejde. Seeduplex blev lanceret den 9. april 2026 som ByteDances første indbyggede full-duplex kun-tale LLM – den kunne lytte og tale samtidigt og bevægede sig ud over det tidligere half-duplex-paradigme .

SeedRealtime tager Seeduplexs kernedannelser – indbygget end-to-end full-duplex-behandling – og udvider den til at omfatte realtids-visuel forståelse, hvilket gør modellen i stand til at reagere på, hvad den ser ud over, hvad den hører .

Hvor SeedRealtime er implementeret

SeedRealtime er fuldt implementeret i Doubao (豆包) appen – ByteDances AI-assistent – og er tilgængelig for alle brugere. Brugere opdaterer Doubao til den nyeste version og går ind i videoopkaldsgrænsefladen via "telefonopkald"-funktionen for at opleve realtids-audio-video AI-interaktion .

ByteDance har demonstreret flere anvendelsestilfælde: at identificere forskellige personer i en gruppesamtale og holde styr på, hvem der taler; hjælpe en udenlandsk turist med at forstå en kinesisk menu og tjenerens forklaringer i realtid; kontinuerligt observere en museumsudstilling og proaktivt advare, når en bestemt genstand dukker op; guide en bruger gennem betjening af en kaffemaskine og rette fejl baseret på visuelle ændringer; overvåge sideomvending, mens man læser et papir, og automatisk give besked, når et målkapitel dukker op .

ByteDances bredere AI-portefølje i 2026

SeedRealtime er en del af ByteDances accelererende AI-lanceringskadence. Seed-teamet har sendt flere modeller på markedet fra midten af 2025 til midten af 2026:

Disse modeller, sammen med Seeduplex (9. april 2026), udgør ByteDances full-stack AI-økosystem, der spænder over sprog, billede, video, lydgenerering og realtids multimodal interaktion .