ByteDance SeedRealtime: перший у світі ШІ, що одночасно дивиться, слухає і говорить

Чим SeedRealtime відрізняється від традиційних голосових асистентів

Традиційні голосові асистенти працюють як каскадний конвеєр: спочатку аудіо проходить через ASR (розпізнавання мовлення), потім текст — через модель зору (якщо потрібно), далі через велику мовну модель, і нарешті через TTS (синтез мовлення). Кожен перехід додає затримки, а контекст втрачається на кожному етапі .

SeedRealtime замінює цей конвеєр чотирма ключовими перевагами:

• Єдина наскрізна архітектура — природне поєднання аудіо, відео та тексту усуває затримки та втрату інформації між модулями
• Спільне аудіовізуальне розуміння — модель може вирішувати неоднозначність омонімів, використовуючи візуальний контекст (наприклад, розрізняти слово "right" як «правий» або «правильно» залежно від побаченого), а також точно розуміти часові посилання у відео
• Проактивна взаємодія — безперервно відстежує оточення і може самостійно попередити користувача про зміну сцени (наприклад, появу потрібного об'єкта) та викликати зовнішні інструменти
• Природний темп розмови — у реальному часі відчуває стан і темп розмови користувача, втручаючись, роблячи паузи та реагуючи в слушні моменти, з високою стійкістю до фонового шуму та розмов сторонніх

Технічна проблема, яку вона вирішила: ритм розмови

Найскладнішою проблемою, яку вирішив SeedRealtime, є «коли говорити, коли слухати» в безперервному мультимодальному потоці. Традиційні покрокові (напівдуплексні) асистенти чекають на період тиші, перш ніж відповісти — що означає, що вони або перебивають, або мовчки чекають .

Архітектура повного дуплексу SeedRealtime дозволяє:

• У реальному часі відчувати стан і темп розмови користувача
• Відрізняти навмисні паузи від нерішучості
• Ігнорувати сторонні розмови та фоновий шум, щоб уникнути хибних спрацьовувань
• Видавати сигнали зворотного зв'язку та перебивати в природні для людини моменти

Результати наскрізної людської оцінки показують, що порівняно з каскадними моделями проблеми з ритмом аудіовідеодіалогу в SeedRealtime зменшилися вдвічі. Такі явища, як «перебивання до завершення фрази, затримки відповіді після мовлення або хибне спрацьовування на фоновий шум», значно зменшилися, а ймовірність повного та плавного однократного діалогу помітно зросла .

Як SeedRealtime будується на основі Seeduplex

SeedRealtime є мультимодальною еволюцією попередньої роботи ByteDance у сфері повного дуплексу. Seeduplex був запущений 9 квітня 2026 року як перша нативна модель повного дуплексу від ByteDance, що працювала лише з мовленням — вона могла одночасно слухати і говорити, долаючи попередню напівдуплексну парадигму .

SeedRealtime бере основний прорив Seeduplex — нативне наскрізне опрацювання повного дуплексу — і розширює його, додаючи розуміння відео в реальному часі, що дозволяє моделі реагувати на те, що вона бачить, на додачу до того, що чує .

Де впроваджено SeedRealtime

SeedRealtime повністю розгорнуто в додатку Doubao (豆包) — ШІ-асистенті ByteDance — і доступний усім користувачам. Користувачі оновлюють Doubao до останньої версії та через функцію «телефонний дзвінок» переходять до інтерфейсу відеодзвінків, щоб отримати досвід взаємодії зі штучним інтелектом у реальному часі через аудіо та відео .

ByteDance продемонструвала численні сценарії використання: розпізнавання різних людей у груповій розмові та відстеження того, хто говорить; допомога іноземному туристу в розумінні китайського меню та пояснень офіціанта в реальному часі; безперервне спостереження за музейним експонатом і проактивне попередження, коли з'являється конкретний артефакт; керування користувачем під час роботи з кавоваркою та виправлення помилок на основі візуальних змін; відстеження перегортання сторінок під час читання наукової роботи та автоматичне сповіщення, коли з'являється потрібний розділ .

Ширше портфоліо ШІ ByteDance у 2026 році

SeedRealtime є частиною прискореного темпу випуску ШІ-моделей ByteDance. Команда Seed випустила кілька моделей у період з середини 2025 до середини 2026 року:

Ці моделі, разом із Seeduplex (9 квітня 2026), формують повноцінну ШІ-екосистему ByteDance, що охоплює мову, зображення, відео, аудіогенерацію та взаємодію в реальному часі .