ByteDance SeedRealtime: ИИ, который смотрит, слушает и говорит — одновременно

5 августа 2026 года команда Seed, входящая в состав ByteDance, представила SeedRealtime — нативную аудиовизуальную полнодуплексную большую языковую модель (LLM), способную одновременно смотреть, слушать и говорить . В отличие от традиционных систем, где распознавание речи (ASR), зрение (CV), языковая модель (LLM) и синтез речи (TTS) работают как отдельные модули, SeedRealtime использует единую сквозную архитектуру, которая нативно объединяет аудио, видео и текст. Это позволяет модели параллельно воспринимать, понимать, принимать решения и выдавать ответы — то, что ByteDance называет опытом «смотреть, слушать и говорить» .

Чем SeedRealtime отличается от традиционных голосовых ассистентов

Традиционные голосовые помощники работают по каскадной схеме: аудио проходит через ASR (распознавание речи), текст — через модель зрения (если требуется), затем через LLM, и наконец — через TTS (синтез речи). Каждый переход между модулями добавляет задержку и теряет контекст .

SeedRealtime заменяет эту схему четырьмя ключевыми преимуществами:

• Единая сквозная архитектура — нативное объединение аудио, видео и текста устраняет задержки и потери информации между модулями
• Совместное аудиовизуальное понимание — модель может разрешать омонимическую неоднозначность, используя визуальный контекст (например, различать «замок» (дверной) и «замок» (крепость) по тому, что видит) и точно понимать временные ссылки в видео
• Проактивное взаимодействие — модель непрерывно отслеживает окружающую обстановку и может сама предупреждать пользователя об изменении сцены (например, когда появляется нужный объект) и вызывать внешние инструменты
• Естественный диалоговый ритм — модель в реальном времени чувствует состояние разговора и темп собеседника, вступая в диалог, делая паузы и отвечая в нужные моменты; она устойчива к фоновому шуму и разговорам посторонних

Главная техническая задача: диалоговый ритм

Самой сложной проблемой, которую решила SeedRealtime, стало определение «когда говорить, а когда слушать» в непрерывном мультимодальном потоке. Традиционные ассистенты с поочередной (полудуплексной) схемой ждут паузы перед ответом — из-за этого они либо перебивают, либо молчат .

Полнодуплексная архитектура SeedRealtime позволяет модели:

• В реальном времени оценивать состояние разговора и темп собеседника
• Отличать намеренные паузы от колебаний
• Игнорировать фоновый шум и разговоры посторонних, чтобы избежать ложных срабатываний
• Вставлять реплики и короткие подтверждения в подходящие моменты

Результаты сквозного человеческого тестирования показывают, что по сравнению с каскадными моделями количество проблем с ритмом аудио-видео диалога сократилось вдвое. Такие проблемы, как «перебивание до окончания фразы, задержка ответа после паузы или ложное срабатывание на фоновый шум», значительно уменьшились, а вероятность полного и плавного диалога заметно выросла .

Как SeedRealtime развивает Seeduplex

SeedRealtime — это мультимодальная эволюция более ранней полнодуплексной работы ByteDance. Seeduplex был запущен 9 апреля 2026 года как первая нативная полнодуплексная только голосовая LLM от ByteDance — она могла одновременно слушать и говорить, преодолев предыдущую полудуплексную парадигму .

Seeduplex (9 апреля 2026)	SeedRealtime (5 августа 2026)
Полнодуплекс только по аудио	Полнодуплекс по аудио + видео + текст
«Слушай, пока говоришь» (голос)	«Смотри, слушай и говори» одновременно
Одна модальность (речь)	Единая мультимодальная архитектура

SeedRealtime берёт ключевой прорыв Seeduplex — нативную сквозную полнодуплексную обработку — и расширяет её на понимание видео в реальном времени, позволяя модели реагировать на то, что она видит, в дополнение к тому, что слышит .

Где уже работает SeedRealtime

SeedRealtime полностью развёрнут в приложении Doubao (豆包) — ИИ-помощнике ByteDance — и доступен всем пользователям. Чтобы начать работу, нужно обновить Doubao до последней версии и войти в интерфейс видеочата через функцию «звонок» .

ByteDance продемонстрировала множество сценариев использования: идентификация разных людей в группе и отслеживание говорящего; помощь иностранному туристу в понимании китайского меню и пояснений официанта в реальном времени; непрерывное наблюдение за музейным экспонатом с оповещением, когда появляется определённый артефакт; помощь пользователю в управлении кофемашиной с исправлением ошибок на основе визуальных изменений; отслеживание перелистывания страниц при чтении статьи с автоматическим оповещением о появлении нужной главы .

Портфель ИИ-моделей ByteDance в 2026 году

SeedRealtime — лишь часть стремительно расширяющейся линейки ИИ от ByteDance. Команда Seed выпустила несколько моделей с середины 2025 по середину 2026 года:

Модель	Категория	Дата запуска	Ключевая возможность
Seed 2.1 (Doubao 2.1 Pro)	Большая языковая модель	23 июня 2026 (Volcano Engine FORCE); доступна через API	Универсальная LLM; цена ~$0.88/млн входных токенов, ~$4.42/млн выходных токенов
Seedance 2.5	Генерация видео	31 июля 2026	30-секундное 4K видео за один проход; принимает до 50 мультимодальных референсов; редактирование по временным меткам
Seedream 5.0 Pro	Генерация изображений	Анонсирована 23 июня 2026; «скоро»	Модель нового поколения для генерации изображений
Seed Audio 1.0	Генерация музыки/звуков	29 июня 2026	Модель для генерации музыки и звуковых эффектов из текста
SeedRealtime	Полнодуплексная аудиовизуальная LLM	5 августа 2026	Нативное аудиовизуальное полнодуплексное взаимодействие

Вместе с Seeduplex (9 апреля 2026) эти модели образуют полноценную ИИ-экосистему ByteDance, охватывающую генерацию текста, изображений, видео, аудио и взаимодействие в реальном времени .