바이트댄스 SeedRealtime: 보고, 듣고, 말하는 최초의 AI

기존 음성 비서와의 차별점

기존 음성 비서는 계단식 파이프라인으로 작동합니다. 오디오가 ASR(음성-텍스트)을 거치고, 필요한 경우 비전 모델을 통과한 뒤 LLM을 거쳐 최종적으로 TTS(텍스트-음성)로 변환됩니다. 매 단계마다 지연이 발생하고, 경계선에서 맥락이 소실됩니다 .

SeedRealtime은 이 파이프라인을 네 가지 핵심 장점으로 대체했습니다:

• 통합 엔드투엔드 아키텍처 — 오디오, 비디오, 텍스트의 네이티브 융합으로 다중 모듈 지연 및 정보 손실 제거
• 오디오-비주얼 공동 이해 — 시각적 장면 맥락을 활용해 동음이의어 모호성을 해소하고(예: 'write'와 'right' 구분), 비디오 내 시간적 참조를 정확히 이해
• 능동적 상호작용 — 환경을 지속적으로 감지해 장면 변화(예: 목표 물체 등장) 시 사용자에게 능동적으로 알리고 외부 도구 호출
• 자연스러운 대화 타이밍 — 사용자의 대화 상태와 페이스를 실시간으로 감지해 적절한 순간에 끼어들고, 멈추고, 반응하며, 배경 소음과 주변 대화에 대한 높은 내성 보유

해결한 기술적 과제: 대화 리듬

SeedRealtime이 해결한 가장 어려운 문제는 연속적인 멀티모달 스트림 속에서 "언제 말하고, 언제 들어야 하는지" 결정하는 것입니다. 기존의 턴제(반이중, half-duplex) 비서는 일정 시간 침묵이 지속된 후에야 반응합니다. 따라서 끊어서 말하거나 침묵하는 문제가 발생합니다 .

SeedRealtime의 전이중 아키텍처는 다음을 가능하게 합니다:

• 사용자의 대화 상태와 페이스를 실시간으로 감지
• 의도적인 멈춤과 망설임 구분
• 주변 대화와 배경 소음을 무시해 오작동 방지
• 인간에게 적절한 타이밍에 끼어들기 및 반응 신호 생성

엔드투엔드 인간 평가 결과, 계단식 모델과 비교해 SeedRealtime의 오디오-비디오 대화 리듬 문제가 절반으로 감소했습니다. '말을 마치기 전에 끊김, 말을 한 후 응답 지연, 배경 소음에 의한 오작동' 등의 문제가 현저히 줄었고, 한 번의 대화가 완전하고 매끄럽게 이어질 확률이 눈에 띄게 증가했습니다 .

Seeduplex와의 관계

SeedRealtime은 바이트댄스의 초기 전이중 작업의 멀티모달 진화형입니다. Seeduplex는 2026년 4월 9일 바이트댄스 최초의 네이티브 전이중 음성 전용 LLM으로 출시되어, 이전의 반이중 패러다임을 넘어 동시에 듣고 말할 수 있었습니다 .

SeedRealtime은 Seeduplex의 핵심 혁신인 네이티브 엔드투엔드 전이중 처리를 확장하여 실시간 시각 이해를 통합, 듣는 것 외에 보는 것에도 반응할 수 있게 했습니다 .

배포 현황

SeedRealtime은 바이트댄스의 AI 비서인 두바오(豆包) 앱에 전면 배포되어 모든 사용자가 이용할 수 있습니다. 사용자는 두바오를 최신 버전으로 업데이트한 후 '전화 통화' 기능을 통해 비디오 통화 인터페이스로 들어가 실시간 오디오-비디오 AI 상호작용을 경험할 수 있습니다 .

바이트댄스는 여러 사용 사례를 시연했습니다: 그룹 대화에서 여러 사람을 식별하고 말하는 사람을 추적; 외국 관광객이 중국어 메뉴와 웨이터의 설명을 실시간으로 이해하도록 지원; 박물관 전시물을 지속적으로 관찰하고 특정 유물이 나타나면 능동적으로 알림; 커피 머신 조작을 안내하고 시각적 변화에 따라 오류 수정; 논문 읽기 중 페이지 넘김을 모니터링하고 대상 장이 나오면 자동으로 알림 .

2026년 바이트댄스의 AI 포트폴리오

SeedRealtime은 바이트댄스의 가속화된 AI 출시의 일부입니다. Seed 팀은 2025년 중반부터 2026년 중반까지 여러 모델을 출시했습니다:

이러한 모델들은 Seeduplex(2026년 4월 9일)와 함께 언어, 이미지, 비디오, 오디오 생성 및 실시간 멀티모달 상호작용을 아우르는 바이트댄스의 풀스택 AI 생태계를 형성합니다 .