ByteDance SeedRealtime: הבינה המלאכותית הפורצת דרך שרואה, שומעת ומדברת בו זמנית

SeedRealtime מחליף את הצנרת הזו בארבעה יתרונות מרכזיים:

• ארכיטקטורת קצה-לקצה אחידה – מיזוג טבעי של אודיו, וידאו וטקסט מבטל עיכובים בין-מודוליים ואובדן מידע
• הבנה אודיו-ויזואלית משותפת – המודול יכול לפתור אי-בהירות הומופונית תוך שימוש בהקשר החזותי של הסצנה (למשל, להבחין בין "כתב" ל"צדק" על סמך מה שהוא רואה) ולהבין במדויק הפניות זמניות בווידאו
• אינטראקציה פרואקטיבית – חישה רציפה של הסביבה והיכולת להתריע בפני המשתמש כאשר הסצנה משתנה (למשל, אובייקט מטרה מופיע) ולקרוא לכלים חיצוניים
• תזמון שיחה טבעי – חישה בזמן אמת של מצב השיחה והקצב של המשתמש, כניסה, השהייה ותגובה ברגעים המתאימים, עם עמידות גבוהה לרעשי רקע ושיחות צד

האתגר הטכני שנפתר: קצב השיחה

הבעיה הקשה ביותר ש-SeedRealtime פתרה היא "מתי לדבר, מתי להקשיב" בזרם מולטימודלי רציף. עוזרים מסורתיים מבוססי תורות (חצי דופלקס) ממתינים להפסקת דיבור לפני שהם מגיבים — מה שאומר שהם קוטעים או שותקים .

הארכיטקטורה במלוא הדופלקס של SeedRealtime מאפשרת לו:

• לחוש את מצב השיחה והקצב של המשתמש בזמן אמת
• להבחין בין הפסקות מכוונות להיסוסים
• להתעלם משיחות צד ורעשי רקע כדי למנוע הפעלה שווא
• להפיק סימני משוב (backchannel) והפרעות ברגעים אנושיים מתאימים

תוצאות הערכה אנושית של קצה-לקצה מראות שלעומת מודלים עוקתים, בעיות קצב השיחה האודיו-וידאו של SeedRealtime הופחתו בחצי. תופעות כמו "הפרעה לפני סיום, תגובה מאוחרת לאחר דיבור, או הפעלה שווא על ידי רעשי רקע" ירדו משמעותית, בעוד שההסתברות לשיחה בודדת מלאה וחלקה עלתה באופן ניכר .

כיצד SeedRealtime מתבסס על Seeduplex

SeedRealtime הוא האבולוציה המולטימודלית של עבודת הדופלקס המלא המוקדמת יותר של ByteDance. Seeduplex הושק ב-9 באפריל 2026 כ-LLM מקורי במלוא הדופלקס המבוסס על דיבור בלבד – הוא יכול היה להקשיב ולדבר בו-זמנית, תוך מעבר מהפרדיגמה הקודמת של חצי דופלקס .

SeedRealtime לוקח את פריצת הדרך המרכזית של Seeduplex — עיבוד במלוא הדופלקס של קצה-לקצה — ומרחיב אותה כדי לשלב הבנה חזותית בזמן אמת, המאפשרת למודל להגיב למה שהוא רואה בנוסף למה שהוא שומע .

היכן SeedRealtime פרוס

SeedRealtime פרוס במלואו באפליקציית Doubao (豆包) — העוזר החכם של ByteDance – וזמין לכל המשתמשים. משתמשים מעדכנים את Doubao לגרסה העדכנית ביותר ונכנסים לממשק שיחת הווידאו דרך תכונת "שיחת טלפון" כדי לחוות אינטראקציה עם AI בזמן אמת עם אודיו ווידאו .

ByteDance הדגימה מספר מקרי שימוש: זיהוי אנשים שונים בשיחה קבוצתית ומעקב אחר מי שמדבר; עזרה לתייר זר להבין תפריט סיני והסברים של מלצר בזמן אמת; התבוננות רציפה בתערוכה במוזיאון והתראה יזומה כאשר חפץ מסוים מופיע; הדרכת משתמש בתפעול מכונת קפה ותיקון שגיאות על סמך שינויים חזותיים; ניטור דפים תוך כדי קריאת מאמר והצגת התראה אוטומטית כאשר פרק יעד מופיע .

תיק ה-AI הרחב יותר של ByteDance ב-2026

SeedRealtime הוא חלק מקצב שחרור מואץ של דגמי AI של ByteDance. צוות Seed שיגר מספר מודלים מאמצע 2025 עד אמצע 2026:

מודלים אלה, יחד עם Seeduplex (9 באפריל 2026), יוצרים את מערכת ה-AI המלאה של ByteDance, הכוללת שפה, תמונה, וידאו, יצירת אודיו ואינטראקציה מולטימודלית בזמן אמת .