AnswersPublished15 sources
DeepSeek-V4-Flash ניצח את Claude Opus 4.8 בחמישה מבחני סוכנים — והסיבה אינה בהכרח המודל
Floatboat דיווחה כי אותו מודל DeepSeek V4 Flash עבר את תוצאות ההשוואה שפורסמו עבור Claude Opus 4.8 בכל חמשת המבחנים, לאחר שהוחלפה רק סביבת ההפעלה; הטענה טרם שוחזרה באופן בלתי תלוי. ביחס קלט פלט של 3:1, העלות המשוקללת שדווחה הייתה 0.175 דולר למיליון טוקנים עבור DeepSeek לעומת 10 דולר עבור Opus — כלומר Opus יקר בערך פ...
פורסם על ידינערך באמצעות GPT-5.6 Lunaהתמונות נוצרו באמצעות GPT Image 1.5
Research answer
Key takeaways
- Floatboat דיווחה כי אותו מודל DeepSeek V4 Flash עבר את תוצאות ההשוואה שפורסמו עבור Claude Opus 4.8 בכל חמשת המבחנים, לאחר שהוחלפה רק סביבת ההפעלה; הטענה טרם שוחזרה באופן בלתי תלוי.
- ביחס קלט פלט של 3:1, העלות המשוקללת שדווחה הייתה 0.175 דולר למיליון טוקנים עבור DeepSeek לעומת 10 דולר עבור Opus — כלומר Opus יקר בערך פי 57.1 ברמת טוקני ה API.
- היתרון המדווח של ה Harness גדל מ 1.9% במשימה הקצרה ביותר ל 23.6% במשימה הארוכה ביותר, מה שמדגיש את חשיבותם של שמירת מצב, כלים, בדיקות והתאוששות.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
הכותרת "DeepSeek ניצח את Claude" נשמעת כמו הכרעה בין שני מודלים. אבל זו אינה הדרך המדויקת ביותר לקרוא את תוצאות הניסוי שפרסמה Floatboat ב-7 באוגוסט 2026.
מדובר בעיקר בניסוי השוואתי של החברה: המודל DeepSeek-V4-Flash נשאר זהה, ואילו סביבת ההפעלה — ה-Harness — הוחלפה. לפי Floatboat, השינוי הזה הספיק כדי להעלות את אותו מודל זול מעל לתוצאות ההשוואה שפורסמו עבור Claude Opus 4.8 בחמישה מבחני סוכני AI ציבוריים. 3
המסקנה החשובה יותר, והזהירה יותר, היא שסוכן AI אינו רק מודל שמייצר תשובה. הוא מערכת שלמה שצריכה לפעול בתוך סביבה, להשתמש בכלים, לזכור מה כבר עשתה, לבדוק את התוצאות ולהתאושש מטעויות. עם זאת, מדובר בתוצאה שדווחה על ידי החברה וטרם קיבלה אימות בלתי תלוי.
מה Floatboat שינתה
Floatboat אומרת שהשתמשה בגרסה הרשמית DeepSeek-V4-Flash-0731, עם אותם קלטים ופרמטרים, והשוותה בין ה-Harness המינימליסטי הרשמי של DeepSeek לבין Harness ההערכה שלה.
ה-Harness של Floatboat סיפק, לפי החברה, ארגז חול פיזי מבודד וסביבת עבודה מתמשכת יותר. היא כללה גישה לקבצים ולמרחב עבודה, כלים, שמירת מצב, וכן אפשרות לבדוק תוצאות, לתקן שגיאות ולהמשיך לבצע את המשימה. 3
ההבדל הזה משמעותי. במשימה סוכנית ארוכה, המודל אינו נדרש רק לתת תשובה טובה פעם אחת. עליו לפעול שוב ושוב מול סביבה, לראות מה קרה, לעדכן את התוכנית ולהימנע מפגיעה בעבודה שכבר הושלמה.
התוצאות שדווחו בחמשת המבחנים
ב-Harness של Floatboat, DeepSeek-V4-Flash קיבל את הציונים הבאים:
- BrowseComp: 87.80
- DeepSWE: 67.25
- Terminal Bench 2.1: 84.26
- AutomationBench: 27.50
- Toolathlon: 79.62
Floatboat טוענת כי בכל חמשת המבחנים הציונים הללו עברו את תוצאות ההשוואה שפורסמו עבור Claude Opus 4.8. 3
אבל חשוב להכניס את הנתונים לפרופורציה. השוואות ציבוריות בין מודלים עשויות לשלב ציונים שנוצרו באמצעות Harness-ים שונים, פרומפטים שונים, הגדרות כלים שונות, פרמטרי דגימה שונים ושיטות הערכה שונות.
לכן, החלק המבוקר והמעניין יותר בניסוי הוא לא עצם הצבתם של שני מודלים על טבלת דירוג אחת, אלא ההשוואה שבה אותו מודל נשמר קבוע ורק ה-Harness משתנה. גם כך, מדובר עדיין בתוצאה מדווחת של Floatboat.
פער המחירים עצום — אך רק ברמת טוקני ה-API
המחיר שדווח עבור DeepSeek-V4-Flash הוא 0.14 דולר למיליון טוקני קלט ו-0.28 דולר למיליון טוקני פלט. בהנחה של יחס 3:1 בין קלט לפלט, המחיר המשוקלל הוא:
(3 × 0.14 + 0.28) ÷ 4 = 0.175 דולר למיליון טוקנים
Floatboat השתמשה במחירים שצוינו עבור Claude Opus 4.8 — 5 דולר למיליון טוקני קלט ו-25 דולר למיליון טוקני פלט. באותו יחס:
(3 × 5 + 25) ÷ 4 = 10 דולר למיליון טוקנים
כלומר, לפי החישוב הזה, שימוש ב-Opus יקר בערך פי 57.1 מבחינת מחיר טוקני API משוקלל. 3
אבל אין פירוש הדבר שמשימה שהושלמה באמצעות Opus עולה פי 57.1. החישוב אינו כולל תשלומים עבור כלים, עלויות חישוב, שמירה במטמון, אורך ההקשר, ניסיונות חוזרים, עבודת הנדסה או את עלות התפעול של ה-Harness עצמו. זהו חישוב של מחיר טוקנים — לא ניתוח עלות כוללת של משימה או של מערכת.
מדוע היתרון גדל במשימות ארוכות
Floatboat דיווחה על שיפורים יחסיים של 1.9%, 9.6%, 12.6%, 19.9% ו-23.6%, כאשר המבחנים מסודרים ממשימות קצרות למשימות בעלות אופק ביצוע ארוך יותר. לפי החברה, הסדרה אינה יורדת: ה-Harness השפיע פחות על משימות מוגבלות, ויותר ככל שמספר שלבי הביצוע התלויים זה בזה גדל. 3
סוכן יכול להיכשל במשימה ארוכה גם כאשר כל החלטה מקומית שלו נראית הגיונית. הוא עשוי להידרש ל:
- לאתר ולערוך את הקבצים הנכונים;
- להפעיל כלים שוב ושוב ולפרש את הפלט שלהם;
- לשמר תוכניות, מצב וארטיפקטים שנוצרו בדרך;
- לבדוק שינויים ולאבחן תקלות;
- להתאושש מפעולה שגויה; וכן
- לבטל עריכה לפני שתפגע בשלבים הבאים.
לולאת ביצוע חלשה עלולה להפוך חשיבה נכונה לאובדן הקשר, לקריאות כלים שגויות, לסיום מוקדם או לשינויים שאי אפשר לשחזר. מודל חזק יותר עשוי לשפר החלטות נקודתיות, אבל הוא לא יכול לפצות לחלוטין על סביבה שאינה שומרת מצב, אינה מספקת משוב שימושי או אינה מאפשרת התאוששות בטוחה.
זו הסיבה שהתוצאה רלוונטית מעבר להשוואה בין שני מודלים. היא מעבירה את השאלה מ"איזה מודל חכם יותר?" ל"איזה שילוב של מודל וסביבת ביצוע מסוגל להשלים את המשימה באופן אמין?"
מהו Harness Leverage Ratio
Floatboat הציגה מדד חדש בשם Harness Leverage Ratio, או HLR, שנועד להשוות בין התועלת שבהחלפת ה-Harness לבין התועלת שבשדרוג המודל:
HLR = השיפור שמתקבל מהחלפת ה-Harness בלבד
─────────────────────────────────────
השיפור שמתקבל משדרוג למערכת ייחוס חזקה יותר
HLR גבוה מ-1 פירושו שבמבחן ובהשוואה שנבחרו, החלפת ה-Harness העלתה את הציון יותר מהשדרוג שנמדד למערכת הייחוס החזקה יותר. המדד אינו תקן תעשייתי, והערך שלו תלוי במודל הבסיס, במודל הייחוס, בגרסת המבחן ובבקרות ההערכה. 2
4
במבחן DeepSWE, Floatboat דיווחה כי Flash עלה מציון 54.4 ב-Harness של DeepSeek לציון 67.25 ב-Harness שלה — שיפור של 12.85 נקודות. תוצאת Opus 4.8 שצוטטה הייתה 58.0, כלומר פער של 3.6 נקודות בלבד מול תוצאת הבסיס של DeepSeek. מכאן התקבל HLR של כ-3.57. 3
Floatboat דיווחה בנוסף כי ה-HLR עלה מ-0.78 במשימה הקצרה ביותר ל-3.57 במשימה הארוכה ביותר. אם הדפוס הזה ישוחזר, הוא יתמוך ברעיון ששיפור סביבת ההפעלה נעשה בעל ערך גדול במיוחד כאשר משימות דורשות יותר מצב, קריאות לכלים והתאוששות.
עם זאת, אין לראות בכך חוק אוניברסלי. שינוי מערכת הייחוס, המבחן או תנאי ההערכה עשוי לשנות את היחס.
כיצד התוצאה מתאימה לחזון של Floatboat
התוצאות מתיישבות עם המיצוב הרחב יותר של Floatboat. תיאורים פומביים מציגים אותה כסביבת עבודה לסוכנים, המיועדת בין היתר למפעילים יחידים, ומשלבת קבצים, גלישה, אינטראקציות עם AI, תזמון, תקשורת ויכולות או תהליכי עבודה לשימוש חוזר. 1
בהודעת השקה ממאי 2026 תיארה החברה את המיקוד שלה בתהליכי עבודה יזומים, המופעלים לפי לוח השנה, וציינה את Sequoia ואת Welight Capital כמשקיעות. 18
הכיוון הזה מתייחס ל-runtime — שכבת ההפעלה — כאל שכבה מרכזית, ולא כאל מעטפת דקה סביב מודל שפה. הסוכן צריך לשמור הקשר בין יישומים, לפעול בזמן המתאים, לכבד הרשאות ולהתקדם בלי שהמשתמש יצטרך לשחזר ידנית כל שלב.
מה זה אומר על סוכני AI לשימוש יומיומי
אם תוצאות המבחן יאושרו בבדיקות בלתי תלויות, היתרון התחרותי בסוכנים לשימוש יומיומי עשוי לעבור אל תשתית הביצוע: ניהול מצב בטוח, יכולת ניטור, אימות, התאוששות, הרשאות ושליטה מצד המשתמש.
הדבר עשוי לאפשר אסטרטגיית מודלים גמישה יותר. מודלים זולים יכולים לבצע משימות שגרתיות ומובנות היטב בתוך סביבת עבודה אמינה, בעוד שמודלים יקרים וחזקים יותר יישמרו למשימות שבאמת דורשות חשיבה עמוקה או שיקול דעת.
במילים אחרות, המוצר הטוב ביותר לא יהיה בהכרח המודל הזול ביותר — וגם לא המודל החזק ביותר בפני עצמו. ייתכן שהיתרון יהיה למערכת שיודעת להשתמש בכל מודל במקום שבו הוא יעיל ביותר.
ההסתייגות נותרת מרכזית: המסמך הטכני של Floatboat הוא הראיה העיקרית שסופקה לניסוי, והחברה עצמה מכירה בכך שהשוואות רחבות יותר בין מודלים נעשו עם Harness-ים ותצורות הערכה שונות. כדי להפוך את טענת "חמישה ניצחונות" לתוצאה מבוססת בתעשייה, יהיה צורך בהרצות חוזרות בלתי תלויות, בפרסום חומרי ההערכה ובבקרה הדוקה יותר על פרומפטים, תקציבי חישוב, כלים, ניסיונות חוזרים וגרסאות הנתונים. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek-V4-Flash ניצח את Claude Opus 4.8 בחמישה מבחני סוכנים — והסיבה אינה בהכרח המודל"?
Floatboat דיווחה כי אותו מודל DeepSeek V4 Flash עבר את תוצאות ההשוואה שפורסמו עבור Claude Opus 4.8 בכל חמשת המבחנים, לאחר שהוחלפה רק סביבת ההפעלה; הטענה טרם שוחזרה באופן בלתי תלוי.
What are the key points to validate first?
Floatboat דיווחה כי אותו מודל DeepSeek V4 Flash עבר את תוצאות ההשוואה שפורסמו עבור Claude Opus 4.8 בכל חמשת המבחנים, לאחר שהוחלפה רק סביבת ההפעלה; הטענה טרם שוחזרה באופן בלתי תלוי. ביחס קלט פלט של 3:1, העלות המשוקללת שדווחה הייתה 0.175 דולר למיליון טוקנים עבור DeepSeek לעומת 10 דולר עבור Opus — כלומר Opus יקר בערך פי 57.1 ברמת טוקני ה API.
What should I do next in practice?
היתרון המדווח של ה Harness גדל מ 1.9% במשימה הקצרה ביותר ל 23.6% במשימה הארוכה ביותר, מה שמדגיש את חשיבותם של שמירת מצב, כלים, בדיקות והתאוששות.