AnswersPublished15 sources
DeepSeek-V4-Flash випередив Claude Opus 4.8 у п’яти агентних тестах. Чи справді переміг не модель?
Floatboat повідомила, що та сама модель DeepSeek V4 Flash випередила Claude Opus 4.8 у всіх п’яти протестованих агентних бенчмарках після заміни лише рушія виконання. За співвідношення введення до виведення 3:1 розрахункова змішана ціна становила $0,175 за мільйон токенів для DeepSeek проти $10 для Opus — приблизно...
ОпублікувавВідредаговано за допомогою GPT-5.6 LunaЗображення створено за допомогою GPT Image 1.5
Research answer
Key takeaways
- Floatboat повідомила, що та сама модель DeepSeek V4 Flash випередила Claude Opus 4.8 у всіх п’яти протестованих агентних бенчмарках після заміни лише рушія виконання.
- За співвідношення введення до виведення 3:1 розрахункова змішана ціна становила $0,175 за мільйон токенів для DeepSeek проти $10 для Opus — приблизно у 57,1 раза дорожче для Claude.
- Заявлена перевага рушія зросла з 1,9% на найкоротшому завданні до 23,6% на найдовшому, що вказує на важливість збереження стану, роботи з інструментами, перевірки результатів і відновлення після помилок.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Результат Floatboat від 7 серпня 2026 року не варто сприймати як доказ того, що DeepSeek-V4-Flash сам по собі потужніший за Claude Opus 4.8. Точніше назвати його заявленим компанією абляційним експериментом: модель залишили незмінною, а замінили рушій виконання — harness, тобто програмно-апаратне середовище, у якому AI-агент працює із завданням.
За словами Floatboat, цього виявилося достатньо, щоб та сама недорога модель випередила опубліковані результати Opus 4.8 у п’яти публічних агентних бенчмарках. 3
Важливіший і обережніший висновок такий: у тривалих агентних завданнях система навколо моделі може впливати на результат не менше, ніж сама модель. Водночас це лише перспективна гіпотеза, адже експеримент поки що не відтворили незалежні дослідники.
Що саме змінила Floatboat
Компанія заявила, що використала офіційний реліз DeepSeek-V4-Flash-0731 з тими самими вхідними даними та параметрами, порівнявши мінімалістичний офіційний рушій DeepSeek із власним Evaluation Harness.
За описом Floatboat, її середовище працювало в ізольованій фізичній пісочниці та надавало агенту:
- доступ до робочого простору й файлів;
- інструменти для виконання дій;
- збереження стану між кроками;
- можливість перевіряти результати;
- виправляти помилки та продовжувати роботу.
Це принципова відмінність. Агентне завдання рідко зводиться до одноразової генерації хорошої відповіді. Модель має діяти в середовищі, спостерігати наслідки своїх дій, оновлювати план і не знищувати вже виконану роботу.
Які результати заявила компанія
У власному рушії Floatboat DeepSeek-V4-Flash, за даними компанії, отримав такі бали:
- BrowseComp: 87,80;
- DeepSWE: 67,25;
- Terminal Bench 2.1: 84,26;
- AutomationBench: 27,50;
- Toolathlon: 79,62.
Floatboat стверджує, що ці показники перевищили опубліковані результати Claude Opus 4.8 у всіх п’яти тестах. 3
Однак заголовок потребує суттєвого уточнення. Публічні порівняння бенчмарків можуть об’єднувати результати, отримані за різних рушіїв, промптів, конфігурацій інструментів, параметрів семплювання та процедур оцінювання.
Найінформативнішою частиною експерименту є контрольоване порівняння однієї й тієї самої моделі з різними рушіями. Але й воно залишається результатом, оприлюдненим самою компанією.
Різниця у вартості велика — але це не повна ціна завдання
Заявлена ціна DeepSeek-V4-Flash становила $0,14 за мільйон вхідних токенів і $0,28 за мільйон вихідних. За співвідношення введення до виведення 3:1 змішана ціна розраховується так:
(3 × $0,14 + $0,28) ÷ 4 = $0,175 за мільйон токенів
Floatboat використала для Claude Opus 4.8 ціни $5 за мільйон вхідних токенів і $25 за мільйон вихідних. За того самого співвідношення:
(3 × $5 + $25) ÷ 4 = $10 за мільйон токенів
Отже, за змішаною ціною API-токенів Opus виходить приблизно у 57,1 раза дорожчим за DeepSeek. 3
Це не означає, що завершене завдання обов’язково коштує у 57,1 раза дорожче. Розрахунок не враховує оплату інструментів, обчислення, кешування, довжину контексту, повторні спроби, інженерну підтримку та витрати на роботу самого рушія. Йдеться лише про порівняння вартості токенів моделі, а не про повну собівартість експлуатації.
Чому перевага зростала на довших завданнях
Floatboat повідомила про відносні прирости 1,9%, 9,6%, 12,6%, 19,9% і 23,6%, якщо розташувати п’ять бенчмарків від коротших до довших за горизонтом роботи. Компанія описує цю послідовність як таку, що не зменшується: на обмежених завданнях рушій мав менше значення, а зі збільшенням кількості залежних кроків його вплив зростав. 3
Довготривалий агент може провалити завдання навіть тоді, коли кожне окреме рішення виглядає цілком розумним. Йому потрібно:
- знайти й відредагувати правильні файли;
- багаторазово викликати інструменти та правильно тлумачити їхні результати;
- зберігати план, поточний стан і проміжні матеріали;
- тестувати зміни та знаходити причини помилок;
- відновлюватися після невдалих дій;
- скасовувати небезпечне редагування, перш ніж воно зіпсує подальшу роботу.
Слабкий цикл виконання може перетворити правильне міркування на втрату контексту, некоректні виклики інструментів, передчасне завершення або незворотні зміни. Сильніша модель покращує локальні рішення, але не здатна повністю компенсувати середовище, яке не зберігає стан, не дає корисного зворотного зв’язку або не дозволяє безпечно виправляти помилки.
Тому цей експеримент цікавий не лише як чергове протиставлення двох моделей. Він змінює саме запитання: замість «яка модель найрозумніша?» варто питати «яка зв’язка моделі та середовища надійно доводить завдання до кінця?»
Що вимірює Harness Leverage Ratio
Floatboat запропонувала показник Harness Leverage Ratio, або HLR, щоб порівнювати користь від зміни рушія з користю від переходу на сильнішу модель:
HLR = приріст від зміни лише рушія
─────────────────────────────
приріст від переходу на сильнішу референтну систему
HLR понад 1 означає, що в конкретному бенчмарку та за конкретного порівняння зміна рушія дала більший приріст бала, ніж вимірюваний перехід до сильнішої референтної системи. Це не галузевий стандарт: значення залежить від обраної базової системи, референтної моделі, версії тесту та умов оцінювання. 2
4
На DeepSWE Floatboat повідомила про зростання результату Flash із 54,4 в рушії DeepSeek до 67,25 у власному рушії — на 12,85 бала. Результат Opus 4.8, на який посилається компанія, становив 58,0, тобто різниця з базовим показником DeepSeek дорівнювала 3,6 бала. Так отримуємо HLR приблизно 3,57. 3
Також Floatboat заявила, що HLR зріс із 0,78 на найкоротшому завданні до 3,57 на найдовшому. Якщо інші дослідники відтворять цю закономірність, вона підтримає тезу: що більше в завданні станів, викликів інструментів і потреби у відновленні, то ціннішим стає якісний runtime.
Проте це не універсальний закон. Зміна референтної моделі або процедури оцінювання може змінити сам показник.
Як це вписується в продуктову стратегію Floatboat
Результати відповідають ширшому позиціонуванню Floatboat. Публічні описи представляють її як агентне робоче середовище для самостійних операторів і невеликих команд, яке поєднує файли, браузинг, AI-взаємодії, планування, комунікації та багаторазово використовувані навички й робочі процеси. 1
У травневому повідомленні про запуск компанія описувала фокус на проактивних агентних сценаріях, що запускаються календарем, і називала Sequoia та Welight Capital своїми інвесторами. 18
Цей підхід розглядає runtime як повноцінний технологічний шар, а не як тонку оболонку навколо мовної моделі. Агент має зберігати контекст між застосунками, діяти у потрібний момент, дотримуватися дозволів і просувати роботу вперед без необхідності щоразу вручну відновлювати всі попередні кроки.
Що це може означати для повсякденних AI-агентів
Якщо результат витримає незалежну перевірку, конкурентна перевага повсякденних агентів може переміститися до середовища виконання: безпечного керування станом, спостережуваності, перевірки, відновлення, системи дозволів і контролю з боку користувача.
Це відкриває гнучкішу стратегію роботи з моделями. Недорогі моделі можуть виконувати рутинні, добре структуровані завдання всередині надійного середовища, а преміальні — використовуватися там, де справді потрібні складніше міркування або судження.
У такому разі найкращим продуктом стане не найдешевша модель і не найпотужніша модель сама по собі, а система, яка застосовує різні моделі там, де кожна з них найефективніша.
Головне застереження залишається незмінним: найсильнішим доказом експерименту є технічний матеріал самої Floatboat. Компанія визнає, що ширші міжмодельні порівняння використовують різні рушії та конфігурації оцінювання. Незалежні повторні запуски, оприлюднені артефакти тестування й жорсткіший контроль промптів, бюджетів, інструментів, повторних спроб і версій даних потрібні, перш ніж говорити про усталений індустріальний результат «п’ять перемог». 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek-V4-Flash випередив Claude Opus 4.8 у п’яти агентних тестах. Чи справді переміг не модель?"?
Floatboat повідомила, що та сама модель DeepSeek V4 Flash випередила Claude Opus 4.8 у всіх п’яти протестованих агентних бенчмарках після заміни лише рушія виконання.
What are the key points to validate first?
Floatboat повідомила, що та сама модель DeepSeek V4 Flash випередила Claude Opus 4.8 у всіх п’яти протестованих агентних бенчмарках після заміни лише рушія виконання. За співвідношення введення до виведення 3:1 розрахункова змішана ціна становила $0,175 за мільйон токенів для DeepSeek проти $10 для Opus — приблизно у 57,1 раза дорожче для Claude.
What should I do next in practice?
Заявлена перевага рушія зросла з 1,9% на найкоротшому завданні до 23,6% на найдовшому, що вказує на важливість збереження стану, роботи з інструментами, перевірки результатів і відновлення після помилок.