ОтветыОпубликовано15 источники
DeepSeek-V4-Flash обошёл Claude Opus 4.8 в пяти тестах — но главный вклад внёс не самодельный «мозг», а среда выполнения
Floatboat сообщила, что одна и та же модель DeepSeek V4 Flash опередила Claude Opus 4.8 во всех пяти проверенных агентных бенчмарках после замены только среды выполнения; независимого воспроизведения результата пока нет. При соотношении входных и выходных токенов 3:1 расчётная смешанная стоимость составила $0,175 за...
ОпубликовалОтредактировано с помощью GPT-5.6 LunaИзображения созданы с помощью GPT Image 1.5
Ответ на исследование
Ключевые выводы
- Floatboat сообщила, что одна и та же модель DeepSeek V4 Flash опередила Claude Opus 4.8 во всех пяти проверенных агентных бенчмарках после замены только среды выполнения; независимого воспроизведения результата пока нет.
- При соотношении входных и выходных токенов 3:1 расчётная смешанная стоимость составила $0,175 за миллион токенов для DeepSeek против $10 для Opus — примерно в 57,1 раза дороже для Claude.
- Заявленный эффект harness вырос с 1,9% на самых коротких задачах до 23,6% на самых длинных, что подчёркивает значение сохранения состояния, инструментов, проверки результатов и восстановления после ошибок.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Результат Floatboat от 7 августа не стоит воспринимать как доказательство того, что DeepSeek-V4-Flash сам по себе «умнее» Claude Opus 4.8. Точнее назвать его заявленным компанией абляционным экспериментом: модель оставили неизменной, а заменили среду выполнения — harness. По словам Floatboat, этого оказалось достаточно, чтобы тот же недорогой DeepSeek опередил опубликованные результаты Opus 4.8 в пяти публичных агентных бенчмарках. 3
Более полезный и узкий вывод выглядит так: в длительных задачах, где ИИ должен много раз действовать в среде, окружение модели может влиять на итог не меньше, чем сама модель. Но это пока лишь убедительная гипотеза, а не окончательно установленный факт: независимого воспроизведения эксперимента ещё не было.
Что именно изменила Floatboat
Компания утверждает, что использовала официальный релиз DeepSeek-V4-Flash-0731 с теми же входными данными и параметрами. Сравнивались минималистичный официальный harness DeepSeek и собственная оценочная среда Floatboat.
Во втором варианте модель работала в изолированной физической песочнице с постоянным рабочим пространством, доступом к файлам и инструментам, сохраняемым состоянием, а также возможностью проверять результат, исправлять ошибки и продолжать выполнение. 3
Разница принципиальна. Агенту недостаточно один раз сгенерировать хороший ответ. Он должен действовать в окружении, наблюдать последствия своих действий, обновлять план и не разрушать уже сделанную работу.
Пять заявленных результатов
В harness Floatboat DeepSeek-V4-Flash получил следующие оценки:
- BrowseComp: 87,80;
- DeepSWE: 67,25;
- Terminal Bench 2.1: 84,26;
- AutomationBench: 27,50;
- Toolathlon: 79,62.
Floatboat заявила, что эти результаты превысили опубликованные показатели Claude Opus 4.8 во всех пяти тестах. 3
Однако заголовок требует оговорок. Публичные сравнения могут объединять оценки, полученные с разными harness, промптами, настройками инструментов, параметрами выборки и процедурами проверки. Поэтому наиболее информативная часть эксперимента — не само размещение систем на одном рейтинге, а контролируемое сравнение одной и той же модели в двух средах. Тем не менее это всё ещё результат, представленный самой компанией.
Разница в цене огромна — но это не полная стоимость задачи
Для DeepSeek-V4-Flash указана цена $0,14 за миллион входных токенов и $0,28 за миллион выходных токенов. При соотношении входных и выходных токенов 3:1 смешанная стоимость рассчитывается так:
(3 × $0,14 + $0,28) ÷ 4 = $0,175 за миллион токенов
Для Claude Opus 4.8 Floatboat использовала цены $5 за миллион входных токенов и $25 за миллион выходных токенов:
(3 × $5 + $25) ÷ 4 = $10 за миллион токенов
Таким образом, при этой пропорции токенов Opus получается примерно в 57,1 раза дороже по смешанной API-стоимости. 3
Это не означает, что выполнение готовой задачи обязательно обойдётся в 57,1 раза дороже. Расчёт не учитывает плату за инструменты, вычислительные ресурсы, кэширование, длину контекста, повторные попытки, инженерную поддержку и стоимость самой среды выполнения. Речь идёт только о сравнении цен на токены моделей, а не о совокупной стоимости владения системой.
Почему преимущество увеличивалось на длинных задачах
Floatboat сообщила об относительном приросте 1,9%, 9,6%, 12,6%, 19,9% и 23,6%, если расположить пять бенчмарков от задач с коротким горизонтом до задач с длинным. Компания представила последовательность как неубывающую: на ограниченных задачах harness имел меньшее значение, а по мере роста числа зависимых шагов его вклад увеличивался. 3
Долгий агентный сценарий может завершиться неудачей даже тогда, когда каждое отдельное решение выглядит разумным. Агенту приходится:
- находить и редактировать нужные файлы;
- многократно вызывать инструменты и интерпретировать их вывод;
- сохранять планы, состояние и промежуточные результаты;
- тестировать изменения и диагностировать сбои;
- восстанавливаться после ошибочного действия;
- откатывать правки, пока они не повредили последующую работу.
Слабый цикл выполнения способен превратить правильное рассуждение в потерю контекста, ошибочные вызовы инструментов, преждевременное завершение или необратимое изменение данных. Более сильная модель может улучшить локальные решения, но не компенсирует среду, которая не сохраняет состояние, не даёт полезной обратной связи и не предусматривает безопасного восстановления.
Именно поэтому результат важен не только для сравнения DeepSeek и Claude. Он переносит вопрос с «какая модель самая умная?» на более практичный: какая связка модели и runtime действительно способна надёжно довести задачу до конца?
Что измеряет Harness Leverage Ratio
Floatboat предложила показатель Harness Leverage Ratio, или HLR, чтобы сравнивать пользу от улучшения среды выполнения с пользой от перехода на более сильную модель:
HLR = прирост от замены только harness
───────────────────────────────────
прирост от перехода на более сильную эталонную систему
HLR выше 1 означает, что в выбранном бенчмарке и при заданном сравнении замена harness дала больший прирост баллов, чем измеренный переход к более сильной эталонной системе. Это не отраслевой стандарт: значение зависит от базовой системы, эталонной модели, версии бенчмарка и условий оценки. 2
4
На DeepSWE Floatboat сообщила, что результат Flash вырос с 54,4 в harness DeepSeek до 67,25 в собственной среде — то есть на 12,85 пункта. Указанный результат Opus 4.8 составил 58,0, что на 3,6 пункта выше базового показателя DeepSeek. Так получается HLR примерно 3,57. 3
Компания также сообщила, что HLR вырос с 0,78 на самой короткой задаче до 3,57 на самой длинной. Если другие исследователи подтвердят эту картину, она будет поддерживать идею о том, что улучшения runtime становятся непропорционально ценными по мере роста числа шагов, вызовов инструментов и операций восстановления.
Но универсальным законом этот показатель считать нельзя. При изменении эталонной системы или протокола оценки значение HLR может измениться.
Как эксперимент вписывается в продуктовую стратегию Floatboat
Бенчмарк соответствует более широкой продуктовой концепции Floatboat. В публичных описаниях сервис представлен как агентная рабочая среда для самостоятельных предпринимателей и небольших команд, объединяющая файлы, браузер, взаимодействие с ИИ, планирование, коммуникации и повторно используемые навыки или рабочие процессы. 1
В анонсе глобального запуска от мая 2026 года компания описала фокус на проактивных агентных сценариях, связанных с календарём, и указала Sequoia и Welight Capital среди инвесторов. 18
Такой подход рассматривает runtime как полноценный технологический слой, а не как тонкую оболочку над языковой моделью. Агенту нужно удерживать контекст между приложениями, действовать в нужный момент, соблюдать разрешения и продвигать работу без необходимости вручную восстанавливать каждый предыдущий шаг.
Что это может значить для повседневных ИИ-агентов
Если результат выдержит независимые проверки, конкурентное преимущество повседневных агентов может сместиться в сторону инфраструктуры выполнения: безопасного управления состоянием, наблюдаемости, проверки, восстановления, системы разрешений и контроля со стороны пользователя.
Это сделает стратегию выбора моделей более гибкой. Недорогие модели смогут выполнять рутинные задачи внутри надёжного runtime, а премиальные — подключаться там, где действительно требуются глубокое рассуждение или сложное суждение. Лучшим продуктом окажется не обязательно самая дешёвая или самая сильная модель сама по себе, а система, которая использует каждую модель там, где она эффективнее всего.
Главная оговорка остаётся неизменной. Самым сильным источником по эксперименту от 7 августа является технический материал Floatboat, а компания признаёт, что более широкие межмодельные сравнения используют разные harness и конфигурации оценки. Чтобы «пять побед» стали признанным отраслевым результатом, потребуются независимые повторные запуски, опубликованные артефакты оценки и более жёсткий контроль промптов, бюджетов, инструментов, повторных попыток и версий данных. 3
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «DeepSeek-V4-Flash обошёл Claude Opus 4.8 в пяти тестах — но главный вклад внёс не самодельный «мозг», а среда выполнения»?
Floatboat сообщила, что одна и та же модель DeepSeek V4 Flash опередила Claude Opus 4.8 во всех пяти проверенных агентных бенчмарках после замены только среды выполнения; независимого воспроизведения результата пока нет.
Какие ключевые моменты необходимо проверить в первую очередь?
Floatboat сообщила, что одна и та же модель DeepSeek V4 Flash опередила Claude Opus 4.8 во всех пяти проверенных агентных бенчмарках после замены только среды выполнения; независимого воспроизведения результата пока нет. При соотношении входных и выходных токенов 3:1 расчётная смешанная стоимость составила $0,175 за миллион токенов для DeepSeek против $10 для Opus — примерно в 57,1 раза дороже для Claude.
Что мне делать дальше на практике?
Заявленный эффект harness вырос с 1,9% на самых коротких задачах до 23,6% на самых длинных, что подчёркивает значение сохранения состояния, инструментов, проверки результатов и восстановления после ошибок.