उत्तरप्रकाशित15 स्रोत
DeepSeek-V4-Flash की जीत में मॉडल से ज्यादा उसके Harness का हाथ?
Floatboat के अनुसार, DeepSeek V4 Flash मॉडल को बदले बिना केवल execution Harness बदलने पर वह पांचों परीक्षणों में Claude Opus 4.8 से आगे निकल गया। यह कंपनी का अपना रिपोर्ट किया हुआ परिणाम है, जिसकी स्वतंत्र पुष्टि अभी... 3:1 इनपुट टू आउटपुट अनुपात पर DeepSeek की blended API लागत $0.175 प्रति दस लाख टोकन और Opus की $1...
प्रकाशितकर्ताGPT-5.6 Luna से संपादितGPT Image 1.5 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Floatboat के अनुसार, DeepSeek V4 Flash मॉडल को बदले बिना केवल execution Harness बदलने पर वह पांचों परीक्षणों में Claude Opus 4.8 से आगे निकल गया। यह कंपनी का अपना रिपोर्ट किया हुआ परिणाम है, जिसकी स्वतंत्र पुष्टि अभी...
- 3:1 इनपुट टू आउटपुट अनुपात पर DeepSeek की blended API लागत $0.175 प्रति दस लाख टोकन और Opus की $10 बताई गई—यानी Opus लगभग 57.1 गुना महंगा।
- छोटे से लंबे कामों की ओर Harness से मिलने वाली बढ़त 1.9%, 9.6%, 12.6%, 19.9% और 23.6% रही। इससे संकेत मिलता है कि लंबे एजेंट कार्यों में state, tools, verification और recovery अधिक निर्णायक हो सकते हैं।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboat के 7 अगस्त को जारी बेंचमार्क परिणाम को इस बात के पक्के सबूत की तरह नहीं पढ़ना चाहिए कि DeepSeek-V4-Flash स्वभावतः Claude Opus 4.8 से अधिक सक्षम है। इसे बेहतर ढंग से एक कंपनी-रिपोर्टेड ablation test के रूप में समझा जा सकता है—इसमें मॉडल वही रखा गया, लेकिन उसके काम करने वाला execution Harness बदल दिया गया। Floatboat का कहना है कि इस बदलाव से कम लागत वाला वही मॉडल पांच सार्वजनिक एजेंट बेंचमार्क में प्रकाशित Opus 4.8 तुलनाओं से आगे निकल गया। 3
इस प्रयोग का अधिक उपयोगी निष्कर्ष सीमित लेकिन महत्वपूर्ण है: लंबे समय तक चलने वाले एजेंट कार्यों में मॉडल के आसपास बना सिस्टम, कई बार मॉडल की क्षमता जितना ही महत्वपूर्ण हो सकता है। हालांकि यह निष्कर्ष अभी अंतिम नहीं है, क्योंकि परीक्षण की स्वतंत्र पुनरावृत्ति सामने नहीं आई है।
Floatboat ने क्या बदला?
Floatboat के अनुसार, उसने आधिकारिक DeepSeek-V4-Flash-0731 रिलीज़, समान इनपुट और समान पैरामीटर इस्तेमाल किए। अंतर केवल इतना था कि DeepSeek के minimalist आधिकारिक Harness की तुलना Floatboat के अपने evaluation Harness से की गई। Floatboat Harness में isolated physical sandbox, workspace और file access, tools, retained state तथा परिणाम देखने, गलतियां सुधारने और काम जारी रखने वाला अधिक persistent operating loop शामिल था। 3
यह अंतर इसलिए मायने रखता है क्योंकि एजेंट किसी काम को केवल एक बार अच्छा उत्तर देकर पूरा नहीं करता। उसे लगातार environment में कार्रवाई करनी होती है, परिणाम देखना होता है, योजना अपडेट करनी होती है और पहले से किए गए काम को खराब होने से बचाना होता है।
पांच बेंचमार्क में रिपोर्ट किए गए स्कोर
Floatboat के Harness में DeepSeek-V4-Flash के बताए गए स्कोर ये रहे:
- BrowseComp: 87.80
- DeepSWE: 67.25
- Terminal Bench 2.1: 84.26
- AutomationBench: 27.50
- Toolathlon: 79.62
कंपनी का कहना है कि ये पांचों स्कोर प्रकाशित Claude Opus 4.8 तुलनाओं से बेहतर थे। 3
फिर भी headline को थोड़ा सावधानी से देखना जरूरी है। सार्वजनिक बेंचमार्क की तुलनाओं में अलग-अलग Harness, prompts, tool configurations, sampling settings और evaluation procedures इस्तेमाल हो सकते हैं। Floatboat के परीक्षण का नियंत्रित हिस्सा—यानी एक ही मॉडल को रखकर केवल Harness बदलना—अलग-अलग systems को सीधे एक leaderboard पर रखने से अधिक जानकारी देता है। इसके बावजूद यह अभी भी कंपनी द्वारा रिपोर्ट किया गया परिणाम है।
लागत में बड़ा अंतर—लेकिन सिर्फ API-token स्तर पर
रिपोर्ट के मुताबिक DeepSeek की कीमत $0.14 प्रति दस लाख input tokens और $0.28 प्रति दस लाख output tokens थी। 3:1 input-to-output अनुपात पर blended कीमत इस तरह निकलती है:
(3 × $0.14 + $0.28) ÷ 4 = $0.175 प्रति दस लाख tokens
Claude Opus 4.8 के लिए बताई गई कीमत $5 प्रति दस लाख input tokens और $25 प्रति दस लाख output tokens थी। उसी अनुपात पर:
(3 × $5 + $25) ÷ 4 = $10 प्रति दस लाख tokens
इस हिसाब से blended API-token pricing में Opus लगभग 57.1 गुना महंगा पड़ता है। 3
लेकिन इसका अर्थ यह नहीं कि पूरा task पूरा करने की लागत भी 57.1 गुना अधिक होगी। इस गणना में tool charges, compute, caching, context length, retries, engineering और Harness चलाने की लागत शामिल नहीं हैं। यह केवल model-token pricing की तुलना है, total cost of ownership का विश्लेषण नहीं।
लंबे कामों में Harness की बढ़त क्यों बढ़ी?
Floatboat ने पांच बेंचमार्क को छोटे से लंबे task horizon के क्रम में रखते हुए relative gains 1.9%, 9.6%, 12.6%, 19.9% और 23.6% बताए। कंपनी के अनुसार यह क्रम non-decreasing था: सीमित और छोटे कार्यों में Harness का असर कम रहा, जबकि कई निर्भर चरणों वाले लंबे कामों में उसका महत्व बढ़ गया। 3
लंबे horizon वाला एजेंट तब भी असफल हो सकता है, जब उसके अलग-अलग निर्णय देखने में उचित लगें। उसे अक्सर:
- सही files ढूंढकर उनमें बदलाव करना पड़ता है;
- tools को बार-बार call करके उनके परिणाम समझने पड़ते हैं;
- plan, state और intermediate files सुरक्षित रखने पड़ते हैं;
- बदलावों का परीक्षण करके failures का कारण खोजना पड़ता है;
- गलत कार्रवाई के बाद recovery करनी पड़ती है; और
- बाद के काम को खराब होने से पहले किसी edit को rollback करना पड़ता है।
कमजोर execution loop सही reasoning को भी बेकार कर सकता है—context खो सकता है, invalid tool calls कर सकता है, समय से पहले रुक सकता है या ऐसे बदलाव कर सकता है जिन्हें वापस ठीक करना मुश्किल हो। बेहतर मॉडल स्थानीय निर्णयों में मदद कर सकता है, लेकिन ऐसा environment, जो state सुरक्षित न रखे, उपयोगी feedback न दे या सुरक्षित recovery न दे, उसकी भरपाई केवल मॉडल की क्षमता से नहीं होती।
यही वजह है कि यह परिणाम सिर्फ DeepSeek और Claude की तुलना तक सीमित नहीं है। यह सवाल को “सबसे होशियार मॉडल कौन-सा है?” से बदलकर “कौन-सा model-and-runtime combination पूरे काम को भरोसेमंद ढंग से पूरा कर सकता है?” कर देता है।
Harness Leverage Ratio क्या बताता है?
Floatboat ने Harness बदलने से मिलने वाले लाभ और मॉडल upgrade से मिलने वाले लाभ की तुलना के लिए Harness Leverage Ratio (HLR) नामक metric पेश किया:
HLR = केवल Harness बदलने से मिला gain
────────────────────────────────
मजबूत reference system पर upgrade से मिला gain
HLR का मान 1 से अधिक होने का अर्थ है कि चुने गए benchmark और comparison में Harness बदलने से score में हुई बढ़त, मजबूत reference system पर जाने से मिली बढ़त से अधिक थी। HLR कोई industry standard नहीं है। इसका मान baseline, reference model, benchmark version और evaluation controls पर निर्भर करता है। 2
4
DeepSWE पर Floatboat ने बताया कि DeepSeek के Harness में Flash का स्कोर 54.4 से बढ़कर अपने Harness में 67.25 हो गया—यानी 12.85 points की बढ़त। उद्धृत Opus 4.8 परिणाम 58.0 था, जो DeepSeek baseline से 3.6 points अधिक है। इससे HLR लगभग 3.57 निकलता है। 3
Floatboat ने यह भी बताया कि पांचों बेंचमार्क में HLR सबसे छोटे task पर 0.78 से बढ़कर सबसे लंबे task पर 3.57 हो गया। यदि स्वतंत्र परीक्षणों में भी यही pattern दिखता है, तो यह संकेत देगा कि state, tool calls और recovery की जरूरत बढ़ने पर runtime सुधार असामान्य रूप से अधिक मूल्यवान हो सकते हैं। फिर भी इसे सार्वभौमिक नियम नहीं माना जा सकता—reference system या evaluation setup बदलने पर ratio भी बदल सकता है।
Floatboat की product strategy से इसका संबंध
यह बेंचमार्क Floatboat की व्यापक product positioning से मेल खाता है। सार्वजनिक विवरणों में कंपनी को solo operators और one-person businesses के लिए agent-native work environment के रूप में पेश किया गया है, जिसमें files, browsing, AI interactions, scheduling, communications और reusable skills या workflows को एक साथ लाने पर जोर है। 1 मई 2026 की launch announcement में कंपनी ने proactive, calendar-driven agent workflows पर अपना फोकस बताया था और Sequoia तथा Welight Capital को backers के रूप में सूचीबद्ध किया था।
18
इस दिशा में runtime किसी language model के ऊपर लगी पतली परत नहीं, बल्कि product की मूल परत है। एजेंट को अलग-अलग applications के बीच context बनाए रखना, सही समय पर कार्रवाई करना, permissions का सम्मान करना और हर कदम पर user से निर्देश लिए बिना प्रगति करना होता है।
रोजमर्रा के AI एजेंटों के लिए बड़ा संकेत
यदि यह परिणाम स्वतंत्र परीक्षणों में कायम रहता है, तो दैनिक उपयोग वाले एजेंटों में प्रतिस्पर्धात्मक बढ़त केवल execution model की raw intelligence से तय नहीं होगी। सुरक्षित state management, observability, verification, recovery, permissions और user control भी उतने ही महत्वपूर्ण बनेंगे।
इससे कंपनियों को अधिक लचीली model strategy मिल सकती है। भरोसेमंद runtime के भीतर routine और अच्छी तरह संरचित काम कम लागत वाले models कर सकते हैं, जबकि premium models को उन कार्यों के लिए बचाया जा सकता है जिनमें गहरी reasoning या judgment की सचमुच जरूरत हो। इसलिए सबसे अच्छा product न तो केवल सबसे सस्ता model होगा और न ही अकेले सबसे शक्तिशाली model—बल्कि वह system होगा, जो हर model को उसकी सबसे उपयोगी भूमिका में लगाए।
फिलहाल सबसे बड़ा caveat बना हुआ है। 7 अगस्त के प्रयोग के लिए उपलब्ध सबसे मजबूत evidence Floatboat का अपना technical brief है। कंपनी खुद मानती है कि व्यापक cross-model comparisons में अलग-अलग Harness और evaluation configurations का इस्तेमाल हुआ है। “पांचों में जीत” को स्थापित industry result मानने से पहले independent reruns, जारी किए गए evaluation artifacts और prompts, budgets, tools, retries तथा data versions पर अधिक कड़े controls जरूरी होंगे। 3
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"DeepSeek-V4-Flash की जीत में मॉडल से ज्यादा उसके Harness का हाथ?" का संक्षिप्त उत्तर क्या है?
Floatboat के अनुसार, DeepSeek V4 Flash मॉडल को बदले बिना केवल execution Harness बदलने पर वह पांचों परीक्षणों में Claude Opus 4.8 से आगे निकल गया। यह कंपनी का अपना रिपोर्ट किया हुआ परिणाम है, जिसकी स्वतंत्र पुष्टि अभी...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Floatboat के अनुसार, DeepSeek V4 Flash मॉडल को बदले बिना केवल execution Harness बदलने पर वह पांचों परीक्षणों में Claude Opus 4.8 से आगे निकल गया। यह कंपनी का अपना रिपोर्ट किया हुआ परिणाम है, जिसकी स्वतंत्र पुष्टि अभी... 3:1 इनपुट टू आउटपुट अनुपात पर DeepSeek की blended API लागत $0.175 प्रति दस लाख टोकन और Opus की $10 बताई गई—यानी Opus लगभग 57.1 गुना महंगा।
मुझे अभ्यास में आगे क्या करना चाहिए?
छोटे से लंबे कामों की ओर Harness से मिलने वाली बढ़त 1.9%, 9.6%, 12.6%, 19.9% और 23.6% रही। इससे संकेत मिलता है कि लंबे एजेंट कार्यों में state, tools, verification और recovery अधिक निर्णायक हो सकते हैं।