Codex Harness का दावा अभी अपुष्ट—पर संदर्भ प्रबंधन ने ARC-AGI-3 प्रदर्शन बदल दिया

20 अगस्त को OpenAI द्वारा Apache 2.0 लाइसेंस के तहत Codex का ‘Harness’ नामक ओपन-सोर्स execution framework जारी किए जाने का दावा उपलब्ध आधिकारिक सामग्री से सत्यापित नहीं होता। यह बात एक द्वितीयक रिपोर्ट में कही गई है, लेकिन आधिकारिक स्रोत Codex के मूल एजेंट लूप, उसके अलग-अलग integration paths और एक अलग benchmark प्रयोग का विवरण देते हैं—जिसमें runtime state management ने मॉडल के प्रदर्शन को काफी बदल दिया ।

Codex के Harness के बारे में क्या पुष्टि होती है

OpenAI के अनुसार Codex केवल अलग-अलग prompts का जवाब देने वाला मॉडल नहीं है। इसका मूल व्यवहार एक दोहरावदार एजेंट लूप है:

1. काम की योजना बनाना।
2. कोड में बदलाव करना।
3. टेस्ट, build या linter जैसे tools चलाना।
4. परिणाम देखना।
5. विफलताओं को ठीक करना।
6. दस्तावेज़ या status अपडेट करना।
7. ज़रूरत पड़ने पर प्रक्रिया दोहराना।

यह लूप मॉडल, उपयोगकर्ता के निर्देशों, code changes, tool calls और execution environment से मिलने वाले feedback के बीच समन्वय करता है । Codex कोड पढ़, बदल और चला सकता है। इसका cloud-based workflow कई tasks को समानांतर रूप से या proactively संभाल सकता है ।

OpenAI का Codex App Server इस architecture का एक और पुष्ट हिस्सा है। यह bidirectional JSON-RPC API है, जो Codex की साझा agent logic को web app, CLI, IDE extension और macOS app जैसे अलग-अलग interfaces से जोड़ता है । Codex CLI को open-source reference implementation बताया गया है। डेवलपर मॉडल को सीधे API के ज़रिए इस्तेमाल कर सकते हैं या आसान integration के लिए Codex SDK चुन सकते हैं ।

इन स्रोतों से सिस्टम की एक व्यावहारिक तस्वीर सामने आती है: मॉडल के चारों ओर tools, state, feedback और execution runtime की एक परत, जो एजेंट को कई चरणों में काम करने देती है। हालांकि, ये स्रोत अपने-आप यह साबित नहीं करते कि OpenAI ने 20 अगस्त को नए नाम ‘Harness’ के तहत Apache 2.0 लाइसेंस वाला पैकेज उपलब्ध कराया था।

कौन-सी बातें अभी सत्यापित नहीं हैं

उपलब्ध साक्ष्य निम्न दावों की पुष्टि नहीं करते:

• 20 अगस्त को कोई रिलीज़ हुई थी;
• उस रिलीज़ का आधिकारिक नाम ‘Harness’ था;
• इसे Apache 2.0 लाइसेंस के तहत वितरित किया गया था;
• कथित पैकेज में कौन-कौन से सटीक components शामिल थे; या
• किन कंपनियों ने इसे अपनाया और उन्हें क्या परिणाम मिले।

यह दावा एक द्वितीयक रिपोर्ट में दिखाई देता है, जिसमें

codex exec

ARC-AGI-3 पर retained reasoning और compaction का असर

उपलब्ध सामग्री में सबसे स्पष्ट, source-backed परिणाम OpenAI का एक अलग प्रयोग है। GPT-5.6 Sol को ARC-AGI-3 के public task set पर standard harness के साथ चलाने पर OpenAI ने 13.3% स्कोर रिपोर्ट किया। Responses API में retained reasoning और context compaction सक्षम करने के बाद स्कोर 38.3% हो गया—यानी लगभग तीन गुना सुधार। साथ ही output-token का इस्तेमाल करीब छह गुना कम हुआ ।

इस तुलना में model weights बदलने की बात नहीं है। मुख्य अंतर यह था कि runtime अलग-अलग turns के बीच state को कैसे संभालता था:

• Retained reasoning: उपयोगी intermediate reasoning को actions के बीच सुरक्षित रखता है, ताकि मॉडल को हर चरण पर अपनी रणनीति फिर से बनाने की ज़रूरत न पड़े।
• Context compaction: पुरानी task history को केवल हटाने के बजाय उसे संक्षिप्त रूप में आगे ले जाता है, जिससे interaction लंबा होने पर भी महत्वपूर्ण संदर्भ बना रहता है।

OpenAI की builder guidance इन settings को पहले किए गए काम को दोबारा इस्तेमाल करने और लंबे task horizon में coherence बनाए रखने के तरीकों के रूप में पेश करती है । इसलिए इस परिणाम को केवल underlying model की क्षमता में तीन गुना वृद्धि नहीं, बल्कि model और runtime के संयुक्त प्रदर्शन का माप समझना अधिक सही होगा।

यह benchmark परिणाम एक सीमा के साथ आता है: इसमें public evaluation set पर दो execution configurations की तुलना की गई है। इससे यह सिद्ध नहीं होता कि वही सुधार हर agent, model, workload या production environment में दिखाई देगा।

डेवलपर आज क्या इस्तेमाल कर सकते हैं

सबसे मजबूत और पुष्ट developer takeaway कथित Apache 2.0 घोषणा नहीं, बल्कि agentic coding behavior के आसपास निर्माण के लिए OpenAI द्वारा उपलब्ध कराए गए कई रास्ते हैं:

• Direct API access: Codex prompting guide के अनुसार API सबसे अधिक customization देता है ।
• Codex SDK: जो डेवलपर हर interface को खुद assemble नहीं करना चाहते, उनके लिए SDK सरल integration path है ।
• Open-source CLI reference: OpenAI Codex CLI को ऐसा reference implementation बताता है, जिसे डेवलपर देख और अपने अनुसार बदल सकते हैं ।
• Agent execution loop: documented plan–implement–validate–repair cycle लंबे coding tasks का संचालन pattern देता है ।
• Cloud execution: Codex repositories के साथ काम कर सकता है, code चला सकता है और cloud environment में background tasks को समानांतर रूप से संभाल सकता है ।

इन capabilities के साथ एजेंट को केवल सामान्य बातचीत वाले interface तक सीमित रखने के बजाय किसी product या engineering workflow में जोड़ा जा सकता है। डेवलपर मॉडल के चारों ओर domain-specific instructions, tools, permissions, validation steps और state handling डिजाइन कर सकते हैं। यह एक दस्तावेज़ित integration दिशा है; लेकिन एकल Apache-licensed Harness release ने इन सभी हिस्सों को औपचारिक रूप से एक पैकेज में समेट दिया है—यह दावा उपलब्ध आधिकारिक स्रोतों से अब भी अपुष्ट है।

Adoption का प्रमाण रिलीज़ के दावे से कहीं सीमित है

उपलब्ध स्रोत कथित Apache-licensed framework को अपनाने वाली कंपनियों की पहचान नहीं करते। वे कानूनी, operational, research या अन्य गैर-कोडिंग workflows के लिए कंपनी-स्तरीय नतीजे भी उपलब्ध नहीं कराते।

इतना व्यापक संकेत ज़रूर मिलता है कि enterprise customers Codex का इस्तेमाल कर रहे हैं। OpenAI के अनुसार, जून तक enterprise customers के बीच Codex ने Codex और ChatGPT के संयुक्त output tokens में 64% हिस्सा बनाया । यह आंकड़ा enterprise activity का संकेत देता है, लेकिन कथित Harness package को अपनाने, किसी विशेष कंपनी की पहचान या business impact को साबित नहीं करता।

व्यावहारिक रणनीतिक अर्थ

सत्यापित pattern chat-based assistance से delegated execution की ओर बदलाव की ओर इशारा करता है। Codex मॉडल को tools, iterative feedback loop, persistent या compressed state और ऐसे execution environments के साथ जोड़ता है, जो कई चरणों में काम पूरा कर सकते हैं ।

Product teams के लिए यह architecture software repositories, internal operations, research tasks या अन्य नियंत्रित workflows के लिए specialized agents बनाने का आधार बन सकता है। ऐसे applications की गुणवत्ता केवल model choice पर निर्भर नहीं करेगी। Tool access, state retention, context limits, validation और failure recovery का design भी उतना ही महत्वपूर्ण होगा।

ARC-AGI-3 प्रयोग का स्थायी सबक यही है: harness बदलने से capability और efficiency दोनों बदल सकते हैं। लेकिन उपलब्ध साक्ष्यों के आधार पर 20 अगस्त के Apache 2.0 ‘Harness’ release को स्थापित तथ्य की तरह पेश करने के बजाय OpenAI के दस्तावेज़ित Codex runtime और API components का वर्णन करना अधिक सटीक है।