studioglobal
ट्रेंडिंग डिस्कवर
उत्तरप्रकाशित10 स्रोत

GPT-5.5 बनाम Claude Opus 4.7: benchmark में Claude, workflow में GPT-5.5

Claude Opus 4.7 public coding agent benchmark में आगे दिखता है: VentureBeat ने SWE bench Pro पर 64.3% रिपोर्ट किया, जबकि Interesting Engineering ने GPT 5.5 के लिए 58.6% बताया।[33][39] GPT 5.5 उन लोगों के लिए मजबूत विकल्प है जो ChatGPT/Codex में code, online research, analysis, documents, spreadsheets और tool based w...

Studio Global AI के साथ खोजें और तथ्यों की जांच करेंडिस्कवर से और अधिक ब्राउज़ करें
18K0
Minh họa so sánh GPT-5.5 và Claude Opus 4.7 trong benchmark, coding-agent và workflow AI
GPT-5.5 vs Claude Opus 4.7: Claude nhỉnh benchmark, GPT-5.5 mạnh workflowẢnh minh họa cho cuộc so sánh GPT-5.5 và Claude Opus 4.7.
AI संकेत

Create a landscape editorial hero image for this Studio Global article: GPT-5.5 vs Claude Opus 4.7: Claude nhỉnh benchmark, GPT-5.5 mạnh workflow. Article summary: Claude Opus 4.7 hiện có lợi thế benchmark công khai cho coding agent với 64,3% SWE bench Pro so với báo cáo 58,6% của GPT 5.5, nhưng chưa có head to head độc lập cùng điều kiện nên chưa thể gọi model nào thắng toàn di.... Topic tags: ai, openai, anthropic, chatgpt, claude. Reference image context from search candidates: Reference image 1: visual subject "# Claude Opus 4.7 vs GPT 5.5: Full Comparison (April 2026). claude-opus-4-7-vs-gpt-5-5. Anthropic dropped Claude Opus 4.7 on April 16. Both with 1M token context windows. Both clai" source context "Claude Opus 4.7 vs GPT 5.5: Full Comparison (April 2026) - FwdSlash" Reference image 2: visual subject "# Claude Opus 4.7 vs GPT 5.5: Full Comparison (April 2026). claude-opus-4-7-v

openai.com

GPT-5.5 और Claude Opus 4.7 की तुलना को सिर्फ leaderboard की दौड़ मानना सही नहीं होगा। अभी उपलब्ध public sources के हिसाब से Claude Opus 4.7 coding-agent benchmarks में ज्यादा मजबूत संकेत देता है, जबकि GPT-5.5 ChatGPT/Codex के अंदर real-world workflow के लिए ज्यादा आकर्षक दिखता है—खासकर code, research, analysis, documents, spreadsheets और tools के बीच काम कराने में।[13][20][25][33][39]

छोटा फैसला: कोई एक सर्वश्रेष्ठ विजेता नहीं

अगर सवाल है कि दोनों में कौन पूरी तरह बेहतर है, तो ईमानदार जवाब है: अभी पर्याप्त evidence नहीं है। उपलब्ध आंकड़े अलग-अलग sources से आते हैं, और वे किसी एक independent head-to-head test जैसे नहीं हैं जिसमें दोनों models को same prompt, same tools, same token budget, same harness और same inference conditions पर चलाया गया हो।[33][39][41]

फिर भी current signals से एक practical तस्वीर बनती है:

  • Coding-agent और public benchmark priority है: Claude Opus 4.7 की तरफ झुकाव बनता है।[33][39]
  • ChatGPT/Codex में multi-step workflow priority है: GPT-5.5 पहले try करने लायक है।[13][20][25]
  • Product deployment करना है: दोनों को अपने real workload पर test करें, क्योंकि API status, pricing और token usage अलग हो सकते हैं।[1][8][25][26]

जल्दी समझने के लिए तुलना

पहलूGPT-5.5Claude Opus 4.7क्या याद रखें
Launch और accessOpenAI ने GPT-5.5 को 23 अप्रैल 2026 को पेश किया; OpenAI docs के अनुसार यह ChatGPT और Codex में available है, API availability coming soon है।[24][25]Anthropic docs के अनुसार Claude Opus 4.7 को 16 अप्रैल 2026 को Claude Platform पर launch किया गया।[1]ChatGPT/Codex users के लिए GPT-5.5 ज्यादा सीधा रास्ता है; API deployment के लिए quoted sources में Opus 4.7 की स्थिति ज्यादा स्पष्ट है।[1][25]
Coding-agentInteresting Engineering ने GPT-5.5 को SWE-Bench Pro पर 58.6% बताया। OpenAI ने इसे Codex में complex coding, computer use, knowledge work और research workflows के लिए रखा है।[13][39]VentureBeat ने Opus 4.7 को SWE-bench Pro पर 64.3% बताया।[33]सिर्फ इन public SWE-bench Pro numbers को देखें तो Opus 4.7 आगे है; लेकिन final choice अपने repo पर test करके करें।[33][39]
ReasoningLLM Stats GPT-5.5 को GPQA पर लगभग 0.94 दिखाता है।[41]VentureBeat ने Opus 4.7 के लिए GPQA Diamond पर 94.2% और GDPVal-AA पर Elo 1753 रिपोर्ट किया; LLM Stats भी Opus 4.7 को GPQA पर लगभग 0.94 दिखाता है।[33][41]Opus के कुछ benchmark signals ज्यादा चमकदार हैं, लेकिन हर reasoning task में gap साफ नहीं दिखता।[33][41]
Knowledge workflowOpenAI GPT-5.5 को code writing, online research, information analysis, documents, spreadsheets और tools के बीच काम करने वाले model के रूप में describe करता है।[20]Anthropic Opus 4.7 को complex reasoning और agentic coding के लिए अपना सबसे सक्षम generally available model बताता है।[1]GPT-5.5 workflow और integration में मजबूत दिखता है; Opus 4.7 reasoning/coding-agent angle से मजबूत candidate है।[1][13][20][25]
Cost और tokensOpenAI pricing page GPT-5.5 को coming soon दिखाता है और input price $5.00 प्रति 10 लाख tokens बताता है।[26]Anthropic ने Opus 4.7 के लिए Opus 4.6 जैसा $5/$25 प्रति MTok pricing बताया है।[1] नया tokenizer समान input को content type के हिसाब से करीब 1.0–1.35× tokens में map कर सकता है।[8]सिर्फ sticker price न देखें; अपने prompts, tool calls, outputs और long sessions पर actual token cost मापें।[8][26]

Coding-agent: Claude Opus 4.7 को benchmark बढ़त

Coding-agent यानी ऐसा AI जो सिर्फ code snippet नहीं लिखता, बल्कि issue समझता है, repo में context ढूंढता है, patch बनाता है और कभी-कभी tests या tools के साथ काम करता है। इस narrow use case में Claude Opus 4.7 के पक्ष में public benchmark signal ज्यादा साफ है। VentureBeat ने Opus 4.7 को SWE-bench Pro पर 64.3% रिपोर्ट किया, जबकि Interesting Engineering ने GPT-5.5 के लिए SWE-Bench Pro पर 58.6% बताया।[33][39]

इसका मतलब यह नहीं है कि Claude हर codebase में GPT-5.5 से बेहतर ही निकलेगा। Coding benchmarks tool access, test harness, prompt style, repo complexity, token limit और scoring method पर बहुत निर्भर करते हैं। इसलिए सही निष्कर्ष यह है: quoted public numbers में Opus 4.7 आगे दिखता है, लेकिन आपके production repo पर अपना evaluation जरूरी है।[33][39]

GPT-5.5 को coding के लिए कमतर मानना भी जल्दबाजी होगी। OpenAI के Codex changelog के अनुसार GPT-5.5 Codex में complex coding, computer use, knowledge work और research workflows के लिए नया frontier model है।[13] अगर आपका developer workflow सिर्फ bug fix नहीं, बल्कि system समझना, context जुटाना, docs बनाना, tools चलाना और लंबी task chain complete करना है, तो Codex integration GPT-5.5 के पक्ष में बड़ा practical point है।[13][20]

Reasoning: Opus के numbers मजबूत, पर GPT-5.5 बहुत पीछे नहीं दिखता

Reasoning benchmarks में Opus 4.7 के कुछ numbers ज्यादा प्रभावशाली हैं। VentureBeat ने Opus 4.7 के लिए GPQA Diamond पर 94.2% और GDPVal-AA पर Elo 1753 रिपोर्ट किया।[33] ये signals complex reasoning और knowledge-work tasks के लिए अच्छे हैं, लेकिन किसी एक benchmark को हर तरह की reasoning का पूरा प्रतिनिधि मानना ठीक नहीं होगा।[33]

दूसरी तरफ, LLM Stats में Claude Opus 4.7 और GPT-5.5 दोनों GPQA पर लगभग 0.94 के आसपास दिखते हैं।[41] इसलिए बात को बहुत ज्यादा बढ़ा-चढ़ाकर कहना ठीक नहीं होगा: Opus 4.7 के पास कुछ public benchmark points में मजबूत evidence है, लेकिन इससे यह साबित नहीं होता कि GPT-5.5 हर reasoning scenario में कमजोर है।[33][41]

Workflow में GPT-5.5 क्यों अलग दिखता है

GPT-5.5 की सबसे बड़ी pitch leaderboard नहीं, बल्कि काम पूरा कराने वाला workflow है। OpenAI System Card के अनुसार GPT-5.5 complex, real-world work के लिए बनाया गया model है—जिसमें code लिखना, online research करना, information analyze करना, documents और spreadsheets बनाना, और काम पूरा करने के लिए tools के बीच move करना शामिल है।[20]

OpenAI docs यह भी कहते हैं कि GPT-5.5 अभी ChatGPT और Codex में available है, जबकि API availability coming soon है।[25] Codex changelog इसे complex coding, computer use, knowledge work और research workflows के लिए OpenAI का नया frontier model बताता है।[13]

इसलिए अगर आप ChatGPT या Codex में रोज काम करते हैं—जैसे files analyze करना, code review, documentation, planning, research, spreadsheet बनाना या कई steps में output तैयार करना—तो GPT-5.5 को जल्दी test करना समझदारी होगी।[13][20][25]

API, pricing और tokenizer: यहीं कई teams गलती करती हैं

Model चुनते समय benchmark सिर्फ आधी कहानी है। बाकी आधी कहानी है: API access अभी है या नहीं, input-output pricing क्या है, tokenizer कितना token count बना रहा है, model कितना लंबा output देता है, कितनी tool calls लगती हैं और actual workload पर cost कितनी बैठती है।[1][8][25][26]

OpenAI API docs के मुताबिक GPT-5.5 फिलहाल ChatGPT और Codex में available है, और API availability coming soon है।[25] OpenAI pricing page GPT-5.5 को coming soon दिखाता है और input price $5.00 प्रति 10 लाख tokens बताता है।[26]

Anthropic side पर release notes कहते हैं कि Claude Opus 4.7 Claude Platform पर launch हो चुका है और Opus 4.6 जैसा $5/$25 प्रति MTok pricing रखता है।[1] लेकिन Anthropic ने यह भी बताया है कि Opus 4.7 का updated tokenizer समान input को content type के हिसाब से करीब 1.0–1.35× tokens में map कर सकता है; साथ ही high effort levels पर model ज्यादा think कर सकता है, खासकर later agentic turns में, जिससे output tokens बढ़ सकते हैं।[8]

सीधी बात: benchmark में बेहतर model भी आपके लिए महंगा या धीमा साबित हो सकता है, अगर आपका workload लंबा है, बहुत tool calls करता है या cost control tight है।[8]

किसे चुनें?

Claude Opus 4.7 चुनें अगर:

  • आपका मुख्य use case coding-agent है और आप public benchmark signal को ज्यादा महत्व देते हैं, खासकर SWE-bench Pro जैसे tests को।[33][39]
  • आपको complex reasoning और agentic coding के लिए Anthropic का सबसे सक्षम generally available model चाहिए।[1]
  • आप Claude Platform के जरिए deploy कर रहे हैं और tokenizer change का cost impact अपने workload पर माप सकते हैं।[1][8]

GPT-5.5 चुनें अगर:

  • आप ChatGPT या Codex में काम करते हैं और code, research, analysis, documents, spreadsheets तथा tool use वाला multi-step workflow चलाते हैं।[13][20][25]
  • आपके लिए model की product integration उतनी ही अहम है जितना benchmark score।[13][25]
  • आप ऐसा model चाहते हैं जिसे OpenAI complex, real-world work के लिए position कर रहा है।[20]

दोनों test करें अगर:

  • आपके पास private codebase, internal data, domain-specific quality bar या multi-tool agent workflow है।
  • Model choice से operating cost, latency, task completion rate या user experience पर बड़ा असर पड़ेगा।
  • आपको quality, stability, token count, retries और long-task completion को साथ-साथ optimize करना है।

अपने workload पर fair test कैसे करें

अगर फैसला गंभीर है, तो छोटी लेकिन realistic evaluation बनाइए:

  1. अपने असली tasks लें: repo bugs, data analysis prompts, research tasks, document generation या tool-heavy workflows।
  2. दोनों models को समान input, समान files, समान tool permissions, समान time limit और समान scoring rules दें।
  3. सिर्फ जवाब के आत्मविश्वास को नहीं, final output को grade करें।
  4. Test pass/fail, factual errors, retries, token usage, time और estimated cost रिकॉर्ड करें।
  5. Coding-agent, reasoning, writing, data analysis, spreadsheet और tool use को अलग-अलग categories में मापें।

यह जरूरी इसलिए है क्योंकि current picture एकतरफा नहीं है: Claude Opus 4.7 public coding/reasoning benchmarks में मजबूत signal देता है, जबकि GPT-5.5 ChatGPT/Codex के अंदर real-world multi-step workflow के लिए ज्यादा गहराई से integrated दिखता है।[13][20][25][33][39]

निष्कर्ष

Benchmark-first नजरिए से Claude Opus 4.7 आगे दिखता है। VentureBeat ने Opus 4.7 को SWE-bench Pro पर 64.3%, GPQA Diamond पर 94.2% और GDPVal-AA पर Elo 1753 रिपोर्ट किया।[33]

Workflow-first नजरिए से GPT-5.5 ज्यादा आकर्षक है। OpenAI GPT-5.5 को code, online research, information analysis, documents, spreadsheets और tools के बीच काम करने वाले model के रूप में describe करता है, और OpenAI docs के अनुसार यह ChatGPT और Codex में available है।[20][25]

सबसे practical फैसला यही है: Claude Opus 4.7 की benchmark बढ़त साफ है; GPT-5.5 की workflow बढ़त साफ है; लेकिन अभी किसी एक model को हर use case में सबसे मजबूत कहना जल्दबाजी होगी।

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

मुख्य निष्कर्ष

  • Claude Opus 4.7 public coding agent benchmark में आगे दिखता है: VentureBeat ने SWE bench Pro पर 64.3% रिपोर्ट किया, जबकि Interesting Engineering ने GPT 5.5 के लिए 58.6% बताया।[33][39]
  • GPT 5.5 उन लोगों के लिए मजबूत विकल्प है जो ChatGPT/Codex में code, online research, analysis, documents, spreadsheets और tool based workflow पर काम करते हैं।[13][20][25]
  • API और लागत के मोर्चे पर फर्क अहम है: OpenAI docs में GPT 5.5 API availability coming soon है, जबकि Anthropic ने Opus 4.7 को Claude Platform पर launch बताया; Opus 4.7 का नया tokenizer समान input को करीब 1.0–1.35× toke...

लोग पूछते भी हैं

"GPT-5.5 बनाम Claude Opus 4.7: benchmark में Claude, workflow में GPT-5.5" का संक्षिप्त उत्तर क्या है?

Claude Opus 4.7 public coding agent benchmark में आगे दिखता है: VentureBeat ने SWE bench Pro पर 64.3% रिपोर्ट किया, जबकि Interesting Engineering ने GPT 5.5 के लिए 58.6% बताया।[33][39]

सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?

Claude Opus 4.7 public coding agent benchmark में आगे दिखता है: VentureBeat ने SWE bench Pro पर 64.3% रिपोर्ट किया, जबकि Interesting Engineering ने GPT 5.5 के लिए 58.6% बताया।[33][39] GPT 5.5 उन लोगों के लिए मजबूत विकल्प है जो ChatGPT/Codex में code, online research, analysis, documents, spreadsheets और tool based workflow पर काम करते हैं।[13][20][25]

मुझे अभ्यास में आगे क्या करना चाहिए?

API और लागत के मोर्चे पर फर्क अहम है: OpenAI docs में GPT 5.5 API availability coming soon है, जबकि Anthropic ने Opus 4.7 को Claude Platform पर launch बताया; Opus 4.7 का नया tokenizer समान input को करीब 1.0–1.35× toke...

मुझे आगे किस संबंधित विषय का पता लगाना चाहिए?

अन्य कोण और अतिरिक्त उद्धरणों के लिए "Claude Security पब्लिक बीटा: Anthropic का AI कोड-सुरक्षा स्कैनर क्या करता है" के साथ जारी रखें।

संबंधित पृष्ठ खोलें

मुझे इसकी तुलना किससे करनी चाहिए?

इस उत्तर को "Grok 4.3 API: 1M context, सस्ती token pricing और xAI की वॉइस रणनीति" के सामने क्रॉस-चेक करें।

संबंधित पृष्ठ खोलें

अपना शोध जारी रखें

IT Consulting Orange County CA, IT Services, IT Outsourcing - Technijian. # Anthropic Claude Security for Enterprise: What You Need to Know. Anthropic has officially opened Claude

Claude Security पब्लिक बीटा: Anthropic का AI कोड-सुरक्षा स्कैनर क्या करता है

Claude Security पब्लिक बीटा: AI से कंपनी के कोड में कमजोरियां कैसे खोजेगा Anthropic

抽象 AI 介面顯示 Grok 4.3 API、1M context、token 價格與語音波形

Grok 4.3 API: 1M context, सस्ती token pricing और xAI की वॉइस रणनीति

Grok 4.3 API: 1M context, सस्ती token pricing और xAI की वॉइस रणनीति

For the part of factors contributing to the issue, please use Logical synthesis of factors And using leadership frameworks, and gap analysis

हांगकांग के वृद्ध-देखभाल गृहों में ‘डाइंग इन प्लेस’ क्यों कठिन है

हांगकांग के RCHE में ‘डाइंग इन प्लेस’: बाधाओं का नेतृत्व-आधारित विश्लेषण

小米 Q5、MIX 5 与小米 18 系列传闻的概念手机图

Xiaomi Q5 शायद MIX 5 नहीं: नया संकेत Xiaomi 18 सीरीज़ की ओर

Xiaomi Q5 शायद MIX 5 नहीं: नया संकेत Xiaomi 18 सीरीज़ की ओर

अनुसंधान वार्तालाप

आप

शोध प्रश्न

So sánh sức mạnh của GPT 5.5 vs Claude Opus 4.7

Studio Global AI40 स्रोत

उद्धृत उत्तर

Nếu chốt nhanh: Claude Opus 4.7 hiện có lợi thế rõ hơn trên các benchmark công khai về reasoning/coding-agent, còn GPT-5.5 được OpenAI định vị là model reasoning mạnh nhất trong ChatGPT cho công việc khó và workflow nhiều bước.[2][10][15] Nhưng để nói model nào “mạnh hơn toàn diện” thì hiện vẫn là Insufficient evidence, vì tôi chưa thấy bộ head-to-head độc lập, cùng điều kiện, đối chiếu trực tiếp GPT-5.5 với Opus 4.7 trong các nguồn tôi kiểm được.[2][15]

  • Anthropic mô tả Claude Opus 4.7 là model generally available mạnh nhất của họ cho complex reasoning và agentic coding.[2]

  • OpenAI mô tả GPT-5.5 Thinking là model reasoning mạnh nhất trong ChatGPT, và nói nó tốt hơn các Thinking model trước ở spreadsheet, editing, data analysis, coding, hiểu mục tiêu phức tạp, dùng tool, và tự kiểm tra kết quả.[15]

  • Về bằng chứng benchmark công khai, một nguồn tổng hợp báo cáo từ đợt ra mắt cho biết Opus 4.7 đạt 64.3% trên SWE-bench Pro, 94.2% trên GPQA Diamond, và Elo 1753 trên GDPVal-AA; nguồn này cũng nhận định Opus 4.7 “narrowly” lấy lại vị trí dẫn đầu trong nhóm model generally available.[10]

  • Trong các nguồn tôi truy xuất được, tôi không thấy OpenAI công bố ngay một bảng benchmark chính thức đối chiếu trực tiếp GPT-5.5 với Claude Opus 4.7 theo cùng test harness, nên không thể kết luận công bằng rằng GPT-5.5 đã vượt Opus 4.7 trên mọi mặt.[8][15]

  • Nếu ưu tiên code agent, benchmark công khai, và complex reasoning có số liệu thấy ngay, tôi sẽ nghiêng nhẹ về Claude Opus 4.7.[2][10]

  • Nếu ưu tiên trải nghiệm ChatGPT cho công việc tri thức tổng hợp như phân tích dữ liệu, chỉnh sửa nội dung, spreadsheet, và workflow nhiều bước có dùng tool, tôi sẽ nghiêng nhẹ về GPT-5.5.[15]

Nếu muốn, tôi có thể làm tiếp một bản so sánh rất thực dụng theo 3 tiêu chí: code, viết/phân tích, và giá/tốc độ.

सूत्र

  • [1] Claude Platform - Claude API Docsdocs.anthropic.com

    April 16, 2026 We've launched Claude Opus 4.7, our most capable generally available model for complex reasoning and agentic coding, at the same $5 / $25 per MTok pricing as Opus 4.6. See What's new in Claude Opus 4.7 for capability improvements, new feature...

  • [8] Introducing Claude Opus 4.7 - Anthropicanthropic.com

    Migrating from Opus 4.6 to Opus 4.7 Opus 4.7 is a direct upgrade to Opus 4.6, but two changes are worth planning for because they affect token usage. First, Opus 4.7 uses an updated tokenizer that improves how the model processes text. The tradeoff is that...

  • [13] Codex changelog - OpenAI Developersdevelopers.openai.com

    Changelog Feature Maturity Open Source April 2026 March 2026 February 2026 January 2026 December 2025 November 2025 October 2025 September 2025 August 2025 June 2025 May 2025 Codex changelog Latest updates to Codex, OpenAI’s coding agent All updatesGeneralC...

  • [20] GPT-5.5 System Cardopenai.com

    GPT-5.5 System Card OpenAI Skip to main content Log inTry ChatGPT(opens in a new window) Research Products Business Developers Company Foundation(opens in a new window) GPT-5.5 System Card OpenAI April 23, 2026 SafetyPublication GPT‑5.5 System Card Read the...

  • [24] Introducing GPT-5.5openai.com

    Introducing GPT-5.5 OpenAI Skip to main content Log inTry ChatGPT(opens in a new window) Research Products Business Developers Company Foundation(opens in a new window) Try ChatGPT(opens in a new window)Login OpenAI Table of contents Model capabilities Next...

  • [25] Models | OpenAI APIdevelopers.openai.com

    Legacy APIs Assistants API Migration guide Deep dive Tools Resources Terms and policies Changelog Your data Permissions Rate limits Deprecations MCP for deep research Developer mode ChatGPT Actions Introduction Getting started Actions library Authentication...

  • [26] API Pricing - OpenAIopenai.com

    OpenAI API Pricing OpenAI Skip to main content Log inTry ChatGPT(opens in a new window) Research Products Business Developers Company Foundation(opens in a new window) OpenAI API Pricing OpenAI API Pricing Contact sales Flagship models Our frontier models a...

  • [33] Anthropic releases Claude Opus 4.7, narrowly retaking lead for most ...venturebeat.com

    Knowledge Work (GDPVal-AA): It achieved an Elo score of 1753, notably outperforming GPT-5.4 (1674) and Gemini 3.1 Pro (1314). Agentic Coding (SWE-bench Pro): The model resolved 64.3% of tasks, compared to 53.4% for its predecessor. Graduate-Level Reasoning...

  • [39] OpenAI's GPT-5.5 masters agentic coding with 82.7% benchmark ...interestingengineering.com

    On SWE-Bench Pro, it reached 58.6%, solving more real-world GitHub issues in a single pass than earlier versions. The model also outperformed its predecessor in long-horizon engineering tasks measured by internal benchmarks. These tasks often take human dev...

  • [41] GPT-5.5: Pricing, Benchmarks & Performancellm-stats.com

    9Image 42GPT-5 mini 0.22 10Image 43o3 0.16 GPQAView → 4 of 10 Image 44: LLM Stats Logo A challenging dataset of 448 multiple-choice questions written by domain experts in biology, physics, and chemistry. Questions are Google-proof and extremely difficult, w...