गणित के लिए सबसे अच्छा AI कौन सा है? AIME में Gemini आगे, पर तस्वीर पूरी नहीं

सबसे बड़ा पेंच: public benchmarks में contamination का खतरा

AIME एक उपयोगी संकेत है, लेकिन यह fresh reasoning का perfect test नहीं है। Vals AI खुद नोट करता है कि AIME के सवाल और जवाब सार्वजनिक रूप से उपलब्ध हैं, इसलिए जोखिम है कि models ने pretraining के दौरान इन्हें देखा हो.

Vals AI यह भी बताता है कि models अक्सर पुराने 2024 questions पर नए 2025 set की तुलना में बेहतर प्रदर्शन करते हैं, जिससे data contamination और true generalization पर सवाल उठते हैं. सरल शब्दों में: बहुत ऊंचा AIME score प्रभावशाली है, पर यह गारंटी नहीं देता कि मॉडल बिल्कुल नए, निजी या असामान्य सवालों पर भी उतना ही भरोसेमंद रहेगा।

जरूरत के हिसाब से कैसे चुनें

सिर्फ leaderboard नहीं, अपना छोटा टेस्ट भी चलाइए

अगर आप AI को पढ़ाई, tutoring, प्रतियोगिता अभ्यास या math-heavy काम में इस्तेमाल करना चाहते हैं, तो public leaderboards से shortlist बनाइए—लेकिन फैसला अपनी जरूरत पर कीजिए। एक छोटा, साफ़ test काफी मदद कर सकता है:

1. हर model को वही fresh सवाल दीजिए।
2. सिर्फ final answer नहीं, पूरा derivation भी मांगिए।
3. जहां संभव हो, substitution, alternate method या numerical check से verification करवाइए।
4. केवल गलत final answer नहीं, flawed reasoning भी नोट कीजिए।
5. वही model चुनिए जो आपके सवालों पर accurate, समझने लायक और consistent हो।

यह फर्क इसलिए जरूरी है क्योंकि short-answer contest problems में शानदार मॉडल जरूरी नहीं कि step-by-step tutoring, लंबे proofs, symbolic manipulation या code-based quantitative work में भी आपके लिए सबसे बेहतर साबित हो।

निष्कर्ष

AIME-style benchmark math के लिए Vals AI की सूची में Gemini 3.1 Pro Preview 98.13% सटीकता के साथ आगे है. लेकिन गणित के लिए सबसे अच्छा AI कौन सा है, इसका universal answer अभी स्रोतों से नहीं निकलता: frontier models competition benchmarks पर बहुत करीब हैं, leaderboards अलग-अलग leaders दिखा सकते हैं, और public AIME data के कारण fresh problems पर खुद test करना जरूरी है.