수학 AI, Gemini가 AIME 1위지만 만능 승자는 아니다

하지만 이것이 곧 모든 수학 문제에서 Gemini가 무조건 최고라는 뜻은 아닙니다. AIME는 특정한 형식의 경시 수학 평가이고, 실제 사용자는 훨씬 다양한 문제를 만납니다.

리더보드 하나로 결론을 내리기 어려운 이유

AI 수학 벤치마크는 사이트와 평가 방식에 따라 다른 결과를 보여줄 수 있습니다. Vals AI는 AIME에서 Gemini 3.1 Pro Preview를 1위로 제시하지만, LLM Stats의 AIME 2025 리더보드는 GPT-5.2 Pro와 GPT-5.2를 1위 항목으로 보여줍니다.

더 큰 흐름은 하나입니다. 최상위권 모델들이 경시 수학에서 이미 매우 높은 수준으로 몰려 있다는 점입니다. BenchLM은 상위 모델들이 AIME 2025에서 95% 이상, HMMT 2025에서 90% 이상을 기록한다고 보고합니다.

이 정도로 점수가 가까워지면, 실제 선택에서는 1~2개의 순위 차이보다 다음 요소가 더 중요해질 수 있습니다.

• 풀이 설명이 이해하기 쉬운가
• 같은 유형에서 답이 일관적인가
• 오답이 났을 때 스스로 검산하거나 수정할 수 있는가
• 응답 속도와 비용이 내 사용 방식에 맞는가
• 내가 다루는 문제 형식, 예컨대 서술형 풀이·증명·계산 코드·표 데이터에 강한가

공개 벤치마크의 큰 변수: 문제를 이미 봤을 가능성

AIME는 유용한 신호이지만, ‘처음 보는 문제를 얼마나 잘 푸는가’를 완벽하게 보여주는 시험은 아닙니다. Vals AI는 AIME 문제와 정답이 공개되어 있어, 모델이 사전학습 과정에서 해당 자료를 접했을 위험이 있다고 설명합니다.

또 Vals AI는 모델들이 2025년 문제보다 오래된 2024년 문제에서 더 좋은 성능을 보이는 경향이 있다고 보고합니다. 이는 데이터 오염 가능성과 진짜 일반화 능력에 대한 의문을 남깁니다.

쉽게 말해, AIME 점수가 매우 높다는 것은 해당 벤치마크에서 강하다는 뜻입니다. 그러나 새로 만든 비공개 문제, 특이한 형식의 문제, 실제 수업·업무에서 나오는 문제에서도 같은 신뢰도를 보장한다는 뜻은 아닙니다.

목적별로 이렇게 고르는 편이 낫다

리더보드보다 더 실용적인 방법: 내 문제로 짧게 시험하기

학교 공부, 튜터링, 경시대회 준비, 수학이 많이 들어가는 제품 기능을 위해 AI를 고른다면 공개 리더보드는 ‘후보 압축’에 쓰는 것이 좋습니다. 최종 선택 전에는 다음처럼 직접 테스트해 보세요.

1. 각 모델에 같은 새 문제를 줍니다.
2. 최종 답뿐 아니라 풀이 과정을 함께 요구합니다.
3. 가능한 경우 대입 검산, 다른 풀이, 수치 확인을 요청합니다.
4. 틀린 최종 답만 세지 말고, 그럴듯하지만 잘못된 논리도 기록합니다.
5. 내 문제 유형에서 정확하고, 설명이 명확하며, 여러 번 물어도 안정적인 모델을 고릅니다.

수학 사용 사례는 생각보다 다릅니다. 짧은 경시대회 단답형 문제를 잘 푸는 모델이 단계별 튜터링, 긴 증명, 기호 계산, 코드 기반 정량 분석에서도 항상 최선이라고 보기는 어렵습니다.

결론

AIME식 벤치마크 수학만 놓고 보면, Vals AI 기준 Gemini 3.1 Pro Preview가 98.13% 정확도로 선두입니다. 그러나 ‘수학에 가장 좋은 AI’라는 더 넓은 질문에는 하나의 보편적 승자가 있다고 말하기 어렵습니다. 최상위 모델들은 경시 수학 벤치마크에서 매우 촘촘하게 붙어 있고, 리더보드마다 순위가 다르며, 공개 AIME 데이터는 벤치마크 점수를 과신하지 말아야 할 이유가 됩니다.

따라서 가장 현실적인 답은 이렇습니다. AIME 리더보드 기준으로는 Gemini를 먼저 보되, 실제 선택은 당신이 풀 문제로 직접 검증하세요.