답변게시됨21 소스
GPT-6 Astra는 1등인가, 뒤처진 것인가? 벤치마크 순위가 다른 이유
Artificial Analysis의 제공 비교 페이지에서는 GPT 6 Astra(max) 55점, Claude Fable 5.1 57점으로 나타난다. ARC AGI 3에서 Astra는 중립적 Standard 하니스로 62.7%, OpenAI Provider Adapter 하니스로 99.9%를 기록했다.
게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- Artificial Analysis의 제공 비교 페이지에서는 GPT 6 Astra(max) 55점, Claude Fable 5.1 57점으로 나타난다.
- ARC AGI 3에서 Astra는 중립적 Standard 하니스로 62.7%, OpenAI Provider Adapter 하니스로 99.9%를 기록했다.
- API 토큰 단가만으로 업무 비용을 판단할 수 없다. 캐시 활용, 출력 토큰 수, 재시도·도구 호출 횟수, 최종 성공률까지 포함한 ‘완료 과업당 비용’을 비교해야 한다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: How did independent evaluations of OpenAI’s GPT-6 Astra, released September 3, 2026, reach conflicting conclusions about its standing versus. Article summary: The claimed rankings are not directly comparable, and several of the precise figures in the question cannot be independently substantiated from the primary evaluation pages available to me. In particular, the available A. Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
GPT-6 Astra를 둘러싼 헤드라인만 보면 혼란스러울 수 있다. 어떤 순위표에서는 선두처럼 보이고, 다른 곳에서는 동률 또는 열세로 나온다. 그러나 이는 대개 서로 다른 시험을 동일한 ‘지능 순위’로 읽으면서 생기는 문제다.
종합 리더보드, 인터랙티브 에이전트 시험, 형식수학 벤치마크, API 가격은 각각 다른 조건과 능력을 측정한다. 따라서 하나의 점수만으로 모든 업무에 통하는 모델 순위를 정할 수는 없다.
종합 점수는 ‘지능계’가 아니라 평가 설계의 결과다
복합 지수는 여러 과업을 하나의 숫자로 합친다. 어떤 과업을 넣었는지, 과업별 비중을 어떻게 뒀는지, 어떤 모델 설정을 시험했는지, 추론 노력·도구 사용·비용을 어떻게 처리했는지에 따라 결과가 달라진다. 폭넓은 작업군에서 강한 모델은 한 종합 지수에서 앞설 수 있지만, 코딩 비중이 높거나 에이전트 중심인 지수에서는 뒤질 수 있다.
점수는 시점과 설정에도 민감하다. 제공된 Artificial Analysis 비교 페이지는 GPT-6 Astra(max)를 55점, Claude Fable 5.1을 57점으로 표시한다. 이는 일부 이전 비교 기사에서 언급한 61점과 66점과 다르다. 3 특정 순간의 수치를 영구적인 서열로 받아들이기보다, 평가 날짜와 모델 설정을 함께 기록해야 하는 이유다.
질문에 포함된 Epoch AI의 169점 Capabilities Index 및 267개 모델 중 1위라는 주장은 제공된 Epoch 1차 자료에서 방법론까지 확인되지 않는다. 해당 리더보드, 과업 가중치, 모델 설정, 불확실성 정보가 공개되기 전까지는 결정적 비교 근거로 쓰기 어렵다.
ARC-AGI-3: 하니스가 결과를 바꿨다
ARC-AGI-3는 정적인 문항 시험이 아니라 인터랙티브 벤치마크다. 에이전트는 낯선 환경을 탐색하고, 현장에서 목표를 파악하며, 적응 가능한 세계 모델을 만들고 경험을 통해 전략을 수정해야 한다. 50
ARC Prize가 발표한 Astra의 Semi-Private 평가 최고 성적은 다음과 같다.
| 평가 조건 | 최고 보고 점수 | 실행당 보고 비용 |
|---|---|---|
| Standard 하니스, 최대 추론 | 62.7% | 26,098달러 |
| OpenAI Provider Adapter, 고추론 | 99.9% | 18,817달러(약 1만9,000달러) |
이 차이는 단순한 기술적 부연이 아니다. Standard 하니스는 최소한의 제공사 중립 인터페이스를 사용하며, 에이전트가 스스로 유지하기로 선택한 메모만 다음 요청에 넘길 수 있다. 반면 Provider Adapter는 제공사의 불투명한 추론 상태를 요청 사이에 보존하고, 긴 대화에는 컨텍스트 압축을 사용할 수 있다. 51
53
따라서 Provider Adapter 점수는 Astra와 OpenAI의 네이티브 컨텍스트 관리 통합이 결합된 성능을 뜻한다. 이는 실제 제품 역량으로서 의미가 있지만, 중립 인터페이스에서만 평가된 다른 모델과 자동으로 동등 비교할 수는 없다. ARC Prize도 두 하니스가 서로 다른 질문에 답하는 별도 평가 조건이라고 명시한다. 53
ARC Prize는 Astra가 전체 레벨의 **96%**에서 시험에 참여한 인간의 중앙값보다 적은 행동 수를 사용했다고도 밝혔다. 52 다만 이는 행동 효율성 지표다. 모든 업무에서 인간보다 전반적으로 낫다는 뜻도 아니고, 실제 업무의 완료율·신뢰성·총비용을 대신하는 수치도 아니다.
FrontierMath Erdős가 보여주는 것과 보여주지 않는 것
FrontierMath Erdős는 2026년 8월 기준 미해결 상태였던 어려운 에르되시 문제 68개로 구성된다. 시스템은 각 추측을 증명하거나 반증하는 Lean 코드를 작성해야 하며, 제출한 증명은 기계적으로 검증할 수 있다. 33
37
이 설계는 형식수학의 정확성을 매우 엄격하게 측정한다. 하지만 수학 성적 하나로 코딩, 에이전트 수행, 일반 추론의 종합 순위를 정할 수는 없다. 이 시험은 명시된 예산 아래에서 매우 좁고 어려운 형식 증명 과업을 해결하는 능력을 측정한다.
제공된 1차 자료만으로는 Astra의 총 해결 문제 수, 표준화 예산과 비표준 실행 예산, FrontierMath Erdős 평가에서 제외된 결과를 확인할 수 없다. 이런 세부사항은 Epoch의 개별 결과표 또는 평가 보고서에서 예산과 참가·제외 기준을 함께 확인한 뒤에만 인용해야 한다.
별도로 Epoch의 FrontierMath: Open Problems 페이지는 사전 출시 Astra 평가가 유리점 648개를 가진 종수 2 곡선을 찾았다고 기록한다. 이는 FrontierMath Erdős 점수가 아니라 별개의 벤치마크 결과이므로 혼동해서는 안 된다. 43
토큰 가격은 과업 가격이 아니다
OpenAI는 GPT-6 Astra의 API 가격을 입력 토큰 100만 개당 10달러, 출력 토큰 100만 개당 50달러로 제시한다. 19 제공된 비교 보도에 따르면 Claude Fable 5.1도 같은 입력·출력 표면 가격을 적용하지만, 캐시 입력은 Astra의 100만 토큰당 1달러에 비해 0.25달러다.
4
여기서 비용 비교는 두 갈래로 나뉜다.
- 저장소 문맥을 반복적으로 읽는 장기 코딩 에이전트: 캐시 읽기 가격이 낮으면 비용 차이가 커질 수 있다. 단, 실제 워크로드가 캐시를 충분히 활용해야 한다.
- 완료 과업당 비용: 출력 토큰, 도구 호출, 재시도, 행동 수, 사람의 개입이 더 적다면 토큰 단가가 같거나 높아도 더 저렴할 수 있다.
OpenAI는 일부 자체 평가에서 Astra가 훨씬 적은 출력 토큰을 사용해 과업당 추정 API 비용을 낮췄다고 설명한다. 18 다만 이는 공급사 발표에 따른 결과이지, 모든 코드베이스나 에이전트 워크플로에서 성립하는 일반 보장은 아니다. 벤치마크 점수와 토큰 단가만으로 특정 업무의 최저 비용 모델을 단정할 수 없다.
모델 비교에서 놓치지 말아야 할 5가지
Astra, Claude Fable 5.1, GPT-5.6 Sol 중 무엇을 쓸지 판단할 때는 다음 조건을 맞춰야 한다.
- 업무를 분리해 평가한다. 저장소 유지보수, 브라우저 자동화, 리서치, 형식 증명, 문서 작업을 한 점수로 뭉개지 않는다.
- 추론 정책을 통일한다. 추론 강도, 토큰 한도, 도구 권한, 재시도 규칙을 비슷하게 맞춘다.
- 모델 성능과 통합 성능을 나눈다. 중립 하니스 결과와 제공사 네이티브 통합 결과를 병렬로 제시한다.
- 달러당 성공을 측정한다. 정답 완료 수, 지연 시간, 재시도, 캐시 사용량, 필요한 사람 검토까지 기록한다.
- 불확실성을 남긴다. 작은 점수 차이와 바뀌는 설정은 특히 신중하게 해석해야 한다.
Astra의 ARC-AGI-3 Provider Adapter 결과는 인상적이며, Standard 하니스 성적도 강력하다. 그러나 서로 다른 과업 구성과 설정을 반영한 독립 지수가 다른 모델을 앞세운다고 해서 그 결과가 틀린 것은 아니다. 핵심 질문은 ‘어느 모델이 이겼나’가 아니라, 어느 평가 설정이 우리 시스템이 실제로 수행해야 할 일과 가장 닮았는가다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"GPT-6 Astra는 1등인가, 뒤처진 것인가? 벤치마크 순위가 다른 이유"에 대한 짧은 대답은 무엇입니까?
Artificial Analysis의 제공 비교 페이지에서는 GPT 6 Astra(max) 55점, Claude Fable 5.1 57점으로 나타난다.
먼저 검증할 핵심 포인트는 무엇인가요?
Artificial Analysis의 제공 비교 페이지에서는 GPT 6 Astra(max) 55점, Claude Fable 5.1 57점으로 나타난다. ARC AGI 3에서 Astra는 중립적 Standard 하니스로 62.7%, OpenAI Provider Adapter 하니스로 99.9%를 기록했다.
실무에서는 다음으로 무엇을 해야 합니까?
API 토큰 단가만으로 업무 비용을 판단할 수 없다. 캐시 활용, 출력 토큰 수, 재시도·도구 호출 횟수, 최종 성공률까지 포함한 ‘완료 과업당 비용’을 비교해야 한다.