10개의 결과는 고차원 기하학, 부호이론, 산술 회로 복잡도, 군론, 작용소 대수, 양자 복잡도, 격자 암호학, 극단 조합론 등 비정상적으로 광범위한 학문 분야에 걸쳐 있습니다 .
오픈AI는 아스트라 모델 자체를 공개하지 않았습니다. 대신, GitHub에 Apache 2.0 라이선스로 Lean 4 증명 인증서를 공개했으며, 보고된 'sorry' 개수는 0개입니다. 이는 10개의 모든 형식화된 증명의 모든 단계가 완전히 검증되었음을 의미합니다 . 이 접근법은 AI가 생성한 추론이 올바른지에 대한 일반적인 논쟁을 우회합니다. 증명 보조 도구는 논증이 어떻게 발견되었는지와 관계없이 기계적으로 정확성을 강제하기 때문입니다.
Noam Brown과 같은 연구자들이 이 발표를 과학적 추론의 주요 진전이라고 부른 반면 , 회의론자들은 중요한 질문들을 제기했습니다.
'진짜 큰 문제'는 아니다. 여러 관찰자들은 10개의 문제 중 어느 것도 클레이 밀레니엄 문제(P vs. NP, 리만 가설 등)가 아니라고 지적했습니다 . 이 문제들은 심각한 열린 문제들이지만 — 예를 들어 비소픽 군 구성은 미하일 그로모프가 1999년 소픽성(soficity)을 도입한 이후로 풀리지 않았습니다 — 동일한 헤드라인 무게를 지니지는 않습니다.
동료 심사 없음. 결과는 동료 심사를 거친 수학 저널이나 학회 발표를 통하지 않고 오픈AI에 의해 직접 발표되었습니다 . 비평가들은 AI가 생성한 발견과 인간이 도운 프레이밍 사이의 경계가 여전히 모호하다고 주장했으며, 오픈AI 자체도 라이덴 선언(Leiden Declaration on AI and Mathematics)을 언급하며 이러한 긴장을 인정했습니다 .
일반화 회의론. 인지 과학자 게리 마커스(Gary Marcus)는 형식 수학에서의 성공은 더 넓은 과학적 추론으로 일반화되지 않을 수 있는 '특수한 경우'이며, 한 분야의 전문성이 모든 분야의 전문성을 보장하지는 않는다고 주장했습니다 . 수학은 저렴하고 검증 가능한 합성 데이터에 매우 적합하지만, 대부분의 과학 분야에서는 그렇지 않습니다.
재현성 문제. 모델이 공개되지 않았고 구체적인 프롬프팅 방법론이 완전히 공개되지 않았기 때문에 생성 과정에 대한 독립적인 검증은 불가능합니다 . 일부 비평가들은 아스트라에 접근할 수 없으면 결과를 재현하기 어렵다는 점에 집중했습니다.
상업적 타이밍. 이 발표는 오픈AI가 차기 주력 모델군을 포지셔닝하는 시점에 이루어져, 연구가 과학적 엄격함보다 마케팅 효과를 위해 시기적으로 조정되었는지에 대한 의문을 제기합니다 .
만약 증명들이 전문가의 정밀 조사를 통과한다면, 여러 결과들은 수십 년간 열려 있던 질문들을 종결하게 됩니다. 가장 주목할 만한 성과인 최초의 명시적 비소픽 군 구성은 25년 넘게 풀리지 않았던 문제를 해결합니다 . 비평가들조차도 오픈AI가 일반적인 기업 발표보다 훨씬 더 검증 가능한 자료를 제공했다는 점은 인정합니다 .
그러나 더 근본적인 질문은 아스트라가 수학을 할 수 있는지 여부가 아닙니다. 그것은 좁은 영역에서 형식적이고 검증 가능한 문제를 푸는 것이 일반적인 과학적 추론으로 이어지는지 여부입니다. 현재로서의 답변은 '아직 증명되지 않았다'입니다.