OpenAI의 나비에-스토크스 주장: 확인된 사실과 수학계 반발의 이유

OpenAI가 9월 8일 내놓은 발표가 큰 파장을 낳은 이유는 수학의 가장 중요한 미해결 문제 가운데 하나에서 진전을 이뤘다고 주장했기 때문이다. 동시에 즉각 논란이 된 이유도 분명하다. 형식 검증을 동반한 ‘증명 주장’과, 전 세계 수학계가 독립적으로 검토해 받아들인 ‘정리’는 같은 말이 아니다.

OpenAI는 무엇을 주장했나

OpenAI는 공개되지 않은 내부 시스템이 해석학적 증명과 Lean 형식화를 만들어, 처음에는 매끄러운 3차원 나비에-스토크스 유동도 유한한 시간 안에 특이점에 이를 수 있음을 보였다고 밝혔다. 이 작업에는 약 1만 개의 동시 에이전트가 참여했다고 회사는 설명했다. 2

이 결과가 검토를 견디고 공식 문제의 조건에 부합한다면, ‘존재성과 매끄러움’ 문제에는 부정적 답을 주게 된다. 즉 매끄러운 해가 언제나 모든 시간에 걸쳐 매끄러움을 유지하는 것은 아니라는 뜻이다. 클레이 수학연구소(CMI)는 이 문제를 3차원 유클리드 공간에서의 나비에-스토크스 해의 존재성과 매끄러움에 관한 문제로 설명한다. 18

나비에-스토크스 문제가 중요한 이유

나비에-스토크스 방정식은 유체의 움직임을 기술한다. 유체를 수학적으로 연구하는 데 핵심적인 방정식이지만, 19세기에 정식화된 뒤에도 3차원 해의 일반적 거동에 대한 이해는 제한적이었다. 30

이 문제는 밀레니엄상 문제 중 하나다. 공식 설명은 물리적으로 타당한 매끄러운 해가 전 시간에 걸쳐 존재함을 보이거나, 제시된 조건을 충족하는 다른 방식의 해답을 제시할 것을 요구한다. 1721

따라서 이번 발표는 단순한 AI 성능 시연 이상의 의미를 가질 수 있다. 유효한 해답이라면 해석학과 유체역학의 핵심 질문에 영향을 미칠 수 있다. 다만 문제의 중요성이 클수록 검증 기준도 더 엄격해질 뿐, 낮아지지는 않는다.

왜 발표 직후 ‘해결’로 인정되지 않았나

CMI는 9월 11일 나비에-스토크스 문제가 “명백하게 해결된 것으로 보이는” 발표를 검토하고 있다고 밝히면서도, 평가와 공로 귀속 절차는 의도적으로 서두르지 않는다고 강조했다. 18

CMI의 상 규정상 제안된 해답을 검토하려면 적격 학술 매체에 게재돼야 하고, 게재 후 최소 2년이 지나야 하며, 세계 수학계에서 일반적 수용을 얻어야 한다. 27 또한 제안된 해답은 공식 문제 설명이 제기한 질문에 만족스럽게 답해야 한다. 20

Lean은 입력된 정의와 가정 아래에서 형식화된 명제들의 추론 사슬이 성립하는지 검사할 수 있다. 이는 매우 강력한 검증 방식이다. 그러나 수학자들은 형식화된 정리와 가정, 그리고 비형식적인 원문 문제를 형식 언어로 옮긴 방식이 정말로 의도된 문제를 해결하는지 따로 평가해야 한다.

따라서 현시점에서 가장 정확한 표현은 **‘해결 주장, 그리고 검증 진행 중’**이다. 보편적으로 수용됐거나 밀레니엄상 수상 자격이 확정됐다는 뜻은 아니다.

우선권과 공로 귀속을 둘러싼 다툼

이번 발표는 뉴욕대 수학자 트리스탄 버크마스터와 앤트로픽 소속 수학자 레벤트 알푀게가 관련 문제를 연구해 온 상황에서 나왔다. 보도에 따르면 두 사람은 관련 주제를 다뤄 왔고, 버크마스터는 OpenAI가 이 문제에 착수하게 된 경위에 의문을 제기했다. 953

버크마스터는 공로와 협업 논의 과정에서 부적절한 행위가 있었다고도 주장했다. OpenAI는 연구진과 에이전트가 해당 연구가 공개되기 전에는 이를 보지 못했으며, 문제 해결을 위해 특정 이용자 데이터에 접근하지 않았다고 반박했다. 53

양측의 주장은 확정된 사실이 아니라 다툼이 있는 설명이다. 분명한 것은 AI 연구소와 개별 연구자가 같은 최전선에 가까이 다가갈 때, 누가 어떤 기여에 대해 공로를 받아야 하는가가 기술 발표 못지않은 쟁점이 됐다는 점이다.

데이터 사용 문제가 민감했던 까닭

특히 민감했던 대목은 AI 제품에 입력된 연구 작업이 이후 모델 성능 개선에 영향을 줬을 가능성이다. OpenAI는 나비에-스토크스 연구를 위해 해당 연구자들의 특정 이용자 데이터에 접근하지 않았다고 했지만, 제품 이용에서 나온 비식별화 데이터가 모델 개선에 기여했을 가능성까지 완전히 배제할 수는 없다고 덧붙였다. 59

이 구분은 기술적으로는 의미가 있을 수 있다. 하지만 연구자가 미공개 원고, 추측, 코드 같은 자료를 AI 도구에 넣을 때 어느 수준의 출처 추적, 동의, 감사 가능성을 기대할 수 있어야 하는지라는 거버넌스 문제를 남긴다.

학계 이용자에게 이번 논란은 민감한 연구 자료를 AI 도구에 입력하기 전에 해당 제품의 데이터 정책을 이해해야 한다는 경고이기도 하다.

필즈상 수상자들의 경고

9월 11일 테렌스 타오는 필즈상 수상자 25명이 최초 서명자로 참여한 A Severe Misalignment of AI in Mathematics라는 선언문을 공개했다. 43

선언문은 기업들이 유명 미해결 문제를 공동의 지적 작업이 아니라 공개 벤치마크나 홍보 경쟁처럼 다룰 수 있다는 우려를 담았다. 비판자들은 성급한 발표, 불충분한 설명, 불명확한 공로 표기, 다른 연구를 앞질러 발표하려는 유인이 초기 아이디어 공유를 위축시킬 수 있다고 본다.

이 경고가 AI를 수학에서 배제하자는 뜻은 아니다. AI의 역량이 커질수록 공개 검토, 충실한 설명, 공로 인정, 연구자 간 대화처럼 수학의 진전을 떠받쳐 온 규범을 지켜야 한다는 요구다.

책임 있는 AI 보조 수학에 필요한 기준

이번 논란은 특별히 중대한 AI 연구 주장을 다룰 때 필요한 실질적 기준을 보여준다.

• 공개되고 점검 가능한 증명 자료: 엄밀한 논문과, 가능하다면 기계 검증 가능한 형식화 자료가 함께 제시돼야 한다.
• 독립적 검토: 형식 검증과 전문 수학자의 평가는 역할이 다르며, 중대한 주장은 둘 다 필요하다.
• 명확한 공로 표기: 연구소는 관련 선행 연구, 인간 기여자, 시스템이 수행한 역할의 한계를 투명하게 기록해야 한다.
• 데이터 출처의 투명성: 이용자는 자신의 상호작용이 모델 개선에 사용될 수 있는지, 사용된다면 어떻게 사용되는지 이해할 수 있어야 한다.
• 충분한 숙고의 시간: 대문제를 푼다는 일은 단지 참·거짓 답을 내놓는 것이 아니다. 무엇을 증명했는지, 왜 맞는지, 그 결과가 분야 안에서 어떤 의미를 갖는지를 함께 확립하는 과정이다.

결론

OpenAI의 발표는 AI 보조 수학 연구의 전환점이 될 수 있다. 하지만 발표 당일에 논쟁이 끝난 것은 아니다. 결정적인 기준은 주장된 증명이 수학계와 CMI가 요구하는 기준 아래에서 지속적이고 독립적인 검토를 거쳐 받아들여지는지다. 1827

이번 반발은 그 과정이 왜 중요한지 보여줬다. AI가 고위험 연구 영역으로 들어갈수록 신뢰는 시스템이 무엇을 발견할 수 있는가뿐 아니라, 그 발견을 검증하고 설명하며 공정하게 공로를 배분할 수 있는가에 달려 있다.