오픈AI(OpenAI)가 오랜 수학 난제 수백 건에 대한 AI 생성 결과를 공개하자, 수학계는 증명의 옳고 그름뿐 아니라 ‘누가 그것을 이해할 것인가’라는 문제와 마주했다. 이론 컴퓨터과학자 스콧 애런슨(Scott Aaronson)은 아내가 오랫동안 연구한 유일 게임 추측까지 공개 목록에 포함됐다고 전했다. 일부 결과에는 린(Lean) 형식 검증 자료가 붙었지만, 연구자들이 내용을 읽고 설명하는 작업은 이제 시작됐다. 이번 소식은 AI가 난제를 푸는 속도만큼이나 수학 지식이 만들어지고 공유되는 방식이 바뀔 수 있다는 점에서 눈여겨볼 만하다.
핵심요약
- 애런슨은 오픈AI가 유일 게임 추측을 포함한 대형 결과 372건을 공개했다고 전했으며, 수학계의 과제가 결과를 발견하는 일에서 이해하고 검토하는 일로도 옮겨가고 있다고 봤다.
- 일부 결과에는 린 형식 검증 자료가 있지만, 사람이 증명의 핵심 아이디어와 문제의 형식화가 적절한지 살펴야 한다는 논의가 뒤따랐다.
- 공개 목록은 계산복잡도·양자정보·수학물리학 등 여러 분야에 걸쳐 있어, 한 분야의 성과를 넘어 연구 공동체 전반에 영향을 준다.
- 앤트로픽(Anthropic)이 관여한 별도 난제 결과는 연구자가 설명 가능한 논문으로 정리해 발표하는 방식을 택해, AI 성과를 공개하는 두 접근법의 차이를 드러냈다.
- 수학·AI 자문단은 이번 공개를 인간의 이해가 완성된 사건이 아니라 그 이해를 시작하는 단계로 규정하고, 연구자의 질문 설정과 도구 접근권을 강조했다.
유일 게임 추측 앞에 선 연구자
애런슨이 이번 공개를 설명하며 가장 먼저 꺼낸 사례는 유일 게임 추측(UGC)이다. 이 추측은 특정 최적화 문제에서 답을 정확히 찾는 것은 물론, 기존 방법보다 조금 더 나은 근사 답을 찾는 일도 어렵다는 주장과 연결된다. 그의 아내인 복잡도 이론가 데이나 모시코비츠(Dana Moshkovitz)는 애런슨이 아는 내내 이 추측을 증명하려고 연구해 왔다. 이제 그 문제에 대한 AI 생성 증명이 오픈AI의 공개 결과에 포함됐다.
애런슨은 이를 수학사에서 손꼽힐 만한 하루라고 평가하면서도, 공개된 증명 대부분을 아직 사람이 이해하지 못했다고 썼다. 유일 게임 추측을 포함한 일부 결과에는 증명을 형식 언어로 표현해 기계적으로 검사하는 린 자료가 있다. 그러나 기계가 검사할 수 있는 기록과 연구자가 아이디어의 흐름을 따라가며 다른 사람에게 설명할 수 있는 논문은 같은 것이 아니다. 이 차이가 공개 직후 연구자들에게 남겨진 가장 큰 일이 됐다.
모시코비츠의 첫 반응은 양가적이었다. 그는 추측이 참이라는 결과에는 자신이 옳았다는 감정을 느낄 수 있지만, 공개된 글은 왜 앞선 연구를 가져다 쓸 수 있는지 충분히 설명하지 않고 인용도 혼란스럽다고 지적했다. AI 도구 아스트라(Astra)에 흩어진 설명을 묶어 달라고 요청한 뒤에야 증명의 일부를 파악할 수 있었다고 한다. 결과가 맞더라도 그것을 읽어낼 도구가 다시 AI여야 한다는 상황이 드러난 셈이다.
오래된 난제들이 한꺼번에 목록에
공개 목록에서 애런슨이 주목한 분야는 유일 게임 추측에 그치지 않는다. 그는 확률을 쓰는 로그 공간 계산과 그렇지 않은 로그 공간 계산의 관계를 다루는 ‘L=BPL’, 오래된 실행 시간 장벽을 넘어서는 푸리에 변환과 정수 곱셈 결과를 꼽았다. 양자 계산 분야에서는 오랫동안 제기된 패리티 문제와 양자 질의 복잡도(답을 얻는 데 필요한 질문 횟수로 계산의 어려움을 재는 방식) 관련 결과도 거론했다. 서로 다른 연구 공동체가 붙잡고 있던 문제들이 한꺼번에 발표됐다는 점이 충격의 크기를 키웠다.
애런슨과 그레그 쿠퍼버그(Greg Kuperberg)가 2007년 제기한 유니터리 합성 문제에는 예상과 반대되는 긍정적 답이 제시됐다. 다만 그 결과에서 필요한 오라클(계산 과정에서 답을 물을 수 있다고 가정하는 대상)을 효율적으로 만드는 방법은 논문에 없다고 애런슨은 덧붙였다. 그는 2차원 해밀토니안의 면적 법칙, 행렬 곱셈, 유리수 범위의 다항식 해법 가능성에 관한 결과도 열거했다. 각각의 결론뿐 아니라 증명이 실제로 무엇을 만들고 어디까지 적용되는지 따져볼 이유가 여기에 있다.
모든 대표 난제가 목록에 들어간 것은 아니다. 애런슨은 P≠NP, P=BPP 등 이론 컴퓨터과학의 큰 미해결 문제가 빠져 있다고 짚었다. 리만 가설과 호지 추측 등에 대해서는 완전한 해결이 아니라 부분적 진전이 포함됐다고 소개했다. 여러 분야에서 성과가 동시에 나왔다는 그의 평가와, 남아 있는 문제의 범위를 구분해 읽어야 한다.
3SUM 결과가 보여준 다른 발표 방식
오픈AI의 대규모 공개 하루 전에는 버지니아 윌리엄스(Virginia Williams)와 조시 앨먼(Josh Alman)이 3SUM 문제를 O(n^1.9992) 시간에, 모든 쌍 최단 경로 문제를 O(n^2.9995) 시간에 푸는 사전 공개 논문을 올렸다. 애런슨에 따르면 이 결과의 핵심 아이디어는 오픈AI가 아닌 앤트로픽 모델에서 나왔다. 두 문제 모두 오랫동안 예상돼 온 계산 시간의 경계를 깨는 결과로 소개됐다. 같은 시기에 나온 성과지만 세상에 전달된 경로는 달랐다.
앤트로픽은 AI가 만든 풀이를 곧바로 쏟아내는 대신, 두 연구자가 보상을 받고 내용을 정리해 발표할 기회를 줬다고 애런슨은 설명했다. 오픈AI 방식은 누구나 원고를 살펴볼 수 있는 반면, 난해한 증명을 먼저 해석하려는 경쟁을 연구자들에게 떠넘길 수 있다. 앤트로픽 방식은 읽을 수 있는 설명을 만드는 시간을 확보하지만, 어떤 연구자가 AI 성과의 전달자가 될지를 기업이 선택한다. 애런슨은 어느 쪽에도 장단점이 있다고 봤다.
세 시간이라는 수치, 서로 다른 문제 수
애런슨은 이번 결과를 낸 모델이 특별히 꾸린 대규모 에이전트 시스템이 아니라 오픈AI의 최신 내부 모델이라고 전했다. 그는 문제를 푸는 데 평균적으로 챗GPT 프로(ChatGPT Pro) 수준의 연산 약 세 시간이 쓰였으며, 모델에 약 8,000개 문제를 시도해 약 5%를 풀었다고 적었다. HN에 실린 비용 추산도 이 두 수치를 바탕으로 성공 한 건에 필요한 연산량을 계산했다. 다만 그 계산에는 실패한 시도에 든 시간과 실제 연산 비용이 빠져 있다.
게시글 댓글에서는 수치의 출처를 확인하는 대화가 이어졌다. 댓글에 인용된 오픈AI 공개 설명에는 ‘결과당 평균 약 세 시간’이라고 적혀 있어, 이를 모든 시도에 똑같이 적용하기는 어렵다. 같은 공개 설명을 옮긴 댓글은 평가 과정에서 제시한 문제가 약 4,000개라고 전해, 애런슨의 본문에 나온 약 8,000개와도 차이가 난다. 따라서 결과 건수와 시도한 문제 수를 곧바로 나눠 확정적인 성공률이나 해결 비용으로 읽기보다, 어떤 결과와 시도를 집계했는지 확인할 필요가 있다.
증명에 도착한 뒤 길을 찾는 일
애런슨은 연구자들이 공개 원고를 읽고 설명하려고 몰려드는 모습을 전했다. 콴타(Quanta)의 조르다나 세펠레위츠(Jordana Cepelewitz)는 이를 스스로 산을 오르는 대신 정상으로 순간이동했지만, 안개 때문에 어디에 와 있는지 모르는 상황에 빗댔다. 답에 먼저 도착했더라도 기존 연구와 어떻게 이어지고 어떤 아이디어가 길을 열었는지는 다시 밝혀야 한다는 뜻이다. 모시코비츠는 이 비유에 덧붙여, AI의 결과도 각 문제를 둘러싼 기존 공동체·틀·성과 위에서 나왔으며 수학을 끝내지는 않는다고 지적했다.
이때 형식 검증은 중요한 출발점이지만 질문을 모두 없애지는 않는다. 공개 결과 중 린 자료가 붙은 것은 일부이고, 자연어로 적힌 문제와 기계가 검사한 명제가 같은 내용을 말하는지도 검토 대상이다. 연구자가 증명의 핵심 구성을 이해하면 결과를 다른 문제에 활용하거나 더 자연스러운 풀이를 찾을 수도 있다. 애런슨이 묘사한 새 역할은 AI의 결론을 받아 적는 사람이 아니라, 낯선 증명을 공동체의 지식으로 바꾸는 사람에 가깝다.
자문단이 강조한 것은 공개 이후다
글 말미에 소개된 수학·AI 자문단의 성명은 오픈AI의 공개를 수학에 중요한 사건으로 평가했다. 동시에 자문 역할이 결과의 영향이나 오픈AI의 진행 방식을 승인한다는 뜻은 아니라고 선을 그었다. 자료를 세상에 내놓은 것은 인간의 이해와 수학 지식으로의 편입이 끝났다는 선언이 아니라 그 과정의 첫 단계라는 입장이다. 평가는 결국 수학 공동체가 맡아야 한다고 밝혔다.
자문단은 앞으로의 연구가 AI 연구소가 골라 내놓은 결과를 해설하는 일만으로 채워져서는 안 된다고도 했다. 수학자가 스스로 질문을 만들고 접근법을 개발하려면 강력한 연구 도구와 충분한 연산 자원에 공평하게 접근할 수 있어야 한다는 주장이다. 애런슨은 별도 업데이트에서 공개된 논문 목록에 암호학이 눈에 띄지 않는다고 지적하며, AI 기업들이 내부 모델로 중요한 암호 기술을 깰 수 있는지 조심스럽게 살피기 시작했다는 이야기도 전했다. 증명의 공개 방식뿐 아니라 무엇을 시험하고 누구에게 접근을 허용할지가 함께 논의될 수밖에 없다.
커뮤니티 의견
한 사용자는 애런슨이 적은 문제 수와 성공률을 바탕으로, 오래된 난제 하나를 푸는 연산 비용이 생각보다 낮을 수 있다고 계산했다. 다만 실제 토큰 사용량은 모르며, 답을 얻지 못한 시도에 더 오랜 시간이 들었을 수 있다는 답글이 붙었다. 공개되지 않은 모델의 비용을 다른 모델의 가격으로 대신 계산했다는 점도 한계로 지적됐다.
다른 사용자는 도입부의 아홉 살 아이 말투가 요즘 아이들의 언어와 닮았다며, 자신이 요청해 본 챗GPT의 농담보다 자연스럽다고 했다. 답글에서는 유행어를 쓰라고 더 구체적으로 지시하면 AI의 표현도 가까워진다는 경험담이 나왔다. AI의 수학 능력을 다룬 글을 두고 사람의 문장과 AI의 문장을 어떻게 구별할지까지 이야기한 셈이다.
한 사용자는 모시코비츠가 논문을 읽기 어렵다고 한 대목을 들어, 난해한 증명 가운데 실제로 옳은 것이 얼마나 되는지 물었다. 이에 대한 답글은 초기 챗GPT가 나왔을 때에는 오히려 수학이 엄밀해서 언어 모델이 잘하기 어렵다는 주장이 많았다고 짚었다. 같은 기술을 바라보는 기대와 의심이 얼마나 빠르게 바뀌었는지를 보여주는 대화다.
또 다른 사용자는 AI 증명을 읽는 일이 작동은 하지만 지저분한 남의 코드를 이해하는 작업과 비슷하다고 했다. 답글에서는 읽기 쉬운 증명을 찾으려는 사람의 시도가 밀려날 수 있다는 우려와, 앞으로 AI가 더 명료한 글을 쓸 수 있으리라는 전망이 함께 나왔다. 당장의 독해 비용과 이후 도구의 개선 가능성을 놓고 시각이 갈렸다.
소프트웨어 엔지니어라는 사용자는 난해한 AI 결과를 사람이 검토해야 하는 상황이 자신의 일상과 닮았다고 말했다. 그는 AI가 작성한 많은 양의 코드를 읽고 검증하는 일이 직접 무언가를 만드는 일보다 인정받기 어렵고 즐겁지도 않다고 설명했다. 수학자가 맡게 된 증명 해석 작업을 다른 분야의 검토 노동과 연결한 의견이다.
한 사용자는 자연어 증명을 린으로 옮기는 과정 자체를 따진 논문을 소개했다. 기계가 형식 언어로 적힌 내용을 검사하더라도, 그것이 애초 자연어의 주장을 충실히 옮긴 것인지는 별개의 질문이라는 취지다. 답글에서는 린의 오류 가능성도 거론됐고, 소개된 논문의 주장 자체를 의심하는 반응도 나왔다.
다른 사용자는 사람의 검토가 끝나기 전에 린 코드가 통과했다는 이유만으로 결과를 받아들이는지 물었다. 답글은 정리의 명제가 단순하면 형식화도 살펴보기 쉽지만, 복잡한 명제는 서술과 정의부터 세심하게 확인해야 한다고 구분했다. 린 자료가 없는 경우에는 읽기 어려운 PDF만 남는다는 지적도 덧붙였다.
한 사용자는 수학에서 목표가 단지 증명 하나를 얻는 데 그치지 않는다고 했다. 잘 쓰인 직관적인 설명이 있어야 더 깊이 이해하고 다음 질문을 만들 수 있다는 주장이다. 반면 첫 증명을 얻는 것 자체도 큰 진전이라는 답글이 붙어, 결과의 발견과 이해 가운데 무엇을 어떻게 평가할지 논쟁이 이어졌다.
핵심통찰
이번 공개가 바꾸는 것은 난제의 답을 얻는 속도만이 아니다. AI가 먼저 증명을 내놓는다면 연구자는 문제의 형식화가 맞는지 확인하고, 난해한 논증에서 재사용할 아이디어를 찾아 다른 사람이 이해할 수 있게 연결해야 한다. 그 작업이 새 연구로 인정받는지, AI 결과를 내놓는 기업이 해설자와 연구 주제를 얼마나 좌우하는지가 관건이다. 린 검증의 범위와 사람의 독해가 어디까지 진행되는지, 그리고 연구자들이 도구에 공평하게 접근할 수 있는지를 함께 지켜봐야 한다.
원본: The Mathocalypse
토론: Hacker News