수학계를 뒤흔드는 AI: 미해결 난제 속속 풀지만 수학자들의 반응은 엇갈려
최근 AI 모델들이 인간 수학자들을 수십 년간 괴롭혀온 미해결 수학 난제들을 잇달아 풀어내며 수학계에 큰 파장을 일으키고 있습니다. 많은 수학자가 AI를 연구 생산성을 극대화해주는 '황금기'의 도구로 받아들이는 반면, 일부는 자신의 전문성이 무너질지도 모른다는 실존적 위기를 느끼고 있습니다. 인간의 직관과 AI의 막대한 연산 능력이 결합하며 수학 연구의 패러다임 자체가 완전히 뒤바뀌는 변곡점에 다다른 것으로 평가됩니다.
AI가 풀리지 않던 수학 난제들을 계속해서 해결하면서, 수학자들은 복잡한 심경에 빠졌다. Matthias Bastian이 작성한 이 글에 따르면, AI 모델들은 인간을 수십 년간 좌절시켰던 수학적 추측(Conjecture)들을 속속 깨뜨리고 있다. 수학계의 반응은 무관심부터 직업 자체가 쓸모없어질 수 있다는 실존적 위기감까지 다양하다.
2026년 5월, OpenAI는 '단위 거리 추측(Unit Distance Conjecture)'에 대한 반례(counterexample)를 발표하며 1946년부터 미해결 상태로 남아있던 기하학적 그래프 이론의 추측을 반박했다. 이는 헝가리의 수학자 폴 에르되시(Paul Erdos)와 관련된 수백 개의 미해결 문제 중 하나였다. AI가 이미 다른 수학 문제들을 해결하는 데 도움을 준 바 있지만, 많은 수학자들은 이 사례를 지금까지 중 가장 중요한 성과로 평가했다. 불과 일주일 뒤, 인간 연구자들은 이 증명의 핵심 기법을 응용해 또 다른 주요 추측을 반박하는 데 성공했다. 이후 폭발적인 변화가 시작되었고, 수학 분야에서 AI의 활약에 대한 소식이 끊이지 않고 있다. 모델들은 반례를 찾아내고, 더 넓은 패턴을 발견하며, 연구자들의 논리를 기계가 검증할 수 있는 증명으로 변환하는 것을 돕고 있다.
까다로운 '프론티어 수학(FrontierMath)' AI 벤치마크로 잘 알려진 연구 그룹 Epoch AI는 최근 주요 미해결 수학 문제들로 구성된 테스트인 'FrontierMath: Open Problems'의 두 번째 해결책을 발표했다. OpenAI의 새로운 아스트라(Astra) 모델 역시 이러한 작업에 맞춰 설계된 것으로 보이며, 해당 연구소는 난이도가 다양한 10개의 해결책과 함께 이 모델을 공개했다.
일부 수학자들은 이를 위협이 아닌 도구로 본다 런던 퀸 메리 대학교의 수학 교수인 아비셰크 사하(Abhishek Saha)는 X(구 트위터)에 다음과 같이 적었다. "현재 제 연구 분야에서 최첨단 AI 모델들은 적어도 실력 있고 지치지 않는 박사과정 학생만큼의 능력을 보여줍니다." 사하 교수는 예전이라면 몇 주가 걸렸을 일상적인 연구 작업에 GPT-5.5 Pro를 사용하며 하루 종일 시간을 보냈다. 그는 이 경험을 통해 자신이 "오케스트라 전체를 연주하는 대신 지휘자 역할을 하게 되었다"고 말했다. 그는 대부분의 수학자들이 이것이 이미 가능해졌다는 사실을 깨닫지 못하고 있으며, 이에 대응하는 방식에 따라 학계가 양분될 것으로 예상했다. 그는 "일부는 빠르게 적응하여 무한한 가능성을 찾을 것"이라고 적었다. 반면 다른 학자들은 끝까지 거부할 것이라고 덧붙이며, "다른 학계의 사람들은 미국의 전설적인 영웅 존 헨리(John Henry)처럼 끝까지 AI를 의심할 것"이라고 말했다. 민담의 영웅 존 헨리는 증기 기관 드릴과의 대결에서 승리하기 위해 스스로를 죽도록 일하게 만든 인물이다. 사하 교수는 자신의 분야가 공격받고 있다기보다는 AI를 생산성 도구로 취급하는 연구자들의 부류를 대변하고 있다.
황금기는 오래가지 않을 수 있다 수학자인 트레포 바제트(Trefor Bazett)는 더 컨버세이션(The Conversation)과의 인터뷰에서 AI와 인간의 창의성이 결합하여 수학의 새로운 황금기를 열 수 있다고 밝혔다. 그는 카네기멜론 대학교(Carnegie Mellon University) 수학자 팀이 SAT 솔버, 대형 언어 모델이 생성한 코드, 형식적 증명 검증을 결합하여 램지 이론(Ramsey theory)의 미해결 문제를 해결한 2026년 4월의 논문을 예로 들었다. 이 논문은 필즈상 수상자인 티모시 가워스(Timothy Gowers)가 2000년에 예측했던 '황금기'와 결과를 명시적으로 연결했다. 가워스는 컴퓨터가 수학자들이 더 깊은 아이디어에 집중하는 동안 일상적인 검토 작업을 처리할 것이라고 상상했다. 그는 "다시 말해, 컴퓨터가 여전히 우리를 위해 지루한 작업을 해줄 것이지만, 지금보다는 그다지 지루하지는 않을 것"이라고 적었다. 카네기멜론 대학교 연구진은 그 시기가 바로 지금 시작되었다고 믿는다. 그들은 "여러 기술의 결합 덕분에 우리가 바로 이 황금기에 진입하고 있다고 믿는다"고 밝혔다.
하지만 가워스는 이 시기가 오래 지속되지 않을 것으로 예상했다. "하지만 만약 그러한 황금기가 온다 하더라도, 오래 지속될 가능성은 희박합니다." 그는 "다음 세기 동안 컴퓨터가 정리(theorem)를 증명하는 데 충분히 능숙해져 순수 수학 연구라는 실제 관행이 완전히 혁신될 것"이라고 예측했다. 그의 예측이 현실로 다가오고 있는 지금, 가워스는 복잡한 감정을 느끼고 있다. 그는 두 차례에 걸쳐 자신이 상당한 시간을 들여 연구했던 문제를 GPT 5.6 Pro가 첫 번째 시도 만에 풀어버렸다고 전했다. 그는 "그 기분은 매우 이상했고, 결코 유쾌하지 않았다"고 털어놓았다.