AI가 수학 난제 척척 풀자…천재 수학자가 걱정하는 이유

필즈상 수상자 테런스 타오 "AI가 증명 쏟아내지만 인간의 이해는 뒤처져"

인공지능(AI)이 수십 년간 풀리지 않았던 수학 난제의 해법을 잇달아 제시하면서 수학계에 새로운 고민을 안기고 있다. AI가 정답을 찾아내는 속도는 빨라졌지만, 인간이 그 과정을 이해하고 검증하는 속도는 따라가지 못하고 있기 때문이다. 세계적인 수학자들은 정답에 도달하는 과정에서 얻는 통찰력과 창의성이 사라질 수 있다고 우려하고 있다.

1일(현지시간) 미국 시사주간지 더 뉴요커는 AI가 수학 연구의 방식을 근본적으로 바꾸고 있다며 필즈상 수상자인 테런스 타오 미국 캘리포니아대학교 로스앤젤레스캠퍼스(UCLA) 교수를 중심으로 수학계의 변화를 조명했다.

타오 교수는 수학계의 노벨상으로 불리는 필즈상을 2006년 수상한 세계적인 수학자다. AI를 수학 연구에 적극적으로 활용해 온 인물이지만, 최근에는 AI가 만들어내는 방대한 증명과 이를 검증해야 하는 수학계의 부담을 우려하고 있다.

인공지능(AI)이 오랫동안 풀리지 않았던 수학 난제의 해법을 제시하면서 수학 연구의 속도가 빨라지고 있다. 그러나 AI가 만들어낸 증명을 인간이 이해하고 검증하는 데 한계가 나타나면서 수학자들의 사고력과 통찰력이 약화될 수 있다는 우려도 나온다. (사진=클립아트코리아)

AI가 수십 년 난제 해결…수학자들은 증명 검증에 매달려

AI의 수학 문제 해결 능력은 빠르게 발전하고 있다. 과거에는 수학자가 수개월에 걸쳐 풀어야 했던 문제를 AI의 도움으로 며칠 만에 해결하는 사례도 등장했다.

지난해 7월에는 AI 모델들이 국제수학올림피아드(IMO) 문제 6개 가운데 5개를 해결하며 수학계의 주목을 받았다. 이후 AI의 활용 범위는 정답이 정해진 경시대회 문제를 넘어 아직 해결되지 않은 연구 수준의 문제로 확대됐다.

실제로 미국 UCLA 연구진은 챗GPT의 도움을 받아 수십 년간 해결되지 않았던 최적화 수학 문제의 증명을 완성했다. 연구진은 AI가 제시한 증명에서 오류를 찾아 수정하고, 유용한 부분을 활용하는 과정을 반복해 해결책에 도달했다.

구글 딥마인드의 AI 시스템 '알파이볼브(AlphaEvolve)'도 수학 연구에서 성과를 냈다. 타오 교수 등이 참여한 연구에서는 67개 수학 문제에 AI를 적용한 결과, 23개에서 기존에 알려진 것보다 개선된 해법을 찾았다.

하지만 AI가 제시한 모든 증명이 정확한 것은 아니다. 그럴듯한 논리로 구성돼 있어도 세부 내용을 검토하면 오류가 발견되는 경우가 있다.

특히 AI가 대량의 증명을 생성하면서 이를 검증해야 하는 수학자들의 부담이 커지고 있다. AI가 제시한 해법의 타당성을 확인하는 데 수개월이 걸릴 수 있고, 일부 결과는 제출자조차 충분히 이해하지 못하는 상황이다.

타오 교수는 지난달 22일 국제학술지 네이처에 기고한 글에서 AI가 수백 개의 오래된 수학 문제에 대한 증명을 만들어내면서 수학계가 근본적인 변화를 맞고 있다고 설명했다.

그는 앞으로 수학계가 더 많은 증명을 발표하는 것보다 인간의 이해를 높이는 데 가치를 두는 새로운 체계로 전환해야 한다고 강조했다.

"정답보다 중요한 건 생각하는 과정"…수학 교육에도 경고등

타오 교수가 우려하는 것은 AI의 수학 실력이 높아지는 현상 자체가 아니다. 수학자가 문제를 해결하기 위해 오랫동안 고민하고, 시행착오를 겪으며 새로운 개념을 발견하는 과정이 약화될 수 있다는 점이다.

수학 연구에서는 문제의 정답만큼이나 해법을 찾아가는 과정에서 얻는 통찰이 중요하다. 하나의 문제를 해결하기 위해 개발한 새로운 개념이나 접근 방식이 다른 분야의 연구로 이어지기도 한다.

그러나 AI가 완성된 증명을 빠르게 제공하면 인간은 결과를 확인하는 역할에 머무를 수 있다. 문제를 풀면서 새로운 질문을 발견하고 다른 수학자들과 아이디어를 발전시키는 기회도 줄어들 수 있다는 것이다.

타오 교수는 지난달 9일 미국 캘리포니아공과대학교에서 열린 강연에서 수학계가 AI의 발전 속도를 무조건 따라가서는 안 된다는 취지로 경고했다.

그는 새로운 수학 문제가 해결책을 찾아가는 느리고 신중한 사고 과정에서 탄생한다는 점을 강조했다. AI가 이러한 과정을 지나치게 단축하면 새로운 문제를 발견하는 능력까지 영향을 받을 수 있다는 설명이다.

수학 교육에서도 비슷한 우려가 제기된다. 학생들이 AI를 활용해 어려운 문제의 답을 즉시 얻을 수 있게 되면서 스스로 고민하고 논리적으로 사고하는 훈련이 줄어들 수 있기 때문이다.

실제로 일부 대학 교수들은 학생들이 AI로 작성한 과제를 제출하는 사례가 늘어나면서 기존의 숙제 중심 교육 방식을 유지하기 어려워졌다고 지적했다.

타오 교수는 AI 활용 자체를 반대하지 않는다. 오히려 AI가 반복적인 계산과 복잡한 문제 해결을 지원하면 수학자들이 더 큰 연구 과제에 집중할 수 있다고 보고 있다.

그가 제안한 것은 이른바 '수학 2.0(Maths 2.0)'이다. AI가 증명을 대량으로 생산하는 시대에 맞춰 연구 성과를 평가하는 기준을 바꾸고, 인간의 이해와 협업을 중심에 놓자는 구상이다.

타오 교수는 수학 연구에서 인간이 직접 이해하고 설명할 수 있는 지식의 중요성을 강조했다. AI가 수학의 발전 속도를 높일 수는 있지만, 새로운 질문을 만들고 그 의미를 해석하는 역할까지 기술에 맡겨서는 안 된다는 것이다.