오픈AI, 수학 난제 해결 주장…학계, 신뢰성에 의문 드러내

오픈AI가 인공지능(AI)으로 수학 난제를 대거 풀었다고 발표했지만 일부 연구에서 오류가 발견되면서 결과의 신뢰성을 둘러싼 논란이 일고 있다.

8일(현지시간) 테크크런치에 따르면 오픈AI는 지난 6일 AI를 활용한 수학 연구 원고 722건을 공개한 후 하루 만에 오류가 발견된 원고 3건을 철회했다. 일부 수학자들은 AI가 내놓은 풀이가 실제로 맞는지 확인하기 어렵고 연구 결과를 충분히 검토하지 않은 채 발표한 것 아니냐는 의문을 제기했다.

오픈AI는 이번 연구에 아직 일반에 공개하지 않은 자체 개발 AI 모델을 사용했다. 수학자들이 오랫동안 풀지 못했던 문제를 AI에 제시해 답을 찾고, 그 답이 왜 맞는지 설명하는 풀이까지 작성하도록 했다.

오픈AI가 AI로 수학 난제를 해결했다고 발표한 가운데 일부 연구에서 오류가 발견되면서 결과 신뢰성에 의문이 제기되고 있다. 사진은 샘 알트먼 오픈AI CEO. (사진=오픈AI 유튜브 캡처)

연구 대상은 대수학과 수리논리학 등 여러 분야에 걸쳐 있다. 오픈AI는 약 4000개 문제를 AI에 풀도록 했으며 이 과정에서 나온 풀이와 연구 내용을 정리해 원고 722건을 공개했다.

하지만 발표 직후 일부 연구에서 실제 오류가 확인됐다. 한 원고에서 계산에 사용한 부호가 잘못된 사실이 발견됐고 이를 바탕으로 작성한 다른 원고 2건도 철회됐다. 오픈AI는 증명을 보완하거나 설명을 바로잡기 위해 원고 14건도 수정했다.

AI가 작성한 풀이를 컴퓨터로 검사하는 작업도 일부 연구에만 이뤄졌다. 오픈AI는 '린'이라는 프로그램을 활용해 수학적 설명을 컴퓨터가 읽을 수 있는 코드로 바꾸고 논리적 오류를 검사했다.

그러나 원고 719건 가운데 이러한 컴퓨터 검증 자료가 마련된 연구는 300건으로 약 42%에 그쳤다. 나머지 원고에는 같은 방식의 검증 자료가 없으며 컴퓨터 검사를 거친 연구도 수학자들의 추가 확인이 필요하다.

AI가 문제를 어떻게 풀었는지 보여주는 자료도 일부만 공개됐다. 오픈AI가 AI의 풀이 과정을 별도로 요약해 공개한 연구는 10건이다. 연구에 사용한 AI 모델 자체도 아직 외부에 제공하지 않고 있다.

컴퓨터 검사를 통과한 풀이에서도 확인이 필요한 부분이 발견됐다. 영국 케임브리지대와 킹스칼리지런던 연구진은 오픈AI가 지난달 해결했다고 주장한 '나비에-스토크스 방정식' 관련 연구를 분석해 문제를 제기했다.

나비에-스토크스 방정식은 물이나 공기 같은 유체의 움직임을 설명하는 수학 공식이다. 영국 연구진은 오픈AI가 글로 작성한 풀이와 컴퓨터 검사에 사용한 코드가 적어도 두 곳에서 서로 다르다는 사실을 확인했다.

미국 프린스턴에 있는 고등연구소(IAS)의 독립 수학·AI 자문단도 오픈AI의 연구 결과를 인정하는 데 신중한 태도를 보였다. 자문단은 이번 발표를 수학계에 중요한 사건으로 평가하면서도 오픈AI에 조언했다는 사실이 연구 성과나 발표 방식을 승인했다는 의미는 아니라고 밝혔다.

자문단은 앞서 AI 기업들이 외부 연구자들이 사용할 수 없는 자체 모델로 수학 난제를 푸는 방식에도 반대했다. AI가 새로운 연구 결과를 발표하더라도 이를 이해하고 검토할 수 있는 수학자들의 참여가 필요하다고 강조했다.

수학자 테런스 타오는 AI로 수학 문제를 풀었다는 사람들이 정작 풀이 내용을 제대로 이해하지 못하는 상황을 비판했다. 다른 수학자들이 질문해도 답하지 못하거나 연구 결과를 학술대회에서 설명하지 못하는 경우가 있었다고 지적했다.