AI 글읽기 능력, 정말로 인간 넘어섰나

또 다시 인공지능(AI)을 둘러싼 깜짝 보도가 나왔다. 이번엔 읽기 능력 면에서도 인간을 넘어섰단 뉴스다.

마이크로소프트(MS)와 알리바바의 AI가 독해 테스크에서 인간을 이겼단 얘기다. 이 소식이 전해지면서 또 다시 “인간의 수 많은 일자리가 AI에게 넘어갈 것”이란 공포스런 얘기까지 퍼지고 있다.

여기까지만 듣고 보면 섬찟한 느낌마저 든다. 실제로 지난 15일 이 뉴스를 읽고 “정말로 올 것이 오는 걸까”란 생각마저 들었다.

내용은 간단하다. 알리바바 AI가 미국 스탠퍼드대학 독해 테스트인 SQuAD에서 82.44점을 받아 인간 참가자(82.304)를 제쳤단 얘기다. 하루 뒤엔 MS의 AI도 82.65점으로 인간 수준을 뛰어넘었다.

스탠퍼드대학이 개발한 SQuAD 테스트. 애당초 이 테스트는 사람과 AI 간의 능력 비교를 위해 고안된 것이 아니었다.

■ 애당초 테스트 방법 자체가 기계에게 유리

어쨌든 놀라운 일이다. AI가 인간에 필적할 해독 능력을 보여줬다는 것만으로도 대단한 일이다.

하지만 그 보도를 선뜻 받아들이긴 힘들었다. 일상에서 접하는 일반적인 글이라면 AI가 인간보다 뛰어난 수준을 보이기 쉽지 않아 보였기 때문이다.

어떤 글을 읽고 이해할 때 요구되는 건 문자 해독 능력만은 아니다. 맥락과 배경지식, 그리고 미묘한 뉘앙스를 구분하는 능력을 복합적으로 갖춰야 한다.

그러던 차에 흥미로운 기사를 발견했다. 와이어드에 실린 ‘AI가 독서 대결에서 인간을 이긴 것이 아닐 수도 있다(AI beats humans at reading! maybe not)란 기사였다. (☞ 와이어드 기사 바로가기)

와이어드는 SQuAD를 만든 사람들의 입을 빌어 “인간에게 부여된 점수는 기계와 비교하기 위한 게 아니었다”고 전해준다. 그 뿐 아니다. 이번 테스트에선 기계와 인간에게 서로 다른 기준을 적용했다.

이번 테스트 질문과 답변은 아마존 메커니컬 터크(Amazon Mechanical Turk)을 활용해서 만들었다. 아마존 미케니컬 터크는 온라인에 연결된 전문 인력풀이다. 일정 급여를 받는 사람들이 온라인을 통해 주어진 과제를 해결하는 방식으로 운영된다. 제품 설명하기, 같은 그림 찾기, 데이터 찾기 등 작업 종류도 다양하다.

SQuAD 운영진은 위키피디아 초록을 아마존 메커니컬 터크에 제공한 뒤 각기 다른 3개의 답을 도출했다. 그런 다음 소프트웨어 프로그램이 도출한 답이 3개 중 하나와 일치할 경우 맞은 것으로 간주했다.

뉴스위크는 이번 테스트 결과를 소개하면서 수 백 만개 일자리가 위협받게 됐다고 오버했다. (사진=뉴스위크)

하지만 사람에겐 조금 다른 방식이 적용됐다. 아마존 메커니컬 터크 답변 세 개 중 하나는 ‘테스트 참가자’용으로 사용했다. 나머지 두 개는 ‘정답’ 확인용으로 사용했다.

따라서 사람은 기계와 달리 두 개 정답 중 하나와 일치할 경우 정답으로 인정했다. 소프트웨어에 비해 불리할 수밖에 없었다.

SQuAD가 2016년 처음 만들어질 땐 인간과 기계간의 능력 비교와는 거리가 멀었다. 그런데 IBM과 알리바바는 SQuAD를 엉뚱한 쪽으로 활용했다는 게 와이어드의 지적이다.

와이어드가 지적하는 문제는 또 있다. 잘 아는 대로 아마존 메커니컬 터크는 시간당 9달러 가량 받는 사람들의 집단 지성을 활용하는 시스템이다. 컴퓨터 기술의 한계를 메우기 위해 싼 가격이 사람의 지성을 활용하는 방식이다. 그러다보니 이 시스템은 ‘열정페이’ 논란도 끊이지 않고 있다.

과연 이런 시스템 하에 움직이는 사람들이 만들어낸 답을 해독 테스트의 ‘정답’비교용으로 활용할 수 있

겠냐는 것이다.

■ AI와 함께 살기 위해서도 대결 프레임 극복해야

조금은 기울어진 테스트 방식일 망정 AI가 인간 못지 않은 해독 능력을 보여준 것은 분명 놀라운 일이다. AI 기술이 그만큼 향상된 것으로 인정해줄 수 있다.

하지만 AI와 인간의 우열이란 프레임으로 접근하는 건 다른 차원의 문제다. AI에 적합한 문제가 있고, 인간에 가장 잘 맞는 문제가 따로 있다.