AI, 바둑·포커 이어 자동차 경주까지 접수하나

인공지능이 실제 레이싱 게임에 출전해 인간을 꺾고 우승을 차지하는 날이 올까?

소니는 자사 게임 콘솔 플레이스테이션(PS)의 인기 레이싱 게임 '그란 투리스모'를 실제 초고수 게이머를 꺾는 수준으로 플레이하는 인공지능 '그란 투리스모(GT) 소피'를 개발했다고 9일 (현지시간) 밝혔다.

체스와 바둑, 포커, 스타크래프트에 이어 이제 레이싱 게임에서도 인공지능이 인간을 앞선 것이다.

GT소피는 소니의 인공지능 자회사 소니AI와 그란 투리스모 개발사 폴리포니디지털(PDI), 소니인터랙티브엔터테인먼트(SIE)가 딥러닝 강화학습을 활용해 공동 개발했다. 이 연구 결과는 학술지 '네이처' 최신호에 게재됐다.

그란 투리스모는 실제 차량과 주행 환경을 사실적으로 구현한 현실감 있는 레이싱 게임으로 인기를 얻고 있다. 레이싱 게임은 빠르게 움직이는 주변 차량의 움직임을 살피고 신속하게 전략적 판단을 내리며, 동시에 극한 속도로 달리는 차량을 섬세하게 조종해야 한다. 또 운전과 경기 관련 규칙을 숙지해 적용해야 하고, 게임 안에서 다른 플레이어에 민폐를 끼치지 않는 매너도 갖춰야 한다.

이 때문에 레이싱 게임을 하는 인공지능 개발은 제한된 규칙 안에서만 경합이 이뤄지는 바둑이나 체스 같은 게임의 경우보다 훨씬 복잡하다. 스타크래프트 같은 게임은 바둑이나 체스보다는 복잡하지만, 전략 위주로 진행된다는 점에서 실제 환경의 제약을 반영하는 레이싱 게임에는 미치지 못 한다.

GT소피는 지난해 7월과 10월 두 차례에 걸쳐 세계 최고 수준의 그란 투리스모 선수와 경기를 벌였다. 그간의 학습을 바탕으로 시험 경기에선 두 차례 모두, 정식 그란 투리스모 챔피언십 경기에서는 두 번째 이벤트에서 인간을 넘어섰다.

소니AI와 PDI, SIE는 딥러닝 강화학습과 방대한 전산 인프라, 그란 투리스모 실제 게이머들의 데이터 등을 결합해 GT소피를 훈련시켰다. 행동의 결과에 따라 긍정적 혹은 부정적 피드백을 주어 보상하는 강화학습에 QR-SAC(Quantile-Regression Soft Actor-Critic) 등 인공지능이 규칙과 운전 기술을 보다 잘 학습하도록 하는 기법을 적용했다.

또 SIE의 게임 클라우드 자원을 활용, 시뮬레이션을 통해 GT소피를 훈련시키고 데이터를 수집할 수 있는 플랫폼을 운영했다. 이 플랫폼은 1천 대가 넘는 PS4 콘솔에서 데이터를 수집해 인공지능을 학습시켰다.

이같은 인공지능 기술을 바탕으로 소니는 새롭고 흥미로운 게임 경험을 제공할 수 있으리라 기대한다. 기타노 히로아키 소니AI CEO는 "GT소피는 단지 인간보다 더 게임을 잘 하는 인공지능을 만들려는 것이 아니라 게임 이용자의 솜씨와 창의성을 높일 수 있게 하는 것이 목표"라고 말했다.