"AI 가상비서, 똑똑함은 구글-MS-애플 순"

미국 마케팅 및 SEO 업체 '스톤템플' 가상비서 연구 결과

인공지능(AI) 가상비서의 지능면에서 구글이 가장 낫고, 마이크로소프트(MS)가 다음이고, 애플은 그보다 못하다는 평가가 나왔다.

미국 지디넷은 7일(현지시간) 마케팅 및 검색엔진최적화(SEO) 전문업체 스톤템플의 지난 조사결과를 인용한 소셜커머스와 고객관계관리(CRM) 전문 컨설턴트 에일린 브라운의 기고를 게재했다.

마이크로소프트 코타나

기고 내용에 따르면 스톤템플은 지난 3월 스마트스피커 제품인 구글 홈(Google Home)과 아마존 에코(Amazon Echo)의 지능을 견주는 연구를 진행했다. 그리고 후속 연구로 구글 어시스턴트(홈), 애플 시리, MS 코타나, 아마존 알렉사(에코)의 똑똑함을 대조했다. 두 연구 모두 최근 공개된 애플 스마트스피커 '홈팟(HomePod)'은 다루지 않았다.

연구는 사람들이 일상적으로 개인 비서 제품에 묻거나 구글에서 검색하는 지식(factual knowledge)을 토대로 만든 질문 5천개를 던져 돌아온 답의 적절성을 계산하는 방식으로 결론을 냈다. 이 질문은 먼젓번 연구에 쓰인 것과 같았다. 먼젓번 연구 결과는 구글의 판정승이었다.

후속 연구 결과는 어땠을까. 스톤템플은 4가지 AI 가상비서의 질문 응답률과, 응답한 질문의 정확도를 측정했다. 구글 홈에 탑재된 구글어시스턴트는 응답률 68.1%와 정확도 90.6%를 기록했다. MS 코타나는 응답률 56.5%와 정확도 81.9%를 기록했다. 애플 시리는 응답률 21.7%와 정확도 62.2%를 기록했다. 아마존 에코에 탑재된 알렉사는 응답률 20.7%와 정확도 87.0%를 기록했다.

에일린 브라운은 "각 비서는 동일한 5천개 질문을 받았는데 그 답변은 음성언어 또는 지식그래프와 같은 데이터베이스에서 추출된 답변 등을 비롯해 다양한 형태로 가등했다"며 "그리고 '위키피디아에 따르면…'이라는 식으로 외부 자료를 바탕으로 답변되기도 했다"고 지적했다.

에일린 브라운 컨설턴트가 인용한 스톤템플의 가상비서 쿼리 응답률 및 답변 정확도 대조표

이어 "테스트 결과 구글 홈이 가장 똑똑한 가상비서인 것으로 나타났고 MS코타나는 그보다 많이 떨어지지 않는 축에 속했다"며 "아마존 알렉사는 87%에 달하는 응답 정확도를 기록했지만 입력된 질문 가운데 20.7%만을 답한 결과였고, 애플의 시리는 21.7%만을 응답하면서 62.2%에 불과한 정확도로 저조한 성능을 보였다"고 덧붙였다.

에일린 브라운이 인용한 실험 결과만 놓고 보면 구글홈과 구글어시스턴트가 승자다. MS코타나는 그에 약간 못 미치지만 최근 몇년간 풍부한 답변을 확충하며 극적으로 발전해 왔다는 평가를 받았다.

다만 이 연구 내용을 AI 가상비서 시장에서 제품이나 기술의 수준을 판가름하기 위한 절대적인 지표로 삼긴 적절하지 않다. 실험 방법 자체가 구글에 유리한 쪽으로 설계됐을 가능성을 배제하기 어렵기 때문이다.

에일린 브라운이 이 기고 내용에 언급한대로, 각 가상비서가 응답해야 하는 질문 5천개는 "사람들이 일상적으로 구글에서 검색하는 지식"을 포함하고 있었다. 이 때 구글홈에 탑재된 구글 어시스턴트는 구글이 인터넷검색 사업을 통해 확보한 데이터를 활용했을 것이다.

구글은 세계 인터넷 검색 시장 최대 지분을 보유한 회사다. 다른 업체에 비해 지식 참조 형태의 질문 유형에 답하는 게 유리할 수밖에 없다. 실제로 스톤템플은 가상비서 4종과 함께 구글검색에 동일한 5천개 질문을 입력한 결과도 제시했는데, 응답률 74.3%와 정확도 97.4%를 기록했다. 같은 데이터에 접근하기 유리한 구글어시스턴트가 그에 준하는 점수를 얻은 건 오히려 당연한 일이다.

그리고 에일린 브라운은 스톤템플의 연구 결과를 인용하기에 앞서 "이 연구는 애플이 iOS11 버전의 명확히 개선된 시리를 소개한 세계개발자컨퍼런스(WWDC) 2017 개최 이전에 수행된 것"이었다고 강조하면서 이 실험 결과가 각 사업자의 기술 발전에 따라 얼마든지 달라질 수 있음을 시사했다.