인공지능이 몰고올 웹검색의 미래

구글, MS빙, 야후 같은 검색엔진을 사용하다 보면 검색 결과에 대한 요약정보가 페이지 왼쪽 한 켠에 잘 정리돼 나오는 경우가 있다. 예를 들어 빙에서 '마이크로소프트(Microsoft)'를 검색하면 간략한 소개와 함께 언제 설립됐는지, 설립자, 현재 최고경영자는 누구인지, 본사는 어디에 위치했는지, 주가는 얼마인지 관심을 가질만한 정보를 모아 놓은 것이다. 주로 기업이나 유명인을 검색했을 때 이런 요약정보가 쉽게 눈에 띈다.

정보를 잘 정리해주는 포털에 익숙한 국내 사용자들에겐 이런 요약정보가 별로 대단치 않은 서비스 같지 느껴지는 게 사실이다. 하지만 사람이 하나하나 정보를 입력해서 만드는 게 아니라 지능을 갖춘 웹 검색엔진이 관련정보를 수집해 자동으로 생성한 것이라면 어떨까?글로벌 IT기업들은 이렇게 만들어진 요약정보가 다양한 서비스와 소프트웨어(SW)에 지능을 불어넣을 수 있을 것으로 보고 공격적인 투자에 나섰다.

최근 한국MS 광화문 사옥에서 만난 포항공대 황승원 교수는 빅데이터를 활용해 검색엔진이 지능을 갖게 하는 연구를 MS연구소 지원을 받아 진행하고 있다고 소개했다. 검색엔진에 지능을 부여하는 연구는 MS 내부에서도 다양한 접근 방법을 채택한 연구 프로젝트들을 통해 이뤄지고 있고 구글 같은 경쟁업체들도 활발히 진행하고 있는 분야다.

황승원 교수는 (요약정보를 보여주는 것이) 별거 아닌 거 같지만, 검색 업체들은 이 기술을 발판 삼아 큰 야망을 품고 있다고 말했다. 그의 설명에 따르면 검색업체들이 이 분야의 연구를 활발히 하는 이유는 크게 2가지다.

우선 이렇게 잘 정리된 정보가 웨어러블 기기에서 활용되기 쉬운 형태라고 보고 있다. 황 교수는 스마트워치에서 이런 요약된 정보가 보여지면 '지금 OOO 주가가 얼마야? 지금 팔아줘' 이런식의 음성 명령을 바로 내릴 수 있게 된다고 설명했다.

또 궁극적으로는 지능을 갖춘 웹검색이 모든 SW에 결합돼 지능을 불어 넣을 수 있다는 기대를 품고 있다. 그는 많은 회사들이 모든 SW의 기본 플랫폼으로 쓰려고 웹에 올라오는 정보로부터 지능을 뽑아내고 있다고 설명했다. 예를 들어 엑셀에 회사 이름을 쭉 쓰고 'CEO'라는 항목을 만들어 놓으면 검색엔진이 자동으로 빈칸에 각 회사의 CEO 이름이 집어 넣는 일이 가능하다는 얘기다.

검색결과에 지능을 더 하는 기술은 인공지능(AI) 연구의 일종이다. 웹 상에서 엄청난 양의 데이터가 생성되고 있고 또 이 데이터를 처리할 수 있는 클라우드 컴퓨팅 기술이 발전하면서 이 분야 연구도 크게 활성화되는 새 전환점을 맞게 됐다.

검색엔진에 지능을 첨가하기 위한 다양한 접근법이 시도되고 있지만 황승원 교수는 새로 생성된 정보로부터 새로운 지능을 끌어내서 지능 구축에 바로 포함시키는 연구를 진행하고 있다. 새로 생긴 지식을 바로 추가하면 잘 알려지지 않은 객체에 대한 정보도 요약해 만들어 낼 수 있다는 장점이 있다고 그는 설명했다.

황 교수는 새로 추가되는 데이터 자체에 대한 정확도가 낮더라도 데이터의 연관성을 충분히 수집했기 때문에 잘 알려진 객체로부터 정확도를 전파해 덜 알려진 객체에 대한 정확도를 높일 수 있다고 설명했다. 정교하게 사람의 지능을 모델링하는 기법을 동원하지 않더라도 웹 사용자들이 계속해서 만들어 내는 데이터를 이용해 연관성을 유추해 낸다면 충분히 장점을 가질 수 있다는 게 황 교수의 생각이다.

퍼즐에 비유하면 모서리에 위치한 쉬운 퍼즐조각들을 먼저 맞춘 후 그 연관성을 가지고 남아 있는 어려운 퍼즐조각까지 끼워 맞추는 격이다. 황승원 교수는 잘 알려진 객체에는 기사 같은 정보가 많은데, 잘 알려진 상위 20% 객체에 80%의 정보가 몰려 있다. 그러나 정보가 빈약한 나머지 80%에 해당하는 객체에 대해 알아내려면 이런 방식이 효과적이다”고 설명했다.

그의 얘기대로라면 빌게이츠나 마크주커버그 같이 유명인인 뿐만 아니라 별로 유명하지 않은 주변인물들을 검색했을 때도 요약정보가 표시될 수 있다. 황 교수는 유명하지 않은 객체에 대한 정보의 정확도를 개선하면 사용자들에게 개인 맞춤화된 요약 정보를 제공할 수 있게 될 것으로 기대한다”고 말했다.

예를들면 기자가 검색엔진에서 '이승연'을 검색했을 때 찾고 싶은 정보는 연예인 이승연이 아닌 MS PR팀 이승연 부장이라는 사실을 검색엔진이 알고 정확한 요약 정보를 표시해 주도록 발전시킬 수 있다.