인물 전문 검색 사이트 Spock, 검색의 마지막 개척자?

웹 2.0 관련 새로운 기업은 하나같이 제2의 구글이 되고 싶어 한다. 이렇게 말하는 신생기업은 별의 수만큼 많다. 신생기업의 사업 계획을 들을 때마다 10원씩이라도 모은다면 에릭 슈미트와 어깨를 나란히 하는 고액 납세자가 될 수 있을지도 모른다.

그러나 구글도 어딘가에서 나타나 야후를 패배시켰다. 다른 신생기업이 구글을 그렇게 만들지 않을 것이라는 법이 어디 있는가. 이달 17일에 서비스를 시작한 초대 전용 검색 서비스인 스팍(Spock)이 그렇게 할지도 모른다.

스팍은 서비스 시작부터 데이터베이스에 1억명의 정보를 가지고 있어 다른 일반적으로 접속할 수 있는 사이트로부터 곧바로 보다 많은 정보를 축적해 나갈 수 있다. 인물에 관한 검색 사이트에는 윙크(Wink)나 줌인포닷컴(ZoomInfo.com), 링크드인이 있어 각각 인기를 얻고 있지만, 다양한 검색 분야의 세력을 타도하는 데는 이르지 못했다.

스팍은 메타태그 검색 기능이 있어 신뢰할 수 있는 유저에게만 위키피디아적인 태그의 특권을 준다는, 다른 사이트와는 약간 다른 방침을 갖고 있다.

CNET News.com은 이 회사 CEO이자 공동 창립자인 자이딥 싱과 인터뷰했다. 그런데 그는 회사 이름이 우주선 엔터프라이즈호의 발칸인 과학 주임과는 관계가 없다고 말했다. 회사명은 ‘single point of contact and knowledge’의 머리글자를 취한 것이라는 설명이다.

스팍은 현재 몇 사람 분의 정보를 인덱스하고 있는가.

1억명을 조금 넘는다.

하루에 약 몇 명 분의 정보를 늘리고 있는가.

거기에는 두 가지 조건이 있다. 하나는 인간이고 다른 하나는 우리가 어느 정도의 문서를 처리하고 있는지다. 왜냐하면 1명의 인물에게 관련하는 문서가 얼마든지 존재할 수 있기 때문이다. 우리는 실제로 웹 전체를 크롤해 인덱스를 작성하고 있으므로 문서를 취득해 그것들을 인간의 관련 사항으로서 체계화하고 있다.

그 기술이 어떠한 것인지 설명해 달라.

만약 당신이 특정 검색어를 찾는다면, 구글은 훌륭하다.

하지만 당신이 구글에서 사람을 찾는다면 그에 관한 수많은 문서를 얻게 될 것이다. 만약 NBA 총재인 데이빗 스턴 같은 유명한 인물의 이름을 찾는 경우라면 처음 몇 페이지는 실제로 그와 관련한 웹 문서들이 뜨게 될 것이다. 그래서 당신은 실제로 원하는 인물인, 회사 회의나 술집에서 만난 데이빗 스턴을 찾을 수 없게 된다.

이것은 극히 간단한 문제점의 예이다. 우리는 더 여러 가지 기술을 사용해 어디에도 없는 그 데이빗 스턴을 특정해 인물을 중심으로 문서나 정보, 화상이나 관계성 등의 정보를 조직화한다.

일반적인 검색 기술에 비해 어느 정도 어렵나.

훨씬 어려운 일이다. 실제 이것은 완전히 다른 기술 스택이다. 공통점은 크롤링(crawling)뿐이다.

무엇이 다른가.

크롤링이 끝난 다음은 방향성이 다른 처리를 한다. 단순한 메타데이터 추출이 아니고, 그 문서가 누구에 대한 물건인지를 특정하는 것이다. 우리는 그 문서로 가장 중요한 정보를 특정하길 원하고 있다.

예를 들면 ‘찰리’에 관한 문서가 있고 거기에 “자이딥은 르네와 테니스를 하는 것을 좋아한다”고 써 있다고 해보자. 이것은 찰리가 테니스를 한다는 의미도, 찰리가 테니스를 좋아한다는 의미도 아니다. 이러한 형태로 언어를 이해해 그 문서가 무엇에 대한 물건인지를 이해하기 위해서는 자연 언어 처리나 그 외의 기술이 필요하게 된다.

독점적인 기술을 가지고 있는가.

물론이다. 많은 특허를 가지고 있다. 우리 회사에는 7명의 박사급의 인재가 있고, 이 처리에 관한 알고리즘을 연구하고 있다. 외부에도 많은 협력자가 있어 이러한 문제의 해결을 도와주는 스탠포드 대학이나 업계의 저명한 사람들이 대부분 포함돼 있다.

이 문제뿐만 아니라 수십억의 웹 문서를 처리해야 하는 규모의 문제도 해결하지 않으면 안된다. 이것은 최대 규모의 문제이며, 큰 도전이다.

이용자는 이것이 구글과 어떻게 다른지 알고 싶어할 것인데.

한 걸음 물러서 생각해 보자. 사용자가 이 사이트의 서비스에 느끼는 매력은 구글과 같은 것이 아닐 것이다. 이름이나 어떠한 검색어를 입력하면, 예를 들면 “Give me all the astronauts(모든 우주비행사를 표시해라)”라면, 잘 정리된 결과와 그 인물의 화상을 얻을 수 있다. 그 인물을 설명한다.

가장 적절한 용어나 말로써 설명함과 동시에 그 인물에 관한 정보의 웹상에서의 소재와 인간 관계가 표시된다.

이 서비스를 실제로 사용해 보니 나 자신에 대해 검색했을 때 구글 검색보다 많은 정보를 얻을 수 있었다.

좋은 점을 지적해 주었다. 거기에 덧붙여 조금 이야기하자. 우리가 하고 있는 것은 웹에 인덱싱을 실시한다는 의미에서는 구글과 같다. 공개되고 있는 문서를 참조해 콘텐츠를 정리한다.

또 유저는 자신에 관한 정보가 인터넷상에 많이 존재하는 것에 눈치챌 것이다. 어디든 블로그를 하고 있으면 그것은 웹에 실려 있다. 마이스페이스의 프로필 정보도 웹상에 있다. 유저의 상당수는 스팍으로 이 유용한 정보를 “스팍은 웹상에서 자신에 관한 어떤 정보를 찾아냈을 것인가”라는 형태로 얻을 수 있다. 이것을 알 수 있는 것 자체가 유용하다.

방화벽을 넘을 수 있을까.

그것은 하고 있지 않다. 일반적으로 공개되고 있는 웹만을 대상으로 하고 있어 방화벽의 내부에는 들어가지 않게 하고 있다.

시장이 인물 검색을 필요로 하고 있다고 생각하고 있는 것은 어째서인가.

솔직하게 말하면, 거기에는 2~3가지 이유가 있다. 우리가 이 회사를 만든 것은 우리가 매일 직면하고 있던 문제 때문이었다. 나는 공동 설립자와 함께 내 연락처를 조사하려 하고 있었다.

나는 아웃룩을 사용해 “나는 벤처 자본가로 투자처 기업의 마케팅 담당 부사장을 찾고 있다”는 연락을 하는 것이다. 나는 이 직위에 적절한 인재를 적어도 30명은 알고 있고 실제로 만난 적도 있지만, 그들이 누구인지는 생각이 나지 않았다. 어디엔가 그 정보가 있는 것은 알고 있으므로 연락처를 찾아보았지만, 그 인물을 찾아낼 수 없다.

그래서 구글에 접속해 그들의 이름을 입력한다. 그러나 내가 원하는 정보 외의 정보들이 너무 많고 문서수도 방대해서 정보를 찾아내는 것은 꽤 어렵다. 그래서 링크드인에 가 보면 실제로 마케팅 담당 부사장을 찾을 때는 구글보다 꽤 현실적이지만, 그 인물에 관한 경력밖에 얻을 수 없다. 이것이 시작이었다.

질문에 대답한다면 첫 번째 이유는, 스스로가 일상적으로 느끼고 있는 아쉬움이었다. 우리는 지금까지 있던 수단보다 훨씬 좋은 애플리케이션을 구축하겠다는 확신이 있었다.

두 번째로, 수개월간의 베타 테스트를 실시했을 때 많은 사람들이 베타 테스트에 참가해주어 그 피드백이 놀랄 만한 것이었기 때문이다. 그들은 다들 이 서비스를 정말로 실용적이고 재미있는 것이라고 느껴 주었다.

그 불만이 스팍의 아이디어를 낳았는가.

그것이 아이디어의 탄생이었으며, 현재의 시장이 매우 흥미로운 상태에 있는 것에 눈치챘을 때였다. 사람에 관한 정보는 많이 있어, 많은 사람이 자신의 약력의 페이지나 마이스페이스의 페이지 등을 보유하고 있다.

전문 분야 검색(vertical search) 말인가. 진입 장벽은 어떤가. 당신들은 꽤 짧은 시간에 이를 이루어 냈다. 만약 이 분야가 그렇게 중요하면, 예를 들면 구글과 같은 자원을 가지는 회사가 이 시장에 진입하려 한다면?

이 서비스는 타사의 진입을 꽤 막을 수 있다고 생각하고 있다.

첫째로 유저는 이 서비스를 좋아한다는 점이다. 우리는 이 서비스의 규모를 매우 재빠르게 대규모화해 갈 예정이며, 이 서비스 자체가 큰 것이 된다.

두 번째로 기술적인 관점으로는, 이 서비스를 재창조하는 것은 어려운 일이다. 우리는 톱클래스의 검색 엔진을 다루던 경험 많고 경쟁력 있는 인재를 확보하고 있다. 단순히 데이터베이스를 모아 소비자를 위한 간단한 사이트를 만드는 것이 아니다.

사업 모델은 어떻게 되나.

알기 쉬운 것이다. 현재 사용되고 있는 타깃 광고와 비슷한 모델이다.

이 인터뷰를 하기 전에 정보를 검색해 보았는데 스팍은 정보가 약간 적다고 생각했다. 이 검색 알고리즘은 일정한 미리 선택된 웹정보의 집적밖에 되지 않는 것인가. 이에 대해 어떤 계획이 있나.

서비스 시작 시점부터 많은 정보를 가지는 것은 단순히 어려운 문제다. 구글도 훨씬 작은 인덱스에서 시작해 서비스 시작 후에 매일같이 성장했다. 스팍도 매일 새로운 데이터와 새로운 콘텐츠를 더해 인덱싱할 것이다.

나는 스포츠를 좋아하는데 옛 미식축구 선수인 조지 자우어를 검색해 이름을 클릭하면, 링크 중 하나는 네브래스카 대학에 관한 것이었다. 그것을 클릭해 얻을 수 있기를 기대한 것은 자우어와 그의 경력에 관한 더 자세한 정보였지만, 대신에 네브래스카 대학과 관련 있는 사람들의 이름이 많이 표시됐다.

좋은 지적이다. 우리는 현재 피드백을 참고로 유저 인터페이스와 서비스를 개선하고 있다. 그 문제는 사실은 문서 중에 인물에 관한 무엇인가를 찾아낼 수 있었을 경우, 그 문서에 링크를 하고 있는 것이다.

이에 대해서는 URL 계층의 깊이를 더할 필요가 있다는 것을 알 수 있다. 이미 우리가 알고 있는 문제이며, 수정할 예정이다.

서비스가 당신의 만족을 위한 데서 시작한 것이라면, 장래는 어떻게 되는 것인가.

링크와 콘텐츠가 더욱 증가할 것이다. 현재 인물에 관한 정보가 많이 있다고는 하지만, 그것들은 수천의 다른 사이트에 매우 분산돼 있다. 보다 많은 데이터를 인덱싱함에 따라 검색 결과는 점점 적절한 것이 되어갈 것이다. 일부 사람들에게는 아직 우리의 정보가 부족하겠지만, 앞으로 증가해나갈 것이다.

당신은 인물에 관한 검색 분야가 구글의 성장처럼 될 것이라고 말했다. 그러나 구글이 단기간에 완수한 것을 생각해 보면 정말로 큰 선언이다. 과장된 이야기를 빼고, 현실적인 예상은 어떠한 것인가.

완전하게 같은 궤적을 그린다고 생각하고 있다. 이것은 꿈이나 희망만으로 말하는 것은 아니다. 우리가 아니어도 누군가는 할 것이다.

이 문제는 보편적이다. 모든 검색 엔진에 대한 검색의 트래픽의 약 30%는 인물에 관한 것이다. 거대한 양이다. 실제로 현재 검색의 최대의 카테고리이다.

구글뿐이 아니다. 이용자들은 링크드인이나 아웃룩 검색으로 연락처를 검색하고 있다. 지메일이나 휴대 전화도 이용한다.

이것은 사람들이 자주 하는 일이다. 우리는 일반적으로 사람들이 인물 검색을 하루에 약 10회 정도 하고 있다고 추정하고 있다. 그것이 이 서비스의 수요가 광범위하다고 판단해 이 서비스를 누구나 사용할 수 있도록 설계한 이유이다. @