새로운 빙은 검색에 AI 채팅을 어떻게 결합했나

프로메테우스 모델과 새 UX로 검색 패러다임 교체 시도

조르디 리바스 마이크로소프트 기업검색 및 AI 부사장은 21일 블로그에서 새로운 빙 구축에 대한 기술적 세부 내용을 공개했다.

그는 "1년반 전 블로그에서 딥러닝 모델을 검색에 적용해 더 현대적이고 직관적으로 만들면 사용자 경험을 크게 개선할 수 있다고 제안했다"며 "최근 새로운 빙 발표를 통해 이 비전을 향한 큰 발걸음을 내딛게 됐다"고 밝혔다.

그에 의하면, 작년 여름 마이크로소프트는 오픈AI로부터 차세대 GPT 모델을 공유받았다. 새 모델은 챗GPT를 지원하는 GPT-3.5보다 합성, 요약, 채팅, 생성 등에서 훨씬 더 뛰어난 성능을 보였다고 한다.

빙 검색 챗봇 이용 화면

조르디 리바스 부사장은 "이 새로운 모델을 보고 GPT 기능을 빙 검색 제품에 통합하는 방법을 탐색했고, 길고 복잡하며 자연스러운 쿼리를 포함하는 모든 쿼리에 더 장확하고 완전한 검색 결과를 제공하도록 영감을 받았다"고 적었다.

■ 최신정보 학습 못하는 GPT 약점 위한 프로메테우스 모델

새 GPT 모델을 비롯한 대규모언어모델(LLM)은 주어진 시점의 데이터로 훈련된다. 이 때문에 마이크로소프트는 빙의 백엔드 기능과 결합해 사용자 경험을 더 풍부하고, 적절하며 정확하게 만들 수 있다고 판단했다.

그래서 빙과 GPT 결합에 활용된 게 '프로메테우스 모델'이다. 프로메테우스 모델은 새롭고 복잡한 빙 인덱스, 순위와 오픈AI GPT 추론 모델의 답변 결과를 결합하는 마이크로소프트 독점 기술이다.

프로메테우스는 빙과 GPT 기능을 활용하는 '빙 오케스트레이터'란 구성요소를 통해 일련의 내부 쿼리를 반복 생성하고, 주어진 대화 맥락 내에서 쿼리에 대해 정확하고 풍부한 답변을 제공하게 한다. 빙과 GPT를 오가는 내부 쿼리는 수 밀리초 내 완료된다. 마이크로소프트는 프로메테우스로 생성된 답변을 '채팅 답변'이라고 부른다.

빙 오케스트레이터로 관련 내부 쿼리를 선택하고, 각 빙 검색 결과를 활용하는 것은 프로메테우스에서 중요한 구성 요소다. 빙 오케스트레이터가 관련성 있고 새로운 정보를 제공하기 때문에, 프로메테우스는 최근 질문에 답하고 부정확성을 줄일 수 있다. 그라운딩(grounding)'이라 불리는 방법이다.

그라운딩은 단어에 맥락을 제공하는 방법이다. 언어 모델은 다른 단어와 관련해 단어의 맥락을 이해하게 된다. 빙 오케스트레이터는 GPT에 더 많은 참조 정보를 주입해 더 많은 맥락을 이해하게한다.

프로메테우스 모델은 빙에서 제공하는 데이터를 기반으로 추론하므로, 빙 오케스트레이터가 빙 데이터를 GPT에 넣어 추론하고 정보를 생성한다.

프로메테우스 모델

프로메테우스는 날씨, 주식, 스포츠, 뉴스 등 쿼리 관련 빙 검색 결과를 채팅 답변에 첨부할 수 있다. 이에 빙의 챗봇 기능은 더 풍부하고 매력적인 사용자경험을 제공할 수 있다. 빙 그라운딩 기술 덕분에 프로메테우스는 사용자에게 채팅 답변에 인용구를 삽입할 수 있고, 그를 클릭해 쉽게 해당 정보에 접근하고 확인할 수 있도록 한다. 오픈AI 챗GPT가 채팅 내에서 정보 원천 링크를 제공하지 않는 것과 대비된다.

조르디 리바스 부사장은 "그라운딩은 혁신적이지만 새로운 기술이므로 부정확성을 추가로 줄이고, 공격적이고 유해한 콘텐츠를 방지하는 등 책임감있는 적용 방법을 생각해야 한다"며 "그렇기에 새로운 빙 미리보기의 주요 목표는 사용자 피드백을 수집해 프로메테우스를 더 개선하는데 도움을 주는 것"이라고 밝혔다.

그는 "이미 귀중한 사용자 피드백을 받았고, 처음 2주동안 실제 사용자에게 더 많은 것을 배웠으며, 최근 이를 실행에 옮기고 있다"며 "예를 들어 채팅 응답 정확도를 개선하기 위해 모델에서 보내는 기초 데이터를 4배 늘릴 계획이며, 사용자가 작업과 목표에 따라 경험을 최적화할 수 있는 더 많은 제어 기능 토글을 추가하는 것도 고려하고 있다"고 설명했다.

이어 "또 다른 중요한 교훈은 매우 긴 채팅 세션에서 기본 채팅 모델을 혼동해 덜 정확하거나 의도치 않은 어조의 채팅 답변으로 이어질 수 있다는 것"이라며 "최근 모델의 기본과 톤을 개선하는 채팅 경험에 상한선을 최근 도입한 이유"라고 덧붙였다.

■ 검색과 채팅의 병합, UX 문제

사용자경험(UX) 관점에서 보면, 검색에 채팅을 병합하는 건 관점에 따라 방식을 달리 할 수 있다. 리바스 부사장은 "프로메테우스의 기능을 통합하는 방법은 여전히 명확하지 않으며, 두가지 주요 관점이 있었다"고 밝혔다.

마이크로소프트 검색 팀 일부는 현재의 검색 경험을 뿌리 깊은 습관으로 봤다. 대문에 기존 웹 검색 UX를 유지하고, 기본 UX에 프로메테우스 기반 채팅 응답을 추가만 하는 것으로 의견을 냈다. 검색 결과 목록에 채팅 답변을 동일한 지위로 배치하는 것이다.

다른 한 편은 고전적 웹 검색 패러다임을 기존의 웹 및 답변 결과에서 새로운 대화형 채팅 기반 검색 방식으로 바꿀 기회라고 여겼다.

두 입장 모두 합리적 관점이지만, 어느쪽도 완전한 그림을 갖진 못했다고 한다. 기존 검색을 옹호하는 입장은 일반적으로 탐색적  쿼리를 사용해 관점을 방어했고, 대화형 접근 방식을 추구하는 입장은 여행이나 쇼핑처럼 연구조사 성격의 검색 세션을 제시했다.

리바스 부사장은 이 관찰을 설명하는 쿼리 그래프를 그려 비교했다. 일부 쿼리는 전통적인 검색 모드에서 더 좋은 성과를 내고, 다른 쿼리는 대화나 채팅 모드에서 더 좋은 성과를 낸다는 게 드러났다. 일부 사용자는 쿼리에 따라서 채팅이나 검색 중 하나를 선호할 수 있다.

검색과 채팅 간 쿼리 비교

그는 "따라서 이상적인 빙 검색 제품은 사용자의 의도와 선호도에 따라 검색 모드와 채팅 모드 사이를 원활하게 전환해야 했다"며 "디자인팀은 이 문제를 해결하고 여러 차례 반복을 거쳐 사용자가 페이지에서 UX 요소를 클릭하거나, 스크롤이나 스와이프로 쉽게 전환할 수 있는 새로운 검색 및 채팅 통합 UX를 개발했다"고 밝혔다.

그는 "이 UX 혁신은 직관적 방식으로 제품의 잠재력을 최대한 활용하게 하는 프로메테우스 기술 만큼 중요하다"고 평가했다.

마이크로소프트는 프로메테우스와 검색 및 채팅의 상호 작용 모델 외에도 여러 혁신을 새로운 빙에 투입하고 있다고 강조했다.

리바스 부사장은 "새로운 빙 사용자는 더 완전하고 상황에 맞는 답변을 얻을 수 있으므로, 경우에 따라 검색 세션에서 조사 시간을 절약해 중요한 일에 더 많은 시간을 할애할 수 있다는 것을 의미한다"며 "그 과정에서 검색이 더 상호작용적이고 재미있을 수 있다는 것을 발견하게 되길 바란다"고 밝혔다.

그는 "충성도 높은 팬부터 빙을 처음 사용하는 사용자에 이르기까지 모든 빙 사용자에게 감사드린다"며 "여러분의 피드백은 매우 중요하므로, 계속해서 개선할 수 있도록 공유를 바란다"고 당부했다.