[황승진의 AI칼럼] 애플이 37년전 꿈꾼 'Knowledge Navigator' 실현한 뉴AI

LLM 하나만은 퀴즈 맞추기 정도...RAG 등 관련 기술 덕분에 AI가 비즈니스 안으로

 인터넷 시대에서 볼 때 선사시대에 해당하는 1987년, 애플사는 자신이 그리는 기술의 장기적 비전을 '애플 지식 항해(Apple Knowledge Navigator)'란 비디오에 담았다. 이 비디오는 애플을 넘어 세계 기술사의 비전이 됐다. 워낙 장기적이라 37년이 지난 지금도 그 비전은 다 실현되지 않았다. 이제야 겨우 가시권에 들어왔다. 독자에게 이 비디오를 유튜브에서 찾아서 보기를 강력히 추천한다.

이 비디오에는 한 버클리 교수의 어느 하루가 나오는데, 이를 통해 애플은 AI가 어떻게 세상을 변화시킬지를 상상한다. 비디오에서 버클리 교수는 자신의 가상 비서와 대화하며 강의 준비를 한다. 그곳에 동원되는 기술은 놀랍도록 현재의 AI와 일치한다.

첫째, 가상 비서는 교수의 말을 이해하고 답한다. 거대언어모델(LLM)이 미리 태어난 것 같은 착각을 준다. 둘째는 3자 멀티모달(텍스트, 영상과 오디오) 데이터의 자연스런 사용이다. 가상 비서는 입술을 움직이며 교수와 말을 주고받으며, 오는 전화를 받고, 놓친 전화에 대해 설명하며, 딴 교수에게 전화하며, 하루의 일정을 설명한다. 답하는 중에 논문, 도표와 지도도 사용한다. 시뮬레이션을 통해 비디오도 즉석에서 생성한다.

셋째, LLM 혼자가 아니라, 그의 일당(RAG, Agent, API, 도구)까지 등장한다. 교수의 지시사항에 맞춰 작업의 흐름 즉 워크플로를 계획하고 실천한다. 리서치 네트워크 등 여러 데이터 소스가 비서에게 매끄럽게 연결되는데, 요새로 따지면 RAG가 할 일이다.

개인 일정표는 도구로 연결하면 된다. 마지막으로, 교수는 정확한 소스를 모르지만 대강 뜻하는 바를 밝힐 뿐이다. “거, 플레밍인가 하는 친구가 최근에 발표한 삼림의 황폐화에 관한 논문…”. 흔히 말하는 인텐트 기반 AI가 있는 듯하다.  어느 정보소스에 연결할지 그 라우팅은 자동으로 되는데, 요새 같으면 ‘에이전틱 워크플로’의 일부일 것이다. 물론 그 비디오는 30여년전 애플이 배우를 써 촬영한 공상과학극이지만, 그 기반 기술은 실제 우리 눈 앞에 펼쳐지고 있다. 할리우드 영화가 실리콘 밸리에 현실로 나타난 듯하다.

황승진 스탠퍼드경영대학원 잭디프 로시니 싱 석좌명예교수.

 이 공상극이 연출한 기술 선물세트를 우리는 요새 LLM Mesh(LLM 망)라 부른다. 여기에는 LLM, RAG, 에이전트, API 같은 도구가 등장한다. 이들은 여러 역할로 시스템 내 워크플로에 참가한다. '누가 무엇을 한 후, 누가 받아서 무엇을 어떻게 해서 답을 내놓느냐' 등을 설계하고 실천하는 것이다. 이 구성원들을 간단히 소개한다.

LLM은 언어 모델로 인간 사용자와 자연어로 대화한다. LLM은 이러한 기업시스템의 UI(User Interface)가 된다. 다음으로, RAG는 LLM에게 외부 정보를 제공한다. 예를 들어, 각종 서류를 PDF로 변환하고, 이 PDF를 LLM과 연결할 수 있다. 또한 기업 DB에 있는 데이터를 데이터 언어 SQL로 축출한다. 이때, SQL 전환이든지 SQL 명령수행 등은 RAG로 처리한다. 에이전트는 워크플로를 자동화한다. 특히 마스터 에이전트는 작업의 흐름을 지휘하고, LLM이 이 역할을 맡는다. 때로는 여러 명의 에이전트가 작업을 나눠 처리한다.

에이전트는 독자적으로 결정권을 행사하며 주어진 임무를 달성한다. 이를 위해 소프트웨어 도구를 사용한다. 웹을 검색하든지, 파이손을 해석하고, 항공사 웹에 예약하고, 신용카드로 지불하는 API도 도구의 한 형태다. 전체 워크플로는 랭체인(LangChain)이나 Agent Builder 같은 에이전트 프레임워크가 관장한다. 이렇게, LLM은 그 보완제품들과 같이 무리지여 돌아다닌다. LLM 하나만 가지고는 퀴즈 맞추기 정도 밖에 할 게 없다. 그 무리 덕택에 AI가 비즈니스 안으로 들어오게 됐다.

이제 Knowledge Navigator로부터 무대를 바꿔 오늘날의 LLM Mesh 혹은 에이전트 시스템을 상상해 본다. 한 기업이 AI 기반 챗봇을 설계한다. 인간 사용자는 제미나이 2.0나 gradio같은 UI를 통해 마스터 에이전트와 화면 대화를 한다. 우리 마스터 에이전트는 LLM으로 3개의 연결 도구를 가지고 있다.

첫째 도구는 회사 정책과 절차가 들어있는 PDF를 RAG로 연결한다. “내 경우, 내년에 며칠의 휴가가 가능한가?”라고 물으면, 그 답이 관련 문서를 통째로 주며 “여기 어디엔가 답이 있어”라는 게 아니라, “14일”이라는 형태로 돌아온다.

둘째 도구는 회사의 관계형 DB를 엑세스하게 하는 SQL 에이전트다. 여기에 회사의 기업활동에 대한 중요한 정보가 포함되어 있다. 이 에이전트 역시 LLM이다. 영어 쿼리를 SQL로 번역하고, 또 테이블 형태로 나온 답을 영어로 풀어 마스터 에이전트에게 넘긴다. “작년에 LA 지역에서 몇 건의 주문 취소가 일어났나?”라고 자연어로 질문하면, “512 건입니다” 라고 자연어로 답한다.

마지막 도구는 인터넷 검색을 가능하게 한다. 오늘의 주식 상황이든지 내일 날씨 같은 최근 뉴스는 이 도구가 처리한다. LLM은 실시간 정보를 처리할 수 없으니 이런 도움이 필요하다.

이 에이전트 시스템에서, 사용자는 챗봇과 자연스레 대화하며, 마스터 에이전트는 다 알아서 답한다. 질의 내용에 따라 마스터 에이전트는 필요한 출처를 선택해 필요한 정보를 추출한 후 사용자에게 전달한다. 하나의 UI로 모든 비즈니스가 처리된다. 드디어 애플이 꿈꿨던 Knowledge Navigator가 완성된 것이다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.