[인터뷰] 코히어 창업자 "AGI 보다 ROI 주목…디지털 허드렛일서 해방시키겠다"

아이반 장 공동창업자 "효율·보안·주권에 집중…에이전틱 AI로 기업 혁신 가속"

"우리는 범용 인공지능(AGI)이 아니라 투자대비수익(ROI)을 봅니다. 그래서 데이터는 절대 밖으로 나가지 않습니다. 대신 모델을 고객 환경 안으로 들여보내 그 안에서 작동하게 합니다. 우리의 AI가 하는 일은 화려한 쇼가 아니라 인간을 반복적인 디지털 노동에서 해방시켜 진정 창의적인 일에 몰두하도록 돕는 것입니다."

아이반 장 코히어 공동창업자는 최근 지디넷코리아와 만나 코히어의 전략에 대해 이같이 말했다. 거대 모델의 외형 경쟁 대신 엔터프라이즈 현장에서 작동하는 효율·보안·주권을 우선순위에 두겠다는 선언이다.

20일 업계에 따르면 프론티어 AI 랩들이 '더 큰 모델'로 패권을 다투는 와중에도 코히어는 창업 초기부터 'AGI 대신 ROI'를 내걸었다. 철학은 분명하다. 고객 데이터는 외부로 내보내지 않고 모델과 플랫폼을 고객 환경(클라우드 및 온프레미스) 안으로 가져간다. 그 전제 위에서 모델은 적은 그래픽처리장치(GPU)로 돌고 암기가 아니라 도구 사용과 검색증강생성(RAG)으로 최신 정보를 끌어온다.

아이반 장 코히어 공동창업자 (사진=코히어)

이같은 철학은 곧 '소버린 AI' 전략으로 이어진다. 장 공동창업자에 따르면 캐나다 기업인 코히어가 정의하는 소버린 AI란 단순히 데이터 주권을 넘어 모델과 플랫폼 전체에 대한 '시스템 통제권'을 고객이 직접 갖는 것을 의미한다. 다시 말해 데이터는 국경 안에서 보관·처리되고 기술 자체도 해당 국가와 시민의 피드백에 맞춰 진화해야 한다는 원칙이다.

이 인식에 따라 코히어는 각국 정부와 기업에 맞춤형 AI 구축을 지원하고 있다. 캐나다와 영국 정부 프로젝트에 참여한 데 이어 한국에서는 LG CNS와 손잡고 한국어 특화 모델 '집현(Jiphyeon)'과 에이전틱 AI 플랫폼을 공동 개발했다. 코히어가 제공한 베이스 모델과 훈련 기술 위에 LG CNS가 한국 시장 환경에 맞게 직접 조정하는 방식이다.

이 회사가 제시하는 미래의 작업 방식은 에이전트 플랫폼 '노스(North)'에 집약된다. 노스는 사내 도구와 데이터에 연결돼 양식 작성, 시스템 전환, 표준 절차 반복 같은 디지털 노동을 대신한다.

코히어 기업용 에이전틱 AI 플랫폼 '노스' (사진=코히어)

장 공동창업자는 "1천 명의 반복 업무 대신 10~100명의 문제 해결자에 자원을 재배치하는 게 목표"라고 말했다.

의료·제조·해운 등 민감 데이터가 외부로 나갈 수 없는 산업에서 노스의 온프레미스 배치는 특히 유효하다. 선박 현장에 GPU 서버와 노스를 올려 선장이 배와 '대화'하며 고장 징후를 즉시 확인하는 사례가 대표적이다.

코히어의 내부 기술도 방향은 명확하다. 단순히 모델을 크게 키우는 대신 엔터프라이즈에 필요한 안정성과 신뢰성을 먼저 맞춘다. 현재 코히어에서 일하는 패트릭 루이스가 처음 개념화한 RAG는 이제 회사의 표준 전략이 됐다.

지난 1일 과기정통부 주최 'AI페스타'에 참가한 아이반 장 코히어 공동창업자 (사진=지디넷코리아)

장 공동창업자는 "기업 고객은 모델이 얼마나 많이 기억하느냐보다 답이 어디서 왔는지를 확인할 수 있느냐를 본다"며 "우리는 거대 모델 대신 작은 모델과 도구 체인을 결합해 최신성·검증 가능성을 보장한다"고 말했다.

코히어의 목표는 단순하다. '지능을 확장해 인류에 봉사한다(Scale intelligence to serve humanity)'는 임무를 보안·효율·주권이라는 엔터프라이즈의 조건 속에서 실현하는 것이다.

장 공동창업자는 인터뷰를 마치며 "지금 나를 움직이는 건 고객이 우리 기술로 성공하는 모습을 직접 보는 것"이라며 "고객이 효율을 높이고 비즈니스를 바꾸며 새로운 기회를 발견하는 순간 가장 큰 기쁨과 동력을 얻는다"고 강조했다.

---

아래는 아이반 장 코히어 공동창업자와의 일문일답.

- 모두가 범용인공지능(AGI) 경쟁에 뛰어들 때 기업의 문제를 해결하는 데 집중했다. 코히어의 시작점이 된 그 '문제의식'은 무엇이었나.

"오늘날 우리의 슬로건은 'AGI가 아닌 투자대비수익(ROI not AGI)'이다. 다만 창업 초기인 지난 2019년에도 우리는 기술의 힘을 믿었다. 컴퓨터가 인간을 이해하고 소통하며 우리의 도구를 사용하게 될 것이라는 잠재력을 봤다. 우리의 가장 큰 열정은 지구상에서 가장 어려운 난제에 도전하는 사람들을 위한 '도구'를 제공하는 것이었다.

우리의 사명은 매우 단순하다. '지능을 확장해 인류에 봉사한다(Scale intelligence to serve humanity)'는 것이다. 언제나 '일하는 인간'이 중심이었고 이는 자연스럽게 우리를 엔터프라이즈 시장으로 이끌었다. 그리고 엔터프라이즈에 집중하면서 보안, 프라이빗 배포(Private Deployment), 데이터 주권(Data Sovereignty), 검색 증강 생성(RAG), 에이전틱(Agentic) 기술에 대한 집중으로 이어졌다. 이 모든 것은 엔터프라이즈 고객을 만족시키기 위해 우리 제품에 내장된 핵심 기능들이다."

(사진=코히어)

- 코히어는 '큰 모델' 경쟁 대신 '효율성'을 강조한다. 이런 역발상은 어떻게 가능했고 현재 AI 업계의 가장 큰 착각은 무엇이라고 보나.

"그 이유는 우리가 엔터프라이즈에 서비스를 제공해야 하기 때문이다. 기업은 절대로 가장 민감한 데이터를 자신의 시스템 밖으로 내보내지 않는다. 우리 AI 모델이 그 데이터를 보지 못한다면 의미 있는 유즈케이스를 다룰 수 없다. 

결국 우리 모델은 고객의 클라우드나 온프레미스 환경, 즉 고객 시스템 '내부'에서 작동해야 한다. 고객이 직접 우리 모델을 실행하는 비용을 부담하기 때문에 모델은 최대한 효율적이어야 한다. 모델이 너무 많은 컴퓨팅 자원을 요구하면 고객은 보다 많은 그래픽처리장치(GPU)를 사야 하므로 도입에 장벽이 생긴다.

AI 업계의 가장 큰 착각은 '모델이 무조건 커야 한다'는 생각이다. 이는 소비자 시장에만 해당하는 이야기다. '챗GPT'와 같은 소비자용 모델은 사용자가 아무런 맥락 없이 대화를 시작하는 '콜드 스타트(Cold start)' 상황을 해결해야 한다. 이를 위해선 모델이 엄청난 양의 지식과 사실을 '암기'하고 있어야만 성공적인 경험을 제공할 수 있다. 그래서 소비자 시장을 공략하는 기업들은 거대한 모델을 만든다.

우리 모델은 다르다. 더 작기 때문에 본질적으로 암기할 수 있는 양이 적다. 그래서 우리는 모델이 처음부터 모든 것을 기억하는 대신 사용자 요청이 들어오는 시점에 '도구'를 사용해 정보를 가져오도록 가르친다. 즉, 검색증강생성(RAG)을 하도록 훈련시키는 것이다. 실시간 데이터에 접근할 수 있기 때문에 굳이 많은 것을 외울 필요가 없어 보다 작은 모델을 만들 수 있다. 사실 모든 고객이 이 방식을 선호한다. 암기된 정보가 아닌 자신들의 환경에 있는 도구를 활용해 최신의 실시간 정보를 바탕으로 질문에 답하는 것을 훨씬 더 좋아한다.

흥미로운 사실은 우리 전략의 핵심인 RAG 기술을 처음 만든 사람이 바로 패트릭 루이스(Patrick Lewis)인데 그가 바로 지금 우리와 함께 일하고 있다."

- 최근 AI 업계의 화두인 '소버린 AI'에 대해 코히어는 어떤 철학을 갖고 있나. 코히어가 정의하는 소버린 AI란 무엇이며 이를 기술적으로 어떻게 지원하는가.

"우리에게 소버린 AI는 '시스템에 대한 통제권'을 의미한다. 우리 고객은 기본적으로 플랫폼과 그 안에서 실행되는 모델에 대한 완전한 통제권을 갖는다. 이는 정부 고객의 데이터가 국경 내에, 그들이 선택한 데이터센터 안에 머무를 수 있다는 뜻이다. 이것이 데이터 저장소에 대한 주권이다.

다만 주권은 단지 데이터에만 국한되지 않는다. 기술 자체가 해당 시장의 시민들의 피드백에 맞춰 진화하고 반응하는지도 중요하다. 이것이 바로 LG CNS와 같은 현지 파트너십이 극도로 중요한 이유다. 우리는 그들이 현지 시장에 맞춰 기술을 맞춤화하고 조정할 수 있는 플랫폼과 도구를 제공해 진정한 의미의 소버린 솔루션을 만들 수 있도록 돕는다. LG CNS의 '에이전틱웍스(AgenticWorks)'가 좋은 예다. 한국 엔지니어들이 한국 데이터로 훈련시켜 한국에서 모든 것이 실행된다.

LG CNS와 함께 개발한 한국어 모델인 '집현(Jiphyeon)' 역시 우리 플랫폼 기술을 기반으로 만들어졌다. 우리가 기본 모델을 훈련시켜 세상에 대한 일반적인 지식을 제공하면 LG CNS가 한국 시장에 맞게 조정하는 방식이다. 우리가 한국 시장의 전문가가 아니기 때문에 LG CNS와 같은 현지 파트너가 훨씬 더 잘 안다.

우리의 관점에서 이것이 바로 소버린 AI다. 데이터가 어디에 저장되고 처리되는지, 그리고 시스템의 기능이 어떻게 해당 국가의 시민들에게 맞춰 진화하는지, 이 두 가지를 모두 포함하는 개념이다."

코히어-LG CNS 파트너십 (사진=코히어)

- 코히어의 에이전트 AI 플랫폼 '노스(North)'가 궁극적으로 인류의 일하는 방식을 어떻게 바꿀 것이라고 보나. 창업자로서 그리는 가장 큰 그림이 궁금하다.

"나의 비전은 오늘날 인간이 '디지털 노동(Digital Labour)'에 쏟는 시간을 해방시키는 것이다. 디지털 노동이란 양식을 작성하고 앱을 확인하고 여러 애플리케이션을 넘나들며 정해진 절차를 반복하는 일들을 말한다. 수천 명의 사람들이 이런 종류의 일을 매일같이 반복하고 있다.

나는 우리의 솔루션이 이런 필요 자체를 없애주길 바란다. 그런 허드렛일은 에이전트가 맡아야 한다. 그렇게 되면 인간은 '어떻게 비즈니스를 다르게 할 것인가'를 탐구하는 데 보다 많은 시간을 쓸 수 있다. 기업이 이런 단순 수작업에 더 이상 투자할 필요가 없어진다면 1천 명의 인력을 고용하는 대신 10명, 20명, 혹은 100명의 뛰어난 인재를 고용해 비즈니스를 보다 경쟁력 있고 혁신적으로 만드는 방법을 고민하게 할 수 있다.

본질적으로 오늘날 기업에서 이뤄지는 대부분의 일은 '디지털 허드렛일'에 해당한다. AI 에이전트가 이 모든 것을 도와주고 인간은 비즈니스 혁신(Business Transformation)에 집중해야 한다."

- 코히어의 기술이 '세상을 바꾸고 있다'고 실감한 결정적인 고객 사례가 있나.

"물론이다. 가장 초기에 받은 피드백 중 하나는 병원에 소프트웨어를 제공하는 고객사례였다. 그들은 기존 애플리케이션에 우리 AI 모델을 통합했다. 의사가 곧 만나게 될 환자에 대한 요약 정보를 작은 텍스트 상자로 보여주는 간단한 기능이었는데 의사의 진료 준비 시간을 25분에서 5분으로 줄여줬다. 

내 아내가 캐나다에서 가정의학과 의사로 일하고 있어 이 기술이 얼마나 큰 영향을 미치는지 잘 안다. 아내는 진료 시간의 절반을 환자 준비에 쓴다. 의사가 직접 전자의무기록(EMR)을 찾아보고 연구 자료를 뒤지는 단순 노동을 줄여주는 것만으로도 환자 케어의 질이 향상되고 결국 인류에게 나은 결과로 이어진다.

또 다른 사례는 선박을 건조하는 고객이다. AI가 없던 시절 배는 엄청난 양의 데이터를 수집하지만 선원 중 누구도 그 데이터를 다룰 줄 몰랐다. 데이터가 극도로 민감해서 인터넷에 보내 도움을 요청할 수도 없었다. 결국 배가 한두 달의 항해를 마치고 항구에 정박하면 엔지니어가 배에 올라가 진단 정보가 담긴 물리적 하드 드라이브를 꺼내와서야 분석을 시작했다. '곧 엔진이 고장 날 것 같다'와 같은 사실을 몇 달이 지나서야 알게 되는 식이었다.

우리는 '노스' 플랫폼을 선박에 직접 설치했다. 작은 GPU 서버만으로도 모든 센서에 에이전트를 연결할 수 있었다. 이제 선장은 아침에 일어나 배와 직접 '대화'할 수 있다. 무엇이 고장 날 것 같은지 바로 물어볼 수 있게 된 것이다. 1~3개월이 걸리던 진단 시간을 없애고 정보를 즉시 얻는다. AI가 민감한 데이터를 배 안에서 안전하게 처리해주기 때문이다. 

나는 이런 유즈케이스를 정말 좋아한다. 선박의 선원처럼 지금까지 최신 기술의 혜택을 받지 못했던 사람들에게 곧바로 에이전트 AI를 제공해 그들의 업무를 돕는다는 것은 정말 신나는 일이다."

아이반 장 코히어 공동창업자 (사진=LG CNS)

- AI 시대를 이끌 인재는 어떤 점이 달라야 할까. 대학 학위 같은 전통적 조건은 여전히 중요한가.

"학위를 무조건 부정하는 건 아니다. 핵심은 "항상 학습이 가장 많은 길을 선택하라"는 철학이다. 학교에서 친구를 만나 창업을 시작한다면 그것도 훌륭한 기회고 다른 길에서 더 많이 배울 수 있다면 거기를 가는 게 맞다. 

나는 창업을 한 후 나중에 자퇴를 했는데 이때 선택을 확률적으로 생각했다. 창업 기회를 잡으면 최고의 시나리오는 큰 성공, 최악의 시나리오는 다시 학교로 복귀다. 그런데 '학교에 남는다'는 건 이미 그 최악의 시나리오를 100% 확률로 선택하는 셈이었다. 그래서 도전하는 게 합리적이었다.

더 중요한 조언은 "배우는 법을 배우라(Learn how to learn)"는 것이다. 기술은 매주 새로 나온다. 적응하려면 자기 뇌가 어떻게 새로운 기술을 익히는지 메타적으로 알아야 한다. 나의 경우 리그오브레전드를 하면서 알았다. 경쟁하는 사회적 환경 속에서 더 잘 배우고 끊임없이 반복해 짧은 피드백 루프를 만드는 게 내 학습 패턴이었다. 이 방식을 AI 연구와 창업에도 그대로 적용했다. 결국 핵심 역량은 적응력과 자기 학습법에 대한 이해다."

- AI 시장의 경쟁이 매우 치열하다. 이같은 경쟁 속에서 창업가로서 계속 나아가게 하는 가장 큰 동력은 무엇인가.

"지금 나를 움직이는 건 고객이 우리 기술로 성공하는 모습을 직접 보는 것이다. 엔지니어로서 나는 경력 대부분을 무언가를 만들고 배포하고 세일즈 팀이 그것을 가져가 고객에게 팔아 매출을 내는 과정으로 살아왔다.

그런데 이제는 그 반대편에서 직접 고객과 관계를 맺고 기술이 실제로 어떻게 쓰이고 있는지를 본다. 고객이 효율을 높이고 비즈니스를 바꾸고 새로운 기회를 발견하는 걸 지켜보는 건 큰 기쁨이다. 나는 고객을 돕고 그들의 성공을 함께 경험하는 것에서 가장 큰 동력을 얻는다."