"생성형 AI 업무에 잘 사용하려면 '통합 플랫폼'에 적용해라"

[인터뷰] 서비스나우 팻 케이시 최고기술책임자(CTO)·장은혜 IT운영관리 부문 엔지니어링 부사장

"생성형 인공지능(AI) 기술은 더 복잡해질 것이다. 향후 기업은 기존 시스템에 생성형 AI 적용하는 것을 버거워할 것이다. 서비스나우는 다르다. 단일 플랫폼을 운영하기 때문이다. 아무리 복잡한 생성형 AI이라도 통합 플랫폼에 한번 들어가면, 모든 기능에 자연스레 스며든다. 생성형 AI 시대에 통합 플랫폼 잠재력이 펼쳐질 것이다." 

서비스나우 팻 케이시 최고경영자(CTO)는 이달 5월 미국 네바다주 라스베이거스에서 열린 '서비스나우 날리지 2024' 행사에서 기자와 만나 "기업이 생성형 AI를 업무에 잘 활용하려면 이를 통합 플랫폼에 적용해야 할 것"이라고 재차 강조했다. 

점차 복잡해지는 AI를 업무에 바로바로 적용하기 위해선 무엇보다 단순함과 유연성이 답이라는 이유에서다. 

서비스나우 팻 케이시 CTO(왼쪽)과 PJ(은혜) 장 IT운영관리 부문 엔지니어링 부사장.

PJ(은혜) 장 IT운영관리 부문 엔지니어링 부사장은 자사 플랫폼이 생성형 AI로 코드 생성, 메일 작성 등만 하는 것은 아니라고 했다. IT운영관리(ITOM) 서비스에 생성형 AI를 접목함으로써 기업이 시스템 관리에 필요한 정보를 맞춤형으로 받을 수 있게 됐다는 것도 알렸다.

"생성형 AI, 통합 플랫폼서 유연하게 기능"

팻 케이시 CTO는 서비스나우가 단일 플랫폼을 꾸준히 고수했다고 말했다. 그는 "회사를 세운 프레디 루디 설립자의 철저한 기조였다"고 했다. 

서비스나우는 현재 IT서비스관리(ITSM), 인사(HR), ITOM 등 모든 애플리케이션을 나우 플랫폼 안에 탑재했다. 고객은 여기서 필요한 기능을 기업 시스템에 적용하면 된다.

팻 케이시 CTO는 "단일 플랫폼은 서비스나우 프레디 루디 설립자가 철저히 지킨 기조"라고 설명했다.

팻 케이시 CTO는 생성형 AI는 단일 플랫폼 내에서 기능을 발휘할 수 있다고 했다. 그는 자사 단일 플랫폼과 생성형 AI 관계를 타사 솔루션과 비교해 설명했다. 

케이시 CTO는 "예를 들어, 마이크로소프트는 다이내믹스, 오피스 제품군 등 다양한 플랫폼을 운영하고 있다"며 "여기에 생성형 AI를 추가할 경우 플랫폼마다 다른 기술과 엔지니어링을 활용해야 한다"고 했다. 그는 "현재 생성형 AI 수준은 초기 단계에 불과하다"며 "갈수록 무거워지는 AI 기술을 각기 다른 방식으로 플랫폼에 적용하면 시간과 비용은 더 늘어날 것"이라고 내다봤다. 

반면 서비스나우는 단일 플랫폼에 생성형 AI를 한번 넣기만 하면 된다. 플랫폼 내 있는 모든 기업 앱에 바로 적용되기 때문이다. 생성형 AI는 플랫폼 내 모든 앱에 유기적으로 연결된다. 그는 "이는 서비스나우만이 가진 특장점"이라고 재차 강조했다. 

"멀티모달 모델 내놓을 것…한국 AI 기술 뛰어난 것 인지"

서비스나우 CTO는 자사 거대언어모델(LLM) 출시 소식도 알렸다. 

케이시 CTO는 엔비디아와 서비스나우가 오랫동안 파트너십을 맺었다고 강조했다.

케이시 CTO는 서비스나우가 오픈소스형 LLM을 출시했다고 소개했다. 오픈소스 플랫폼 허깅페이스와 손잡고 만들었다. 고객은 해당 모델에 자사 데이터를 결합해 도메인 특화 모델을 이용할 수 있다. 오픈AI나 구글 LLM을 넣어 기능 추가도 가능하다.

이 모델은 서비스나우 플랫폼 내에서 소스 코드를 비롯한 워크플로 생성, 텍스트 요약 등과 같은 작업을 수행할 수 있다. 개발자는 코드 생성을 비롯한, 고급 코드 요약 등에도 해당 LLM을 활용할 수 있다. 

팻 케이시 CTO는 서비스나우가 생성형 AI 기능을 무한대로 확장할 수 있다고 자신했다. 엔비디아와의 지속적인 파트너십을 주요 이유로 꼽았다. 그는 "엔비디아 덕에 LLM 훈련에 필요한 하드웨어인 그래픽처리장치(GPU)와 슈퍼컴퓨터, 소프트웨어 등 인프라 구축을 타사보다 원활히 사용할 수 있다"고 강조했다. 

케이시 CTO는 "현재 최종 테스트 중인 AI 비서 서비스에 탑재된 음성, 이미지 기능도 엔비디아 기술과 결합한 것"이라며 "엔비디아와 다양한 방식으로 업무 협약 맺은 기업은 서비스나우뿐"이라고 했다.

서비스나우는 올해 LLM뿐 아니라 사람처럼 보거나 듣고, 말할 수 있는 멀티모달 모델도 자체 개발할 계획이다. 이를 위해 전략적 파트너십을 지속적으로 맺을 방침이다.

그는 북미·유럽뿐 아니라 비영어권 국가 모델과의 결합도 고려하고 있다고 했다. 케이시 CTO는 "한국 기업이 뛰어난 AI 기술을 가진 것을 알고 있다"며 "함께 AI 개발하는 것도 생각해 볼 가치가 있다"고 전했다.

ITOM과 생성형 AI 결합…"핵심 정보만 쏙쏙 준다"

서비스나우 PJ 장 IT운영관리 부문 엔지니어링 부사장은 자사 통합 플랫폼의 ITOM 서비스와 생성형 AI 결합을 통한 시너지 효과를 설명했다. 서비스나우는 올해 3월부터 ITOM에 생성형 AI 기능을 탑재했다.

서비스나우 장은혜 IT운영관리 부문 엔지니어링 부사장.

ITOM은 기업 디지털 서비스를 비롯한 기술, 구성요소 및 앱 관리에 필요한 사항을 계획, 구축, 운영하도록 돕는 관리 서비스다. 이를 통해 IT 시스템에 발생할 수 있는 문제를 예측할 수 있다. 팀 간 워크플로우를 자동화할 수도 있다. 기업은 불필요한 수동 프로세스를 줄이고 기업 협업 기회를 높인다. 

장은혜 부사장은 "최근 기업 데이터가 늘어나면서 ITOM이 고객에 제공하는 정보양이 많아졌다"고 했다. 이에 "ITOM이 이를 필터링할 수 있어야 한다"며 "필요한 핵심 정보만 조합할 줄 알아야 하는 시대"라고 강조했다. ITOM이 기업 관리나 위험 예측에 필요한 데이터를 스스로 파악해 구분할 수 있어야 한다는 의미다. 

장 부사장은 "ITOM에 탑재된 생성형 AI로 이 기능을 추가할 수 있다"고 했다. ITOM은 생성형 AI를 통해 기업 시스템 환경이나 업무에 맞는 정보나 데이터를 모아 요약하고, IT 시스템 오류를 신속·정확히 예측할 수 있다는 것이다. 

그는 "관리자는 ITOM으로 받은 내용 의미를 알기 위해 인터넷을 살펴볼 필요도 없다"며 "생성형 AI에 물어보면 이에 가장 최적화된 문맥을 통해 답변하기 때문"이라고 설명했다.

장 부사장은 "이 기능도 서비스나우 플랫폼 내에서 작동한다"며 "시스템을 분산적으로 활용해 왔던 한국 기업들이 관심 있어하는 애플리케이션이기도 하다"고 덧붙였다.