[현장] 와탭랩스 "AI로 완전 자율 모니터링 시대 열 것"

이동인 대표, 'LLM 옵저버빌리티' 전략 발표…와탭 AI 기능 소개

"인공지능(AI) 시장 무게중심이 'AI 실행'에서 'AI 운영'으로 이동하고 있습니다. 우리는 이에 발맞춰 기업이 AI 시스템 운영 전 과정을 한눈에 볼 수 있도록 제품군을 지속 강화할 것입니다. 그동안 파악하기 어려웠던 AI 서비스 성능부터 비용, 품질 문제를 통합 분석하는 시대를 열겠습니다."

이동인 와탭랩스 대표는 9일 서울 서초구 본사에서 'LLM 옵저버빌리티 미디어 데이'를 열고 그래픽처리장치(GPU) 모니터링을 비롯한 LLM 옵저버빌리티, AI 적용 전략을 이같이 발표했다.

이번에 정식 출시된 'LLM 옵저버빌리티'는 거대언어모델(LLM) 기반 애플리케이션 요청 흐름과 성능, 비용, 답변 품질을 추적·분석하는 기능이다. 사용자 요청이 들어온 순간부터 응답이 반환되기까지 전 과정을 트레이스 단위로 기록해 병목 원인을 확인할 수 있도록 한다.

이동인 와탭랩스 대표가 'LLM 옵저버빌리티' 제품을 소개하고 있다.

이 대표는 AI 서비스 장애가 기존 IT 시스템처럼 단일 원인으로 발생하지 않는다고 설명했다. 그는 "추론용 GPU 부족을 비롯한 LLM API 응답 지연, 검색 단계 병목, 애플리케이션 호출 오류 등이 복합적으로 얽힐 수 있다"며 "이제 기업은 전 계층을 동시에 관측해야 한다"고 당부했다. 

LLM 옵저버빌리티는 모든 LLM 호출 입출력 토큰을 요청, 기능, 모델 단위로 집계한다. 이를 통해 기업은 토큰 사용량과 비용을 모니터링하고 AI 환각 감지 등 답변 품질 평가까지 수행할 수 있다.

이 기능은 기존 와탭 플랫폼의 애플리케이션, 쿠버네티스, 서버, 데이터베이스, GPU 모니터링과 연결된다. 기존 고객은 별도 도구를 추가하지 않고 LLM 레이어에서 인프라 영역까지 하나의 대시보드에서 드릴다운 방식으로 분석할 수 있다.

이 대표는 올해 하반기까지 GPU, LLM, AI 운영 중심으로 산업별 솔루션 적용을 확대할 계획이다. 궁극적으로 AI 운영의 표준이 되는 풀스택 플랫폼 완성을 목표로 하고 있다.

와탭랩스는 해외 시장서도 사업 기반을 넓히고 있다. 현재 일본과 동남아 시장에서 고객사를 확보하고 있다. 특히 일본법인은 40개 이상 파트너사를 보유하고 있는 것으로 나타났다. 동남아에서는 인도네시아 중심으로 고객 확대 가능성을 보고 있다.

이 대표는 북미 시장 진출도 추진 중이다. 그는 "현재 김성조 최고기술책임자(CTO)가 현지에서 개발 활동을 이어갈 계획"이라며 "해외 진출 확대를 위해 시장 상황을 지켜보고 있다"고 말했다.

와탭 AI, 대화로 데이터 분석부터 인사이트 도출까지

최진식 와탭랩스 개발 총괄은 와탭 AI의 자율 운영 기능을 고도화 중이라고 밝혔다.

이날 최진식 와탭랩스 개발 총괄은 대화형 AI '와탭 AI'를 소개했다. 그는 와탭 AI의 자율 운영 기능을 고도화 중이라고 밝혔다. 

와탭 AI는 이상 탐지와 원인 추론, 조치 기능을 AI가 수행하도록 지원한다. 이에 운영자가 장애 원인을 더 빠르게 파악하고 대응할 수 있도록 돕는다.

와탭 AI는 비용 최적화 기능도 제공한다. 리소스 사용 패턴과 활용도를 분석해 불필요한 비용을 줄일 수 있는 방향을 제안하는 식이다. 최 총괄은 "팀별 자원 사용 최적화를 통해 GPU 작업량을 2~3배 늘리는 데 기여할 수 있다"고 설명했다.

이 기능은 운영자가 직접 모니터링 화면을 구성해야 하는 부담도 줄인다. 기존에는 며칠씩 걸리던 대시보드 작업을 채팅 몇 줄로 완성할 수 있으며, 프리셋부터 플랫폼 보드까지 필요한 화면을 구현할 수 있다.

제품 간 연계 분석 기능도 와탭 AI 핵심이다. 서로 다른 제품 데이터를 한 흐름으로 연결해 장애 원인을 입체적으로 파악하고, 사용자가 현재 보고 있는 화면의 맥락과 실제 데이터를 바탕으로 분석을 이어갈 수 있도록 지원한다.

와탭AI는 메신저 연계 리포트 기능도 갖췄다. 사용자는 와탭에 직접 접속하지 않아도 메신저에서 운영 현황을 확인하고 주기적인 리포트를 받을 수 있다.

그는 "우리는 그동안 파악하기 어려웠던 AI 서비스 성능부터 비용, 품질 문제를 통합 분석하는 시대를 열 것"이라고 포부를 밝혔다.