[영상] "AI 실수도 기업 책임"…생성형 AI 시대, 리스크 관리가 생존 전략

환각·프롬프트 인젝션·오작동까지…와탭랩스 "AI 서비스 전 구간 관측 체계 필요"

생성형 인공지능(AI)이 기업 업무와 서비스 전반으로 확산되면서 새로운 과제가 떠오르고 있다. AI가 생산성을 높이고 업무 혁신을 이끄는 동시에 잘못된 답변과 보안 문제, 예기치 못한 오작동이 기업 리스크로 직결되고 있기 때문이다.

특히 AI가 고객과 직접 소통하는 서비스 영역으로 확대되면서 기업은 단순히 모델 성능을 높이는 것을 넘어 AI가 어떤 답변을 내놓고 어떤 행동을 수행하는지까지 관리해야 하는 상황에 직면했다.

생성형 AI 도입이 실험(PoC) 단계를 넘어 실제 서비스 운영 단계로 이동하면서 'LLM 옵저버빌리티(Observability)'가 새로운 기업 IT 과제로 부상하고 있다.

고지훈 와탭랩스 애플리케이션 팀 리드와 신민철 애플리케이션 팀 개발자는 26일 지디넷코리아와의 영상 인터뷰에서 생성형 AI 시대 기업이 마주할 변화와 이에 대응하기 위한 LLM 옵저버빌리티의 중요성을 강조했다.

고 팀장은 "AI가 제공한 답변이라도 결국 고객은 기업이 제공한 공식 정보로 받아들인다"며 "AI 서비스 운영 단계에서는 응답 품질과 신뢰성을 지속적으로 관리하는 체계가 필수"라고 말했다.

AI 실수, 이제는 기업이 책임져야

고 팀장은 주요 사례로 캐나다 항공사 에어캐나다를 소개했다. 한 고객이 챗봇에 할인 혜택 적용 가능 여부를 문의하자 에어캐나다의 챗봇은 실제 존재하지 않는 할인 상품을 안내했다.

고객은 이를 믿고 항공권을 구매한 뒤 할인을 요구했지만 에어캐나다가 이를 거부하면서 법적 분쟁으로 이어졌다.

캐나다 법원은 'AI가 응답한 내용이라도 게시된 정보에 대한 책임은 기업에 있다'고 판단했다. 이에 에어캐나다는 패소했고 금전적 보상은 물론 기업 신뢰도에도 타격을 입었다.

신 개발자는 "AI 챗봇의 답변이 기업의 공식 입장으로 간주되는 사례가 실제로 빈번하게 발생하고 있다"며 "잘못된 응답 하나가 직접적인 비용 손실과 브랜드 신뢰도 하락으로 이어질 수 있다"고 설명했다.

고 팀장은 "작년까지는 많은 기업이 AI를 시범 적용하는 수준에 머물렀지만 올해부터는 금융, 공공, 엔터프라이즈를 중심으로 실제 서비스에 적용하는 사례가 빠르게 늘고 있다"며 "응답 품질을 관측할 체계 없이 서비스를 출시하는 기업도 적지 않다"고 지적했다.

신민철 와탭랩스 애플리케이션 팀 개발자(왼쪽)과 고지훈 애플리케이션 팀 리드(사진=지디넷코리아)

"지표는 정상인데 고객은 불만"…AI 시대 등장한 새로운 장애 

문제는 기존 모니터링으로는 AI 응답 오류를 감지할 수 없다는 점이다. 서버·네트워크 지표가 정상이어도 AI가 잘못된 답변을 내보내면 알 방법이 없다.

고 팀장은 "CPU·메모리는 정상인데 고객 불만이 폭증하는 새로운 유형의 문제가 생긴다"며 "기존 인프라 모니터링만으로는 응답 품질 이상을 잡아낼 수 없다"고 말했다.

보안 위협도 새로운 형태로 진화했다. AI 에이전트가 코드 실행·시스템 제어까지 수행하게 되면서 악의적 입력으로 AI가 의도치 않은 동작을 하도록 유도하는 '프롬프트 인젝션' 공격이 현실화됐다. 와탭랩스 내부에서도 악의적 입력 없이 AI가 잘못된 판단을 내려 개발 PC 폴더가 통째로 삭제되는 사고를 경험했다.

AI 보안 위협 역시 새로운 변수로 떠오르고 있다.

신 개발자는 "과거 LLM은 단순히 텍스트를 생성하는 수준이었지만 이제는 함수 호출, 코드 실행, 외부 시스템 제어까지 가능한 에이전트 형태로 발전하고 있다"며 "프롬프트 입력 하나가 실제 시스템 동작으로 연결될 수 있다"고 설명했다.

대표적인 위협은 '프롬프트 인젝션(Prompt Injection)'이다. 이는 특정 입력을 통해 AI가 의도하지 않은 행동을 수행하도록 유도하는 공격 방식이다. 특히 AI가 다양한 시스템과 연결될수록 피해 범위도 커질 수 있다.

와탭랩스 역시 내부 실험 과정에서 예상치 못한 사례를 경험했다. 오케스트레이션 기반 AI 개발 환경을 테스트하던 중 악의적 입력이 없었음에도 AI가 잘못된 판단을 내려 개발 PC의 특정 폴더를 삭제하는 사고가 발생한 것이다.

신 개발자는 "중요한 것은 사용자가 공격 의도를 갖지 않았더라도 AI가 예기치 않은 행동을 할 수 있다는 점"이라며 "AI가 어떤 과정을 거쳐 해당 결정을 내렸는지 추적하고 통제할 수 있어야 한다"고 말했다.

GPU 다음은 LLM 운영…기업 AI 운영 경쟁 본격화

와탭랩스는 이러한 문제에 대응하기 위해 LLM 옵저버빌리티 솔루션을 선보인다. GPU 자원 사용량부터 애플리케이션 성능, AI 응답 품질까지 전체 흐름을 연계 분석해 서비스 운영 환경에서 발생하는 오류와 장애를 통합 관리한다.

주요 감시 항목은 ▲AI 답변 적합성·정확성 ▲할루시네이션(없는 정보를 만들어내는 AI 환각 현상) ▲프롬프트 인젝션 공격 ▲개인정보 포함 여부 ▲불필요한 응답 우회 경로 ▲토큰·GPU 리소스 효율 등이다.

특히 보안상 외부 AI 서비스를 사용할 수 없어 GPU를 직접 구축해 모델을 운영하는 국내 금융·공공기관에 적합하게 구현됐다. 자체 GPU로 모델을 운영하는 환경에서는 AI 응답에 쓰이는 토큰이 GPU 자원과 직결되기 때문에, 응답 경로를 최적화하면 처리 성능과 비용 효율을 동시에 높일 수 있다는 설명이다.

신 개발자는 "AI 서비스를 운영하는 기업이라면 응답 품질부터 보안 위협까지 한 플랫폼에서 감시할 수 있는 체계를 갖춰야 한다"며 "단순히 있으면 좋은 도구가 아니라 서비스 신뢰도를 지키는 핵심 인프라"라고 강조했다.

고지훈 팀장은 AI 시대 운영자의 역할 변화도 예고했다. 그는 "앞으로 운영자는 데이터를 직접 분석하는 사람이 아니라, AI가 안전하게 작동할 수 있는 가드레일을 설계하는 사람이 될 것"이라며 "인프라·애플리케이션·AI 모델을 통합 관측하는 체계가 기업 경쟁력을 좌우하게 될 것"이라고 강조했다.