생성형 AI, 운영이 더 어렵다…W&B, 실무 백서 발표

운영 리스크 대응 위한 평가·관측성 확보 필요성 강조…LG CNS 사례 담아

인공지능(AI) 개발 지원 플랫폼 기업 웨이츠앤드바이어시스(W&B)가 생성형 AI 운영 리스크를 진단하고 평가·관측성 전략을 정리한 기술 백서를 발간했다.

W&B는 '생성형 AI 애플리케이션의 평가와 관측성' 백서를 22일 공개했다. 문서는 실험·기록 플랫폼 '위브(Weave)' 활용 경험을 바탕으로 구성됐으며, LG CNS가 실제 적용 사례를 공유했다. 백서는 W&B 공식 홈페이지에서 PDF 형태로 내려받을 수 있다.

백서는 생성형 AI 운영환경에서 반복적으로 나타나는 오류로 허위 응답, 보안 취약점, 의도하지 않은 출력 등을 언급하며 이를 줄이기 위해선 사전 평가와 운영 단계의 지속적인 관측 체계가 필요하다고 강조했다. 주요 사례로는 검색증강생성(RAG) 시스템과 AI 에이전트가 제시됐다.

생성형 AI 애플리케이션의 평가와 관측가능성 (사진=웨이츠 앤 바이어스)

각 장에서는 '데모는 쉽지만 실제 운영은 어렵다'는 전제를 바탕으로 평가 필요성과 오류 발생 구조, 관측 포인트 등을 정리했다. 주로 자사 플랫폼 '위브' 중심의 기능 소개가 비중 있게 다뤄졌고 실험 기록과 결과 추적 관련 내용이 주요하게 언급됐다.

일각에서는 백서에서 제시된 논의가 전반적으로 새로운 접근이라고 보기는 어렵다는 반응도 있다. 평가·관측 체계 필요성 자체는 이미 업계 전반에서 꾸준히 제기돼 왔기 때문이다.

업계 관계자는 "이번 백서는 생성형 AI 운영에 필요한 문제의식을 정리하는 데 의미가 있다"며 "다만 실무 적용을 고민하는 입장에서는 참신한 분석이나 새로운 기준 제시인지는 잘 모르겠다"고 말했다.