포티투마루 권혁성 이사 "RAG 기능 핵심은 데이터 품질"

[디노 퓨처테크컨퍼런스] "AI 모델 데이터 전처리 과정·설계·검증은 필수"

"기업이 검색증강생성(RAG)을 모델에 제대로 도입하려면 데이터 전처리 과정부터 학습 데이터 설계, 검증까지 거쳐야 합니다. 생성형 인공지능(AI) 모델 데이터 품질을 잘 관리해야 RAG도 잘 작동합니다."

포티투마루 권혁성 이사는 10~12일 서울 코엑스에서 열린 '디지털혁신페스타(DINNO) 2024'의 퓨처테크 컨퍼런스에서 생성형 AI에 RAG를 성공적으로 도입하기 위한 조건을 이같이 밝혔다. 

권 이사는 최근 기업들이 생성형 AI를 업무에 적용하면서 RAG에 높은 관심을 보이기 시작했다고 했다. RAG가 AI 모델 정확도를 높이고 사용자 의도에 맞는 결과물을 제공하기 때문이다.

포티투마루 권혁성 이사는 생성형 AI에 RAG를 성공적으로 도입하기 위한 조건으로 철저한 데이터 전처리를 꼽았다. (사진=김미정 기자)

보통 RAG는 스스로 필요한 정보를 찾고 이를 LLM에 제공해 답변 생성을 돕는다. 기업 내부 지식과 데이터를 LLM에 넣어 답변 정확성을 높이는 원리다. 이는 생성형 AI 한계인 환각현상을 줄일 수 있다.

그는 "RAG를 생성형 AI에 도입하는 것만으로는 충분치 않다"며 "모델 데이터 전처리가 필수로 이뤄져야 한다"고 재차 강조했다. 데이터 전처리는 모델이 데이터를 제대로 이해하고 활용할 수 있도록 데이터를 깨끗하고 정돈된 상태로 만드는 과정이다. 데이터가 잘 정돈돼야 RAG가 정상 기능을 할 수 있다는 설명이다.

권 이사는 "기업은 RAG 구축 전 데이터를 적절히 준비하고 최적 학습 데이터를 설계해 검증 과정을 반드시 거쳐야 한다"면서 "단순히 오픈소스 모델을 사용하는 것만으로는 고품질 결과물을 기대하기 어렵다"고 강조했다. 

그는 RAG 솔루션을 도입한 사례를 소개했다. 대표 고객사로 CJ제일제당, KB증권, LG유플러스 등을 소개했다. 

권 이사는 "현재 고객사는 생성형 AI 모델로 사내 데이터 분석과 문서 처리를 최적화하고 있다"며 "여기서 RAG는 사내 전사적 업무 지원 도구 역할을 톡톡히 하고 있다"고 설명했다. 

이어 "모든 고객사가 생성형 AI와 RAG를 구축하기 전 데이터 전처리 과정을 반드시 거쳤다"며 "실제 AI와 RAG가 비즈니스에서 어떤 원리로 효과를 낼 수 있는지 고민하며 적용하는 것이 상당히 중요하다"고 덧붙였다.