[기고] 검색증강생성과 파인튜닝…LLM 애플리케이션 향상에 최적인 선택은

지난해 오픈AI의 챗GPT 등장 이후, 거대언어모델(LLM)이라는 다소 생소했던 개념과 용어는 이제 전세계적으로 회자되며 널리 쓰이고 있다. LLM은 업종을 막론하고 산업 곳곳에서 업무 혁신을 가져올 것이라는 기대감을 모으고 또 실제로 이를 실현해 나가는 핵심 축이 되어가고 있다. 하지만 LLM은 ‘블랙박스’와 ‘할루시네이션(환각 현상)’이라는 문제적 네임택이 늘 따라붙고 있다.

인공지능(AI) 분야에서 블랙박스란, AI가 예측 결과를 내놓을 때 결과값을 도출해내는 과정에서 내부적으로 모델이 어떻게 작동했는지, 어떠한 데이터를 통해 나왔는지 알 수 없는 문제를 뜻한다. 이러한 문제는 AI가 거짓된 정보를 그럴싸한 답변으로 가공해 생성해내는 할루시네이션을 야기한다.

다양한 기업들이 자사가 보유한 데이터를 더욱 유용하게 활용하기 위해 LLM을 도입하고 있으나, LLM의 고질적인 문제 탓에 제대로 된 효율을 누리지 못하는 곳이 대다수다. 현존하고 있는 어떤 종류의 LLM도 할루시네이션이라는 문제를 완전히 피해가지 못하고 있는 상황에서 어떻게 하면 답변의 정확도와 신뢰도를 제고하고 모르는 부분은 모른다고 답할 수 있는 진솔하고 똑똑한 서비스를 만들 수 있을까?

해당 문제를 해결하기 위한 선택지 중 하나로 최근 부상한 검색증강생성(Retrieval-Augmented Generation, RAG)을 주목해 봄직하다. RAG는 캐나다 토론토에 본사를 둔 AI스타트업 코히어에서 RAG 팀을 리드하고 있는 패트릭 루이스가 2020년 논문을 통해 검색 증강 세대라는 용어를 처음 만들고 사용했다. 이후 다양한 기업들이 자사의 서비스에 RAG를 접목해 보고 할루시네이션을 줄일 수 있다는 유의미한 실증사례가 생겨나며 현재는 할루시네이션 경감의 최선의 방식으로 자리잡게 됐다.

RAG는 사용자가 LLM에 질문을 던지고 답을 받기 전, 베이스 모델의 외부에서 데이터를 가져와 임베딩을 벡터 데이터베이스에 저장하고, 사용자가 질문을 하면 가장 관련도가 높은 임베딩을 찾아내서 답변을 제공하는 방식이다.

외부 데이터에 대한 상시적 접근이 가능하고, 이를 지속적으로 새로이 가져올 수 있어 데이터의 최신성을 유지하는 것이 용이하다. 근거가 확실한 데이터를 기반으로 답변을 생성해내기 때문에 로직상 LLM의 태생적 문제인 할루시네이션 방지에 유리하다. 한 마디로, RAG는 외부에서 가져온 데이터로 LLM 모델의 정확성과 신뢰성을 향상시키는 기술이다.

또한 데이터는 AI의 품질을 크게 좌우하는데, LLM 도입을 망설이는 대다수 중소기업의 경우 기업 규모 특성상 데이터의 양이 적거나 양질의 데이터가 아닌 경우가 많다. 이때 RAG를 통해 추가된 준거 데이터는 언어모델에 활용된 학습 데이터의 품질과는 별개로 독립적이라는 장점이 있다.

제일 중요한 지점은 RAG는 높은 수준의 투명성을 제공한다는 점이다. 검색과 생성 두 단계로 이루어지는 RAG 특성을 고려할 때, 응답이 어떻게 구축되는지 이해하는 데 필요한 명확한 증거나 참조를 제공한다. 예를 들어, 기존 LLM의 답변 생성 결정 과정에서 적확한 단서를 기반으로 답변을 하고 있는지 살펴볼 수 있다.

필자가 몸담고 있는 스켈터랩스에서 LLM 도입을 준비하려는 기업의 컨설팅을 해보거나, 사업요청서가 오가며 의견을 조율할 때 기업들이 LLM을 도입하면서 할루시네이션을 줄이고 사용성을 증대하기 위해 크게 두 가지 방식을 고민한다.

RAG를 선택할 것인지, 사전 학습된 모델에 각 개별 기업의 도메인 특화 데이터를 추가 학습시켜 맞춤형 모델로 업데이트하는 방식인 파인튜닝(미세조정)을 시도할 것인지 말이다.

파인튜닝 모델의 품질은 각 기업 도메인 데이터의 품질과 양에 따라 좌우된다. 충분한 양의 양질의 라벨링 데이터를 확보하기 어렵다면 파인튜닝은 적절한 선택이 아닐 수 있다. 또한, 파인튜닝된 모델은 학습이 종료된 시점에 머물러있지만, 정보는 계속 흐른다. 파인튜닝을 한 직후의 성능이 만족스럽더라도 지속적으로 처음의 성능을 유지하는 것은 쉬운 일이 아니다. 때문에 데이터의 변동성이 큰 경우 새로운 데이터를 끊임없이 학습시켜야하는 파인튜닝보다 RAG가 품질과 비용적인 측면에서 더욱 효과적일 수 있다.