넥슨 "AWS와 협업으로 LLM 기반 챗봇 제작"

"AWS와의 협력으로 다양한 인프라 모니터링 서비스의 연결성과 사용 편의성을 향상시키기 위해 챗봇을 개발할 수 있었다."

김태효 넥슨 팀장은 16일 서울 코엑스에서 열린 AWS 서밋 서울에서 '넥슨의 LLM 에이전트 길들이기: 인프라 모니터링 서비스 적용 사례'라는 주제로 이렇게 말했다.

오는 17일까지 이틀 동안 열리는 AWS서밋서울 2024는 2만9천여 명이 사전 등록했다. 올해 행사는 다양한 산업 분야와 기술 주제에 대한 100여 개 이상의 강연을 준비했다. 70여 고객이 AWS를 통한 실질적인 성공 사례를 공유할 예정이다.

넥슨과 AWS는 아마존 베드락(클로드) 서비스와 랭체인 기반의 LLM 에이전트 기술을 활용해, 다양한 인프라 모니터링 서비스의 연결성과 사용 편의성을 향상시키기 위해 챗봇을 개발했다.

넥슨 김태효 팀장과 박종민 엔지니어는 챗봇 개발 과정에서 발생한 응답 지연 및 환각 문제의 해결 방안을 공유했다. 아울러 기존의 리액트(ReAct) 접근 방식을 보완하는 다양한 시도에 대해서도 설명했다.

김태효 팀장은 "챗봇 제작을 위해 AWS와 구체적인 로드맵을 세웠다. 처음엔 간단한 챗봇 형태를 만들고 AI의 지속적인 연계를 확인할 수 있었다"고 말했다.

이어 "다만 이 과정에서 사용자의 눈높이를 맞추지 못한 부분도 있었는데, 사용성 확대를 위해 TF를 구성했다"며 "이를 통해 답변 품질 문제를 줄일 수 있었다. 특히 챗봇 응답속도, 환각 답변, 비용 등을 줄일 수 있었다"고 말했다.

뒤이어 박종민 엔지니어의 구체적인 답변이 이어졌다.

박 엔지니어는 "빠르고 정확한 챗봇을 만들기 위해서는 ▲데이터 간 연결고리를 자동으로 확보 ▲변경된 정보의 즉시 반영 ▲자유로운 응답형태 등이 수반돼야 한다"며 "우리는 범용 LLM을 활용해 여러 커스텀 모델을 테스트 했다"며 "AWS의 아마존 베드락을 활용해 다양한 LLM모델을 활용할 수 있었고, 랭체인을 활용해 인공지능(AI) 어플리케이션 개발 편의성도 증대할 수 있었다"고 덧붙였다.