올거나이즈, 금융 전문 언어모델로 업무 생산성 높인다

금융 용어 이해·추론 가능…자체 제작 테스트 데이터셋 공개

금융 특화 언어모델끼리 성능을 비교할 수 있는 플랫폼이 나왔다. 

올거나이즈(대표 이창수)는 금융 전문 거대언어모델(LLM) 리더보드를 공개했다고 8일 밝혔다. LLM 리더보드란 인공지능(AI) 언어모델 성능을 측정해 순위 매기고 평가하는 플랫폼이다. 사용자는 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있다.

이 리더보드는 금융 용어와 약어를 이해하고 한국어 LLM 성능을 평가할 수 있다. 또 금융에 필요한 수식 계산과 예외 조건 등을 포함한 복잡한 추론을 할 수 있다. 표와 차트도 이해한다. 

올거나이즈는 금융 전문 LLM 리더보드를 공개했다. (사진=올거나이즈)

올거나이즈는 자체 제작한 테스트 데이터셋도 공개했다. 현재 ▲한국은행, 기재부 등 공공기관 경제 연구 보고서, 금융 보고서, 금융 용어집 등을 바탕으로 제작한 검색증강생성(RAG) 데이터 ▲금융 문서에 자주 등장하는 수식과 복잡한 표, 차트에 특화된 데이터 등으로 구성됐다. 기존 한국어로 된 오픈소스 데이터 외에 영어로 된 금융 관련 데이터셋을 번역하거나, 복잡한 금융 관련 수식과 표를 담은 데이터도 자체적으로 생성했다.

사용자는 금융 LLM 아레나에서 금융 관련 질문에 대한 LLM의 생성 답변도 직접 비교해 볼 수 있다. 랜덤으로 선별된 익명의 LLM 두개가 답변을 생성하고, 더 나은 답변을 고르면 모델명이 밝혀진다. 답변 선호도가 실시간으로 반영되며 모델 간 순위도 바로 확인할 수 있다. 

이창수 올거나이즈 대표는 "올거나이즈는 노하우를 담은 데이터를 모두 공개해 기업들이 효율적으로 경쟁력 있는 LLM을 도입할 수 있도록 돕고자 한다"며 "범용 모델보다 금융 용어를 잘 이해하는 LLM 도입을 통해 업무 생산성 증대를 경험할 수 있을 것"이라고 밝혔다.