"6개월 걸릴 금융 AI모델 개발, HAC으로 1개월로 단축"

금융 특화 언어 모델을 만들 때 가장 큰 병목은 컴퓨팅자원이었습니다. HAC 서비스가 아니었다면 금융 특화 언어모델 개발은 시작할 수가 없었습니다. 기획은 끝났지만 쉽게 실행하지 못하고 있던 사업을 HAC 서비스로부터 시작할 수 있었습니다.

금융데이터 스타트업 '프리즘39'의 임성연 팀장은 본지와 인터뷰에서 HAC서비스를 통해 금융 언어 모델 개발에 걸리는 시간을 획기적으로 단축했다며 이같이 밝혔다.

프리즘39는 금융사 데이터 업무를 자동화하는 금융 데이터 인에이블먼트 B2B SaaS 스타트업이다. 금융 데이터를 기업의 목적에 맞게 사용 가능한 상태로 만들어주는 역할을 한다.

임 팀장은 "금융 데이터는 다양하고 복잡해 구매 직후에 바로 쓰기가 힘들다"며 "상당한 시간을 들여서 처리를 해줘야 하는데, 저희는 데이터를 쓰기 좋게 만들어줘 기업들이 수작업에 들어갔던 시간을 아껴서 창의적인 투자 개발에 시간을 사용할 수 있도록 돕는다"고 말했다.

이어 "자사의 '프리즘 스튜디오'는 기존 300줄의 코딩이 필요했던 데이터 업무를 4줄의 코딩 업무로 바꾸는 자동화된 제품"이라며 "사용하기 편리해진 데이터에서 최대한의 가치를 끄집어낼 수 있게 머신러닝 컨텐츠를 제공한다"고 자사 서비스를 소개했다.

회사는 금융 텍스트에서 최대한의 인사이트를 얻어내고자 했다. 그러나 GPT-3와 같은 일반적인 언어 모델로는 어려웠다. 임 팀장은 "금융 텍스트는 워낙 전문 용어도 많고 문맥도 특별해서, 일반 언어 모델로는 금융 텍스트를 분석하기 어려웠다"고 설명했다.

회사는 금융 텍스트 이해하고 이를 분석할 수 있는 금융 언어모델을 개발하기로 했다. 아이디어는 좋았지만, 문제는 실행이었다. 컴퓨팅 작업이 많이 필요해 도전하기 쉽지 않았다.

이때, 회사는 정보통신산업진흥원(NIPA)이 추진하는 '고성능 컴퓨터 지원 사업'으로 KT클라우드의 하이퍼스케일 AI 컴퓨팅(HAC) 서비스를 알게 됐다.

임 팀장은 "언어 모델 자체가 클 뿐만 아니라 회사가 갖고 있는 데이터도 방대해서 전산시스템을 처음부터 구축해 운영하기가 쉽지 않았다"며 "HAC 서비스는 많은 전산 자원을 사용할 수 있었고 성능도 강력해, 저희가 운영하는 금융 특화 언어 모델을 학습시키는 데 최적이었다"고 말했다.

또한 그는 "네이버와 같은 데이터센터를 갖춘 기업들은 대규모 전산자원을 스스 갖출 수 있지만, 그렇지 않은 기업들은 GPU를 임대해야 한다"며 "아마존 같은 기존 사업자들도 GPU 임대 서비스가 있지만, KT클라우드의 HAC 서비스가 가격 모델이 훨씬 유연했다. 실제 모델이 학습할 때만 요금이 부과됐으며, 기업이 스스로 사용할 수 있는 연산 케파를 정할 수 있어 비용을 절감할 수 있었다"고 말했다.

임 팀장은 HAC서비스의 장점으로 속도와 사용자경험(UX)을 꼽았다. 그는 "새로운 도구를 도입하려고 할 때 직원의 반발이 있을 수 있고 적응 기간이 필요한데 HAC서비스는 그런 점이 거의 없었다"며 "특히, UX가 좋아서 이전에 사용하던 코드를 그대로 사용할 수 있었고, 그 때문에 직원들도 자연스럽게 새로운 도구를 받아들일 수 있었다"고 설명했다. 이어 "성능 부분에서는 여러 대의 GPU를 레이턴시(지연시간) 없이 한 개의 GPU를 사용하는 것처럼 최적화된 부분이 장점이었다"고 말했다.

임 팀장은 "HAC서비스가 아니었다면 금융 언어 모델을 개발하는 데는 6개월이 더 넘게 걸렸을 것"이라며 "향후 HAC 서비스가 지원하는 개발 프레임 워크가 더 많아지면 좋겠다"고 덧붙였다.

현재 프리즘39가 개발하고 있는 금융 언어 모델은 현재 서비스화 과정 중에 있으며, 올 2분기쯤 상용화될 예정이다. 임 팀장은 "기존 프리즘 스튜디오는 다양한 데이터를 잘 정제해서 고객들에게 제공하며, HAC서비스를 이용한 금융 언어 모델은 해당 데이터를 잘 분석하게 해주는 역할을 하게 된다"고 설명했다.