허깅페이스 "LLM의 데이터는 다다익선이 아니다"

급변하는 시장에 즉시 최적화할 수 있는 미세설정과 데이터학습 핵심

“대규모 언어모델(LLM)은 데이터가 많다고 최선이 아니다. 기업과 산업에 최적화한 모델을 빠르게 구축하고 급변하는 시장에 대응할 수 있는 기반을 갖추는 것이 핵심이다.”

허깅페이스 바셈 아세 월드와이드 세일즈 대표는 20일 서울 여의도 콘래드 호텔에서 만난 자리에서 위와 같이 말하며 기업에서 AI를 효율적으로 사용하기 위한 방안을 제시했다.

허깅페이스는 기계학습(ML) 모델을 빌드하고 공유하기 위한 도구와 라이브러리를 전문적으로 개발하는 오픈소스 AI전문 기업이다.

허깅페이스 바셈 아세 월드와이드 세일즈 대표

이 기업은 AI 기술 발전 및 저변 확대를 위해 많은 역할을 한 주요 기업 중 하나로 꼽힌다. 그동안 약 12만 개 이상의 AI 모델과 2만개 이상의 데이터셋을 비롯해 소스코드, 교육 프로그램 등을 직접 개발해 오픈소스로 제공하며 실질적인 AI 도입 및 사용법을 제시해오고 있다.

언어모델(LLM) 블룸(BLOOM)도 자체 개발했다. 다국어 LLM을 지향하며 1천760억 개의 매개변수를 바탕으로 46개의 자연어와 13개의 프로그래밍 언어로 텍스트를 생성할 수 있다.

블룸은 모든 기업에서 필요한 LLM을 직접 학습시켜 만들 수 있도록 오픈소스 LLM을 지향하며 개발된 것이 특징이다.

허깅페이스의 오픈소스 LLM '블룸'(이미지=허깅페이스)

바셈 아세 대표는 “블룸이 챗GPT와 가장 다른 점은 오픈소스 기반으로 누구나 직접 LLM을 만들고 배포할 있다는 것”이라며 “무조건 데이터가 많은 AI가 좋은 것이 아니라 각 기업과, 비즈니스, 도메인에 최적화된 LLM을 만들 수 있는 것이 더 중요하다”며 오픈소스 기반 LLM을 개발한 이유를 밝혔다.

하나의 대규모 AI로 모든 서비스를 이용한다면 방대한 데이터 저장을 위한 거대한 클라우드 인프라를 구축하고 매번 학습과 운영을 위해 막대한 비용이 요구된다는 지적이다. 더불어 너무나 많은 데이터로 인해 느린 작업 속도를 단축시키는 것도 불가능해지는 등 실무에 필요한 요건을 달성할 수 없다고 설명했다.

대신 산업 특성이나 업무 환경 등에 따라 세분화해 구축하는 것이 실제 기업 등 조직에서 활용할 수 있는 LLM 구현 및 사용 방식이라는 것이다.

바셈 아세 대표는 “현실에서는 보다 저렴하고 정확한 AI를 활용해 업무를 개선하는 것이 가장 중요하다”며 “그래서 우리는 누구나 원하는 LLM 구축을 목표로 연구 및 개발 중으로 특히, 각 업무에 적합한 LLM 개발을 위한 미세조정(파인튜닝) 기능을 꾸준히 선보이려 하고 있다”고 설명했다.

이어서 “예를 들어 파인튜닝에 정말 필요한 데이터가 무엇인지 식별하는 기능을 비롯해, 개발 과정 중 단순 반복 작업을 자동화하고 배포도 손쉽게 할 수 있도록 지원한다”며 “끊임없이 변하는 환경에 맞춰 LLM도 학습을 통해 발전시킨다면 적은 비용으로 훨씬 높은 혁신을 달성할 수 있을 것”이라고 덧붙였다.

마이크로소프트, 메타 등도 허깅페이스 커뮤니티에서 활동 중이다(이미지=허깅페이스)

더불어 이렇게 급격하게 시장이 변하며 불확실성이 높아지는 시기에 기업이 적응하며 생존을 위해선 하루라도 빨리 LLM 등 AI를 도입해야 한다고 강조했다.

바셈 대표는 “과거에 경험할 수 없었던 상황이 갑자기 발생하면서 더 이상 직감이나 관록으로 의사 결정은 불가능하다”며 “그동안 10년 앞의 미래를 이야기해왔지만 이제는 1년 앞도 예상하기 힘든 시기인 지금 가장 빠르게 발전하는 기술을 도입하지 않으면 제대로 된 경쟁도 하기 어려운 상황”이라고 말했다.

이어서 “현재 모든 산업의 화두인 챗GPT만 해도 지난해 11월 공개된 후 이제 10개월 정도밖에 지나지 않았다는 것을 생각하면 충분히 체감할 수 있을 것”이라며 “하루라도 빨리 AI를 배우고 도입하지 않으면 뒤처질 수밖에 없는 현실”이라고 지적했다.

더불어 IT 관련 경험과 전문 인력 부족 등으로 AI도입에 어려움을 느끼는 기업을 대상으로 적극적으로 지원할 것이라고 밝혔다.

허깅페이스는. 전 세계 최대 규모의 글로벌 오픈소스 AI 커뮤니티를 운영하며 AI 전문가 육성 및 AI 저변 확대를 위해 기업을 지원해온 기업이다. 특히 트랜스포머 아키텍쳐 기반 AI 라이브러리와 스크립트, 교육자료 등을 꾸준히 선보이며 해당 알고리즘이 대중화를 이끌었다.

트랜스포머는 학습과정을 간소화하고 자연어처리, 이미지 분류 등 다양한 분야에서 높은 성능을 기록하며 여러 AI 개발에 쓰이고 있다. 가장 많은 인기를 얻고 있는 GPT 시리즈를 비롯해 라마, 버트, 알파폴드, 달리 역시 트랜스포머 아키텍쳐 기반이다.

그는 ”이번 방한을 통해 많은 한국 기업을 만났고 그들이 요청한 AI 모델 훈련 방법과 미세조정 관련 기술과 방법을 설명했다”며 “이런 질문은 전 세계 기업 대부분 비슷한 수준으로 한국 기업도 지금부터 시작한다면 충분히 세계적인 수준이 가능할 것”이라고 말했다.

이어서 “우리는 최근 협업 중인 아마존웹서비스(AWS)를 비롯해 이미 수많은 기업과 협력해 AI도입을 지원하며 많은 성과를 기록했다”며 “한국 기업들도 생존과 성장을 원한다면 지체없이 도전하고 수많은 실수와 성공을 반복하길 바라며 이 과정에서 우리가 최대한 도와줄 수 있도록 노력하겠다”며 인터뷰를 마쳤다.