[AI기업/노타] "AI모델 경량화 최고···최대 1%미만으로 줄여"

서울 지하철 2호선 선릉역 근처에 있는 노타(Nota)는 인공지능(AI) 추론모델을 경량화 하는데 일가견이 있다. AI추론모델은 작을 수록 좋다. 모델이 클 수록 운영하는 비용이 많이 들기 때문이다. 물론 정확성이 떨어지면 안된다.

1일 채명수 노타 대표는 지디넷코리아와의 인터뷰에서 "100메가바이트(MB) AI 추론모델을 1MB로 줄인 경험을 갖고 있다"며 "정확성을 유지하면서 AI 추론모델을 최대 1%로 줄여준다"고 말했다.

KAIST 학생 창업으로 출발한 노타는 2015년 설립됐다. 노타 최고기술임원(CTO)을 맡고 있는 김태호 CTO가 파운더다. 채명수 대표는 2018년 노타에 합류했다. 채 대표는 KAIST 산업 및 시스템공학과 석사에 이어 KAIST 인공지능연구소 위촉연구원을 마친 후 노타에 들어왔다.

설립자인 김태호 CTO는 KAIST 학부(바이오 및 뇌공학)에 이어 KAIST 전기 전자공학부 박사를 수료했다. 채 대표와 김 CTO는 KAIST 인공지능연구소에서 같이 근무한 '연구 동지'다. 채 대표는 "노타는 빠르고 정확하게 디바이스별 최적화 AI 모델을 만들어준다"면서 "우리 기술의 우수성은 높은 정확도에서 나온다. 가볍고 빠르지만 정확한 AI를 만드는 것이 노타 기술의 핵심"이라고 강조했다. 아래는 채 대표와의 일문일답

-2015년 창업을 했다. 알파고 쇼크 이전인데, 창업 배경이 궁금하다

"당시에는 머신러닝(ML) 전공자가 적었다. 나는 통계학을 공부하다 자연스럽게 ML과 딥러닝 분야로 넘어왔다. 학부 전공은 산업공학이고 통계학을 부전공했다. 전문 프로그래머는 아니고 연구쪽에 집중했다. KAIST 석사를 마치고 KAIST IT융합연구소와 인공지능연구소에서 3년간 전문연구요원으로 일했다. KAIST 인공지능연구소는 30년간 뉴럴 네트워크를 연구한 AI 전문가 이수영 전 KAIST 교수가 국내 AI발전을 위해 세운 연구소다. "

-회사명 노타는 무슨 뜻인가

"회사 설립 후 첫 아이템이 스마트폰 키보드 오류를 잡아주는 '노타키보드'라는 스마트폰 앱이였다. '노(NO) 오타'라는 의미다. 회사 이름도 자연스레 노타가 됐다. 2017년 현재 아이템으로 전환(피봇)했다"

-노타는 어떤 AI회사인가

"우리는 온 디바이스 AI 기술기업이다. 인공지능으로 생활을 보다 편리하고 풍요롭게 하자는 철학을 갖고 있다. 딥러닝(Deep learning) 모델 경량화 기술을 기반으로 온 디바이스 AI(On Device AI) 솔루션을 제공하고 있다. "

-AI경량화 기업인데, AI의 무엇을 경량화 해주나

"연산량을 줄여준다. 대부분 AI는 학습에는 물론 추론에도 GPU를 필요로 한다. AI모델의 연산량을 줄여 GPU 사용량을 줄이거나 CPU에서 구동하게 해준다. 이를 통해 AI 모델 크기(사이즈)를 줄여준다. 온 디바이스 AI는 두 가지 측면이 있다. 하나는 하드웨어를 최대한 잘 활용하는 측면이고, 다른 하나는 SW를 훨씬 작게 만드는 거다. 하드웨어는 가속화에 가깝고, SW를 작게 하는게 경량화다."

-얼마나 경량화 해주나

"변수가 많아 평균 몇% 줄인다고 말하기 어렵다. 최대한 줄인 경우는 1% 미만이다.원래 100MB 모델인데 1MB 미만으로 줄인 경험이 있다. 데이터, AI모델, 디바이스가 천차만별이여서 평균화하기 힘들지만 연산량은 85%, 전력소모는 40% 정도 줄여준다. 동일한 정확성에 속도가 기존 모델보다 77% 정도 빠르다. 전체적으로 AI시스템 비용을 기존보다 85% 정도 줄여준다. 이런 역할을 하는 제품이 '넷츠프레소'다."

-'넷츠프레소'가 가진 기능은. 또 경쟁사 대비 차별점은

"넷츠프레소는 파트너 기업의 AI 모델 압축 및 최적화 요구를 자동으로 대응할 수 있게 설계한 플랫폼이다. 기존 경량화 방식과 달리 전문 엔지니어 없이도 경량화한 AI모델을 만들 수 있다. 경량화 기술 수준도 우리가 높다. 푸루닝(pruning), 퀀티제이션(quantization), 날리지(knowledge), 날리지 디스틸레이션(knowledge distillation), 필터 디콤포지션(filter decomposition), 뉴럴 아키텍처 서치(neural architecture search) 등의 기술을 적용했다. 이들 각 기술에 여러 요소 기술이 또 들어가 있다. 우리가 독자적으로 만들 최적화 툴도 적용했다. 자동으로 특정 디바이스나 특정 태스크에 알맞는 경량화 모델을 탑재할 수 있다."

-넷츠프레소는 언제 출시했나

"작년 11월에 론칭했다. 넷츠프레소 론칭 전에는 B2B(기업 대상)로 온 디바이스 AI 사업을 했다. 기업의 AI모델을 경량화해주는 것을 2년 하면서 "자동으로 만들어야 겠다"는 생각을 했다. 그래서 개발한게 넷츠프레소다"

-이름이 커피를 떠오르게 한다

"넷츠프레소의 넷츠(Nets)는 뉴럴네트워크를 뜻한다. 뉴럴네트워크를 압축한다는 의미를 가지고 있고, 사내 공모로 지었다."

-넷츠프레소 공급 실적과 가격은

"상반기 말에 여러 대기업에 납품할 예정이다. 가격은 아직 정하지 않았다. 월정액을 받는 사스(SaaS)와 온프레미스(내부 구축형) 두 형태로 제공할 예정이다."

-노타의 국내외 경쟁사는

"최근 온 디바이스 AI 관심이 높아지면서 국내외에 이 분야에 대한 연구 및 개발이나 사업화를 하는 기업들이 하나둘 생기고 있다. 해외에는 우리와 비슷한 비즈니스를 하는 캐나다 스타트업 한 곳이 있다."

-고객층은 어떻게 되나

"크게 두 가지다. 하나는 AI모델을 가지고 있는 기업이다. 이런 회사들의 AI모델을 경량화 해준다. 또 AI모델이 없는 회사한테는 모델을 만들어주고 경량화도 해 준다."

-회사의 맨 파워는 어떤가. 채용 절차가 까다롭다고 하던데

"임직원은 53명이다. 이중 80%가 연구개발(R&D) 인원이다. R&D팀 대부분이 AI코어 기술을 연구 및 개발한다. 채용절차가 까다롭다. 5단계로 이뤄져 있다. 먼저 온라인으로 코딩 테스트를 보고 이어 경량화 과제 테스트->최신 논문 리뷰->기술 인터뷰->최종 인터뷰 등의 단계를 거친다. 현재 직원 중 30명 이상이 이런 절차를 거쳐 들어왔다. 학벌보다 능력을 보다 보니 고등학교 3학년때 들어온 직원도 있다. 채용이 까다로운 만큼 급여가 동종업계 보다 높다. 무료 워크숍과 세미나를 개최하는 등 직원 커리어에도 신경 쓰고 있다.

노타 직원들이 회의를 하고 있다. 노타는 5단계의 까다로운 절차를 거쳐 직원을 채용하고 있다.

-수출 현황이나 계획은

"수출을 진행중이다. 독일 베를린에 유럽 법인을 세웠다. 현지인 4명이 근무하고 있다. 독일 메이저 통신사와 연이 닿아 베를린에 법인을 세웠다. 미국 산호세에는 사무실이 있다. 인턴십을 하다 코로나로 중단됐다. 올해 안에 수출 실적이 나올 것으로 생각하고 있다."

-매출은 얼마나?

"작년에 10억원이 안됐다. 올해는 30억원~40억원을 예상하고 있다."

-투자유치 현황과 상장 계획은

"누적 투자 유치액이 100억원이다. 네이버 D2SF가 2015년 처음 투자한 스타트업이 우리 회사다. 2016년에는 네이버 D2SF와 블루포인트파트너로부터 브릿지 투자를 유치했다. 작년 8월에는 삼성벤처투자(삼성SDS펀드), LG CNS, 스톤브릿지벤처스, LB인베스트먼트가 참여한 시리즈A도 성공적으로 마쳤다. 올해는 투자 유치 계획이 없다. 시리즈B는 내년에 받을 생각이다. 상장은 아직 논할 단계가 아니다."

-5년후나 10년후 회사 비전은

"5년후에는 우리 회사가 AI 보편화에 많이 기여한 회사가 돼 있을 것 같다. 10년 후에는 지금의 AI 비전 분야를 넘어 음성이나 텍스트로 확장, 궁극적으로는 '시리' 같은 AI시스템을 보편화 한 회사가 되고 싶다."