"리벨리온 AI칩 '아톰' 첫 시연 반응 뜨거워...세계 무대 진출 신호탄"

[인터뷰] 오진욱 CTO "ISSCC 24서 성능·효율·범용성 인정 받아"

"ISSCC 2024에서 처음 선보인 아톰의 데모 시연에서 성능과 전력 효율성, 범용성 면에서 모두 좋은 평가를 받았습니다. AI 하드웨어 개발사는 물론 AI 알고리즘 개발사들과도 협력하는 계기도 얻게 됐죠. 이번 행사가 리벨리온의 세계 무대 활약을 알리는 일종의 '신호탄'이라고 볼 수 있을 것 같습니다."

오진욱 리벨리온 CTO는 최근 기자와의 서면 인터뷰에서 이달 18일 미국 샌프란시스코에서 열린 글로벌 최대 규모 반도체 학회 'ISSCC 2024'에서 거둔 성과에 대해 이같이 밝혔다.

(좌측) 오진욱 리벨리온 CTO가 ISSCC 2024에서 아톰의 데모 시연을 진행하는 모습(사진=리벨리온)

ISSCC는 반도체 직접회로 설계 분야에서 최고의 권위를 가진 학회다. 삼성전자, SK하이닉스는, TSMC, 인텔, 엔비디아, AMD, 미디어텍, 구글 등 글로벌 테크 기업들이 첨단 기술을 발표한다.

올해엔 국내 AI 반도체 기업으로는 유일하게 리벨리온의 NPU(신경망처리장치) '아톰'과 관련한 논문도 채택됐다. 아톰은 5나노미터(nm) 공정 기반의 데이터센터용 칩으로, 올해 상반기부터 양산될 예정이다.

아톰은 128TOPS(1초 당 128조번의 정수 연산) 및 32TFLOPS(1초 당 32조번의 부동소수점 연산)의 성능을 갖췄다. 지난해 시행한 반도체 벤치마크인 'MLPerf 3.0'에서는 엔비디아의 추론용 AI 반도체 대비 1.4~2배 빠른(언어모델 BERT-Large 기준) 속도를 입증하기도 했다.

나아가 리벨리온은 이번 ISSCC에서 아톰의 또 다른 강점인 전력 효율성, 범용성 등을 직접 시연했다.

아톰을 기반으로 이미지 생성 모델과 언어 모델을 가속 시연한 결과, 전력 소모량은 보편적인 GPU 대비 5분의 1 수준으로 나타났다. 데이터 처리에 필요한 에너지 양을 나타내는 J/TOKEN도 GPU 대비 3~4.5배 효율적인 것으로 나타났다.

또한 리벨리온은 확장 가능하고 프로그램이 가능한(Programmable) 코어를 기반으로 아톰을 설계했다. 이를 통해 현재 국내 양산 제품 중 유일하게 비전과 언어모델을 모두 지원 가능하다는 게 리벨리온의 설명이다.

오진욱 CTO는 "아톰의 첫 데모 시연 현장에서 방문객들은 아톰이 지닌 성능 및 효율성, 범용성 등에 긍정적인 평가를 내렸다"며 "이번 행사로 리벨리온 제품이 발휘할 수 있는 하드웨어 성능에 대해 글로벌 전문가들의 인정을 받았다고 자부할 수 있다"고 강조했다.

리벨리온의 아톰 칩이 지난해 MLPerf에서 입증한 성능 비교표. 비전과 언어 모델 두 분야에서 모두 퀄컴, 엔비디아 대비 빠른 성능을 보였다(사진=리벨리온)

다음은 오진욱 CTO와의 일문일답이다.

Q. 리벨리온의 AI 칩 제품군 중에서 아톰을 이번 ISSCC 2024의 논문 주제로 선택한 이유는?

"리벨리온은 지난 2021년 처음으로 출시한 AI 반도체 ‘아이온(ION)’으로 자사 코어 아키텍처의 경쟁력을 보여준 바 있다. 두번째로 출시한 ‘아톰(ATOM)’은 리벨리온의 기술이 담긴 코어를 스케일업(Scale-Up)해 코어의 확장가능성을 보여준 제품이다.

리벨리온은 아톰에 고유한 코어 설계 기술을 녹여내는 한편, 범용성과 높은 속도를 실현하기 위해 다양한 칩 기술을 집약했다. 이 같은 기술적 성과를 상용화 단계의 제품에 담아냈음을 증명하고자 이번 논문에서 아톰을 다뤘다."

Q. 이번 행사에서 아톰의 첫 데모 시연이 있었다. 전력 효율성에서 어떠한 성능을 입증했는지?

"이번 ISSCC에서 아톰을 기반으로 이미지 생성 모델과 언어 모델을 가속하는 시연을 진행했고, 보편적으로 활용되는 GPU 모델과 아톰을 비교했다. 우선 아톰의 절대적인 전력 소모량은 GPU 대비 5분의 1 수준으로 매우 적게 나타났다.

두번째로, 에너지 효율성 측정을 위해 J/TOKEN을 단위로 활용했다. 이 경우 ‘아톰’이 GPU 대비 3~4.5배 더 효율적인 것으로 측정됐다. 토큰은 컴퓨터가 이해할 수 있는 가장 작은 텍스트의 단위다. 한마디로 J/TOKEN은 하나의 데이터 처리를 위해 필요한 에너지의 양을 나타낸다고 볼 수 있다."

Q. 논문 및 시연에 대한 방문객들의 반응은?

"이번  ISSCC에는 구글, 엔비디아, 애플 등 생성형AI 기술을 선도하는 회사들이 참여했다. 리벨리온의 발표에 대해선 저희의 하드웨어 뿐 아니라 컴파일러 기술에 대한 좋은 평가를 받았다.

또한 ISSCC 2024에서 아톰의 첫 데모 시연을 진행했는데, 리벨리온의 부스가 유독 붐비며 전문가들의 관심을 불러일으켰다. 특히 방문자들로부터 확산(Diffusion) 모델 기반의 데모를 보는 건 처음이라며, 비교 대상인 GPU와 비교했을 때 성능과 효율성에 대해 놀랍다는 반응을 받았다. 또한 타사 제품과 다르게 여러 알고리즘을 돌릴 수 있는 저희만의 범용성(Versatality)에 대한 좋은 평가를 받기도 했다."

Q. 아톰에 적용된 설계 방식의 특징이 궁금하다.

"리벨리온이 아톰을 설계하며 내세운 목표는 속도와 성능 중 양자택일이 아닌 두 가지 모두를 잡은 칩을 만들자는 것이었다. 이번 논문에서는 이러한 목표를 달성하기 위한 리벨리온의 설계 기술이 축약돼 있다.

먼저 아톰은 효율을 높일 수 있는 코어 구조를 채택했다. 영어로 풀어내면 ‘Flexible AI Compute Core’라고 할 수 있는데, 이러한 구조를 채택한 리벨리온의 고유한 코어를 ‘DNC(Dual Neural Core)’라고 부른다.

대다수의 NPU가 한정된 작업만을 가속할 수 있는데 비해, 리벨리온의 코어는 비전모델, 언어모델 등 다양한 작업을 지원하도록 설계됐다. 때문에 가속해야하는 AI 작업종류에 관계없이 안정적으로 높은 수준의 성능을 보장한다는 점이 특징이다.

뿐만 아니라 더 빠른 속도를 달성하기 위해 머신러닝 작업에 최적화된 D램 메모리(Hierarchical Memory) 구성 방식을 적용했다. 또한 코어 간 데이터 커뮤니케이션 시스템을 효율화해, 지연을 최소화하는 등 설계 초기 단계에서부터 속도와 성능을 확보하기 위한 독자적 기술을 발전시켜 왔다."

Q. 리벨리온이 바라보는 NPU 시장의 전망과 이에 대응하는 전략은 무엇인가?

"생성형 AI 시대가 도래하면서, 한 두가지의 작업이 아닌 비전 모델, 언어 모델 등 다양한 종류와 크기의 AI 작업을 처리해야 하는 상황이 요구되고 있다. 이에 따라 AI 내부에서의 범용성과 유연성의 중요성이 높아지고 있다.

앞서 말했듯, 리벨리온은 아톰 칩 설계 단계부터 범용성을 중요한 요소로 보고 이를 중심으로 개발을 진행했다. 현재 국내 양산 제품 중 비전과 언어모델을 모두 지원하는 제품은 아톰이 유일하다.

또한 차세대 칩에서는 성능을 더욱 높일 계획이다. 리벨리온은 대규모(1천억 파라미터 수준)의 언어모델을 지원하기 위해서 칩렛(다른 기능을 가진 반도체를 하나의 칩으로 이어붙이는 패키징 기술) 구조를 활용한 차세대 AI반도체 '리벨(REBEL)'을 개발하고 있다."

Q. 반도체 스타트업으로서 ISSCC에 참여한 소감은?

"ISSCC는 말 그대로 ‘회로’를 다루는 학회기 때문에 반도체 하드웨어의 성능을 검증할 수 있는 좋은 무대다.

AI 반도체와 관련해 소프트웨어의 중요성이 많이 언급되고 있지만, 결국에는 하드웨어의 성능이 뒷받침되어야 한다. 이러한 관점에서 리벨리온이 가진 핵심 기술력, 그리고 리벨리온 제품이 발휘할 수 있는 하드웨어 성능에 대해 글로벌 전문가들의 인정을 받았다고 자부할 수 있다.

그리고 무엇보다 이번 ISSCC 참여로 리벨리온의 존재감을 미국과 세계 시장에 확실하게 알릴 수 있었다. 본 발표로 AI 하드웨어를 개발하는 회사 뿐만 아니라 AI 알고리즘을 개발하고 서비스하는 회사들과 협력하는 계기를 만들기도 했다. 한마디로, 앞으로 세계 무대에서 활약할 리벨리온의 시작을 알리는 일종의 신호탄이라고 볼 수 있겠다."