[현장] 이재욱 서울대 AI대학원장 "지금은 '스케일링 법칙' 시대…AI 인프라 경쟁 심화"

AIIA 포럼서 'AI 컴퓨팅 기술 동향' 강연…"스케일링 법칙, 2030년까지 지속될 듯"

"지금 우리는 스케일링 법칙(Scaling Law) 시대에 살고 있습니다. 모든 나라, 기업이 경쟁적으로 인공지능(AI) 인프라에 엄청나게 집중을 하고 있는 것도 이 때문입니다."

이재욱 서울대학교 AI연구원장은 18일 오전 서울 서초구 양재 엘타워에서 진행된 '한국인공지능산업협회(AIIA) 정기 조찬포럼'에 참석해 'AI 컴퓨팅 기술 동향' 주제로 강연하며 이처럼 강조했다. 이 행사는 AIIA와 지능정보기술포럼(TTA ICT 표준화포럼 사업)이 공동 주최했다. 

이 원장은 올해 서울대병원 헬스케어AI연구원장을 맡게 된 장병탁 원장의 뒤를 이어 서울대 AI연구원을 이끌게 된 인물로, 지난 2022년부터 1년간 구글 딥마인드 방문연구원으로 활동한 경험이 있다. 

이재욱 서울대 AI대학원장 (사진=장유미 기자)

이 원장이 이날 강연에서 언급한 '스케일링 법칙'은 더 많은 컴퓨팅 파워와 그래픽처리장치(GPU), 방대한 데이터를 투입해야 모델의 정교함과 예측력이 비약적으로 개선된다는 것을 뜻한다.

그는 이 법칙과 관련해 지난 2018년 '트랜스포머'를 만든 구글 딥마인드 팀을 예시로 들었다. 당시 구글 딥마인드 팀은 언어 모델을 개발한 다음 위키디피아로 전부 학습을 시킨 후 (미국 대통령) '에이브러햄 링컨'으로 자료를 생성하는 실험을 했다. 33M 모델로 결과물을 도출했을 때는 이상한 토큰들이 많이 생성됐지만, 5B 모델로 크기를 확대했을 때는 비교적 정확한 결과물이 도출됐다. 5B 모델이란 학습 가능한 매개변수 50억 개를 갖고 있다는 의미이다. 

이 원장은 "현재 패러다임은 '스케일링 법칙'에 기반하는 더 많은 계산과 데이터로 모델 성능을 향상시키는 것이 주류가 됐다"며 "오는 2030년까지는 '스케일링 법칙' 추세가 계속 갈 것으로 보이지만, 이후로는 어떻게 될 지 고민해봐야 할 것 같다"고 전망했다.

그는 '스케일링 법칙'을 이끄는 대표주자로 오픈AI를 예로 들었다. 실제 샘 알트먼 오픈AI 최고경영자(CEO)는 자신의 블로그에 '3가지 관찰'이라는 글을 게시하며 "AI 모델의 지능은 훈련과 실행에 사용한 자원만큼 발전한다"며 "현재까지 일정 금액을 지출하면 지속적이고 예측 가능한 성능 향상이 가능하다는 것이 입증됐고, 이런 스케일링 법칙이 여러 차원에서 매우 정확하게 작동한다"고 주장한 바 있다.

이 원장은 "올해 2월 만난 오픈AI 최고기술책임자(CTO)는 '스케일링 법칙'이 2029~2030년까지는 계속 이어지면서 (이를 바탕으로) 자신들의 모델 성능을 개선할 수 있을 것이라고 확신하는 모습을 보였다"며 "사티아 나델라 마이크로소프트 CEO도 이와 비슷한 얘기를 했다"고 말했다.

이 원장은 이처럼 '스케일링 법칙'이 대세로 자리 잡은 만큼 여러 나라와 기업들이 AI 시장 주도권을 잡기 위해 앞으로 더 치열하게 인프라 확보 경쟁을 벌일 것으로 예상했다. 실제 오픈AI와 엔비디아는 10기가와트(GW) 규모의 엔비디아 시스템 구축을 위한 전략적 파트너십을 발표해 주목 받은 바 있다.

그는 "기존의 데이터센터가 AI 데이터센터로 빠르게 전환되고 있는 상태"라며 "이제는 SaaS에 인텔리전스가 전부 탑재되고 있어 GPU를 쓸 수밖에 없는 상황"이라고 설명했다.

이어 "GPU는 기존 SaaS에 비해 엄청나게 많은 메모리와 스토리지를 요구하는데, 앞으로 이에 대한 수요는 더 폭발적으로 증가할 것으로 보인다"며 "이 탓에 각 국가별로도 이를 확보하기 위해 경쟁을 벌이고 있는 것"이라고 부연했다.

또 그는 "현재 AI 패권 경쟁을 위한 컴퓨팅 파워는 미국이 75%, 중국이 15%를 차지하고 있고 유럽, 노르웨이, 일본 등도 상위권에 속해 있다"며 "우리나라도 국부펀드 등을 통해 국가적으로 GPU를 도입해 존재감을 높인 노르웨이처럼 정부가 GPU 확보를 위해 나서고 있는 만큼 '기타'에 속하지 않고 곧 주류로 올라서지 않을까 기대하고 있다"고 강조했다.

이재욱 서울대 AI대학원장 (사진=장유미 기자)

이 원장은 이날 강연에서 AI 인프라 구축의 핵심으로 '메모리 반도체'에 대해서도 언급했다. 특히 삼성전자, SK하이닉스를 주축으로 우리나라가 시장 점유율 80% 가량을 차지하고 있는 고대역폭메모리(HBM)가 핵심이란 점도 강조했다. D램의 일종인 HBM은 GPU의 핵심 부품으로, SK하이닉스가 62%, 삼성전자가 17%의 점유율을 기록하며 시장을 이끌고 있다.

그는 "AI 인프라에서 메모리 반도체 역할이 사실 컴퓨팅보다 더 중요하다"며 "AI 메모리 월에서도 알 수 있듯, 지난 20년간 하드웨어 연산 능력은 대략 6만 배 늘었으나 메모리 반도체 대역폭은 고작 100배 정도에 불과했다"고 말했다.

이어 "연산량의 스케일링에 비하면 (메모리 반도체의 대역폭이) 훨씬 더 부족한 상황"이라며 "앞으로는 컴퓨테이션보다 메모리를 읽고 쓰는 속도가 전체 성능의 핵심이 될 것"이라고 덧붙였다.

그러면서 이 원장은 엔비디아 GPU를 AI 메모리 월의 예로 들었다. 실제 볼타 아키텍처 기반의 V100의 연산량 대 메모리 대역폭의 비율은 139였으나, 블랙웰 아키텍처 기반인 B200은 280으로 2배 이상 늘어난 것으로 나타났다.

그는 "이는 지금보다 훨씬 더 컴퓨테이션이 빠르게 증가하고 메모리는 천천히 증가하기 때문에 생기는 메모리 병목이 심화되고 있다는 의미"라며 "이에 대한 솔루션으로 HBM이 제시되고 있다"고 설명했다.

이어 "GPU의 구매원가에서 HBM이 차지하는 비율은 호퍼 아키텍처 기준으로 30% 정도인데, 블랙웰 아키텍처에선 2배 이상으로 높아진다"며 "GPU 밸류 측면에서 점차 HBM 비중이 높아지고 있다는 점에서 (HBM 시장을 주도하고 있는) SK하이닉스, 삼성전자보다 엔비디아가 돈을 더 많이 번다는 것은 안타깝다"고 덧붙였다.

또 그는 "캐퍼시티(Capacity, AI 역량) 측면에서도 트랜스포머라고 하는 모델들의 파라미터 크기는 2년간 400배 이상 증가했지만, 일반 GPU를 탑재한 메모리 용량은 2년간 2배 정도 늘어나는 데 그쳤다"며 "점차 (발전 속도) 격차가 커지고 있는 만큼, 메모리 반도체의 중요성은 앞으로 더 커질 것"이라고 강조했다.

이날 이 원장은 에이전트 AI의 등장으로 메모리에 대한 부담이 점차 더 커지고 있다는 점도 우려했다. 이에 대한 해결책으로는 AMD가 지난 6월 발표한 차세대 AI 가속기 '인스팅트(Instinct) MI400'을 언급했다. AMD는 MI400 시리즈가 전력 효율성과 비용 면에서 엔비디아를 압도한다고 주장하고 있는 상태로, 내년께 이를 본격 출시할 예정이다. 

또 다른 해결책으로는 AMD '이기종 시스템 아키텍처(Heterogeneous system Architectures, HSA)'를 제시했다. 이는 CPU, GPU 등 서로 다른 종류의 프로세서가 하나의 통합된 시스템 안에서 협력해 더 효율적으로 작업을 수행하도록 설계된 컴퓨팅 아키텍처다.

이 원장은 "엔비디아도 (AMD 움직임에 맞서) 최근 루빈 CPX라는 저가형 GPU를 선보였다는 점이 흥미로운 부분"이라며 "이는 프리필(Prefill)과 디코드를 할 때 각각 다른 GPU를 쓰게 하는 방식으로 비용 부담을 낮춘 것"이라고 설명했다.

그러면서 "현재 AI 인프라 시장은 굉장히 흥미롭고 할 일도 많은 상태"라며 "우리나라가 경쟁력을 갖고 있는 부분이 많아 향후 수혜를 볼 가능성도 높다"고 전망했다.