[AI인재강국] AI 경쟁의 다음 법칙, 크기가 아니라 지혜다

국가 AI 연구거점은 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받고 서울시와 서초구청이 뒷받침하는 AI 연구 컨소시엄으로, 카이스트·고려대·포스텍·연세대와 국내 기업들이 함께한다. 지디넷코리아는 격주마다 한국 AI 연구 생태계가 나아갈 방향을 국가 AI 연구거점의 생생한 이야기로 조망해 본다.[편집자주]

"모델을 키우면 성능이 좋아진다."

지난 몇 년의 인공지능(AI) 도약을 이끈 것은 이 단순한 경험 법칙, 이른바 스케일링 법칙이었다. 모델의 크기와 데이터, 컴퓨팅을 늘릴수록 성능이 예측 가능하게 향상된다는 사실이 확인되자 세계는 더 큰 모델을 만드는 경쟁에 뛰어들었다.

양은호 카이스트 교수

오늘의 생성형 AI가 보여주는 놀라운 능력의 상당 부분은 이 법칙에 충실했던 결과다. 법칙이 있으니 길은 분명했다. 더 많은 데이터, 더 큰 모델, 더 많은 그래픽처리장치(GPU)였다.

그러나 이 길은 갈수록 가팔라지고 있다. 법칙이 틀렸다는 뜻이 아니다. 법칙을 계속 따르는 비용이 감당하기 어려운 수준으로 커지고 있다는 뜻이다. 최첨단 모델을 한 번 학습시키는 데 천문학적 비용과 전력이 들고, 인터넷에서 모을 수 있는 양질의 데이터도 바닥을 드러내고 있다.

그렇게 이 경쟁은 자본과 인프라를 가진 소수의 기업과 국가만 뛸 수 있는 게임이 되어 간다. 크기의 경쟁이 계속되는 한, 뒤늦게 출발한 쪽이 같은 트랙에서 역전하기는 어렵다.

실제로 경쟁의 무대는 벌써 옮겨 가고 있다. 최근에는 학습 단계를 넘어, 추론 시점에 연산을 더 투입해 성능을 끌어올리는 새로운 스케일링의 축이 열리고 있다. 그러나 축이 학습이든 추론이든 관건은 결국 같다. 한정된 자원을 얼마나 영리하게 쓰느냐다.

그래서 질문이 바뀌어야 한다. "얼마나 크게 만들 것인가"가 아니라 "같은 지능을 얼마나 적은 자원으로, 얼마나 믿을 수 있게 낼 것인가"다. 국가AI연구거점에서 필자가 책임을 맡은 세부과제의 이름이 '뉴럴 스케일링 법칙 초월 연구'인 이유가 여기에 있다. 여러 대학의 연구진이 저마다의 방법으로 이 하나의 질문을 붙잡고 있다.

벽은 하나지만 넘는 길은 여러 갈래다. 이미 학습된 거대 모델의 지식을 압축하고 증류해 작은 모델에 옮겨 담는 길, 같은 데이터에서 더 많이 배우는 학습 알고리즘의 길, 모든 입력에 똑같은 연산을 쏟는 대신 필요한 만큼만 계산하는 새로운 구조의 길, 데이터 자체를 정제하고 골라내 적은 데이터로 같은 효과를 내는 길이다.

필자의 연구실도 모델의 숫자 표현을 줄여 몸집을 낮추는 양자화, 여러 모델을 꼭 필요한 순간에만 결합해 비용을 아끼는 앙상블, 생성 과정의 잘못된 경로를 일찍 걸러내 속도를 몇 배로 끌어올리는 추론 가속 연구 등으로 힘을 보태고 있다. 이런 문제의식은 연구실 밖에서도 이어진다. 필자가 공동창업한 헬스케어 AI 기업 에이아이트릭스 역시 실제 병원 데이터와 임상 제약을 마주하며 비슷한 고민을 하고 있는데, 같은 자원 제약과 신뢰성 문제는 의료를 넘어 산업 현장 곳곳에서 반복되는 고민이기도 하다.

이 갈래들의 끝에는 결국 이해의 문제가 있다. 모델을 줄이려면 무엇을 버려도 되는지 알아야 하고, 그러려면 모델이 왜 그렇게 판단하는지 안을 들여다볼 수 있어야 한다. 그리고 이 '왜'에 답하는 능력은 비용을 아끼는 도구에 그치지 않는다. 오판 하나가 생명이나 큰 비용으로 이어지는 현장, 이를테면 환자의 상태 악화를 예측하는 일에 AI가 들어가려면 판단의 근거를 설명하고 검증할 수 있어야 한다.

시계열 데이터에서 판단의 근거를 짚어내는 설명가능성 연구, 모델의 추론 과정을 단계마다 검증하는 연구가 효율화와 한 몸으로 가는 이유다. 더 작게, 더 빠르게, 그리고 더 믿을 수 있게. 결국 하나의 목표, 현실에서 쓰이는 AI를 향한다.

이 전장은 한국에 불리하지 않다. 자본과 전력의 총량으로 겨루는 경쟁에서는 뒤질 수 있어도, 적은 자원으로 같은 지능을 내는 경쟁은 결국 아이디어와 사람이 결정하기 때문이다.

이론에 대한 이해와 정교한 알고리즘, 그것을 밀고 나가는 연구자의 집요함이 무기가 되는 영역이고, 한국은 세계 무대에서 검증된 연구자와 학생들을 갖고 있다. 세계가 "더 크게"의 관성에 묶여 있는 지금이야말로, 다음 법칙을 먼저 찾아내는 쪽이 판을 바꿀 수 있는 시간이다.