"추론하며 스스로 학습하는 AI…SKT 'A.X K2' 경쟁력 키운다"

AI 모델 성능 경쟁이 사전 학습 규모를 키우는 방식에서 추론 과정에 더 많은 연산 자원을 투입하는 방향으로 향하고 있다. 이미 학습을 마친 AI가 주어진 문제와 관련 자료를 바탕으로 짧게 추가 학습한 뒤 답을 내놓는 ‘추론 시점 학습’이 대표적이다.

SK텔레콤은 미국 매사추세츠공과대학교(MIT)와 추론 시점 학습 기술을 활용해 대규모 언어 모델의 추론 성능을 높이는 연구를 진행하고 있다. 공동 연구를 이끄는 김윤형 MIT 전기전자공학·컴퓨터과학부 교수는 SK텔레콤 뉴스룸 인터뷰를 통해 이 기술이 독자 AI 파운데이션 모델 ‘A.X K2’의 연산 자원 대비 성능을 높일 수 있다고 내다봤다.

연구는 MIT가 주관하는 글로벌 산학 협력 컨소시엄 ‘MGAIC’의 하나로 추진된다. MGAIC에는 SK텔레콤을 비롯해 오픈AI와 코카콜라 등 각 산업의 대표 기업들이 참여하고 있으며, 60개 이상의 프로젝트를 통해 AI의 산업 적용 가능성을 모색하고 있다.

“사전 학습 넘어 추론 단계에서 한 번 더 생각”

SK텔레콤과 MIT 공동연구 핵심은 추론 시점 학습과 관련 기술을 이용해 대규모 언어 모델의 성능을 높이는 것이다. 김 교수는 연구의 출발점이 AI 연산 자원을 바라보는 패러다임의 변화에 있다고 설명했다.

지난 수년간 AI는 모델의 매개변수와 학습 데이터, 연산 자원 등 사전 학습 단계의 규모를 키우는 방식으로 발전했다. 최근에는 학습을 마친 모델이 답을 생성하는 추론 단계에서 추가 연산 자원을 사용해도 성능이 뚜렷하게 향상된다는 연구 결과가 나오고 있다.

김 교수는 “추론 시점 학습은 연산 자원의 일부를 모델이 눈앞에 놓인 특정 문제를 스스로 해결하는 데 사용하면 어떨까라는 아이디어에서 출발한다”고 밝혔다.

일반적인 언어 모델은 학습을 마치면 고정된 상태로 배포되지만, 추론 시점 학습을 적용한 모델은 주어진 문제와 관련 자료를 바탕으로 짧게 추가 학습한 뒤 답변을 생성한다.

그는 “추론 단계의 연산 자원을 모델의 실제 성능과 역량 향상에 어떻게 활용할 것인가는 AI 학계의 핵심 화두”라며 “추론 시점 학습이 이에 유용한 접근 방식을 제공할 것”이라고 설명했다.

검색 넘어 전체 내용 통합하는 AI

연구팀은 AI가 긴 문맥을 이해하는 능력도 고도화할 계획이다. 김 교수는 긴 문맥 이해를 검색과 통합의 두 가지 관점으로 구분해야 한다고 설명했다. 검색은 방대한 텍스트에서 관련 정보를 찾는 능력으로 현재 AI 모델도 비교적 잘 수행한다.

반면 통합은 문서 전체에서 일관된 이해를 유지하고 서로 다른 부분의 정보를 연결하는 능력이다. 문서 앞부분과 뒷부분의 내용이 논리적으로 충돌할 때 이를 감지하는 것이 대표적이다.

이론적으로 100만개의 토큰을 처리하는 모델도 통합의 의미에서는 긴 문맥을 제대로 이해하지 못할 수 있다.

김 교수는 “소비자 대상과 기업 대상 서비스 모두에서 유용한 AI 에이전트를 개발하려면 통합의 관점에서 긴 문맥을 깊이 이해하는 시스템을 구축해야 한다”며 “이 능력이 AI 서비스의 핵심 경쟁력이 될 것”이라고 강조했다.

기술이 상용화되면 대규모 언어 모델은 수학적 추론이나 여러 단계의 판단이 필요한 복잡한 문제를 더 효율적으로 처리할 수 있다. 김 교수는 이를 기반으로 한 AI 응용 서비스의 성능과 반응 속도도 크게 개선될 것으로 기대했다.

“MIT와 SK텔레콤, 원천 연구와 상용화 결합”

김 교수는 SK텔레콤과 MIT의 협력이 학계의 원천 기술 탐색 역량과 기업의 상용화 역량을 결합한다는 점에서 의미가 있다고 평가했다.

그는 “학계는 새로운 가능성의 탐색에 강하고 기업은 기술의 실용적 활용에 강점이 있다”며 “AI의 비약적인 발전을 위해서는 두 역량이 반드시 결합돼야 한다”고 말했다.

MIT 연구진은 실제 서비스 출시를 목표로 AI 시스템을 구축하는 SK텔레콤 개발진에게서 산업 현장의 통찰을 얻을 수 있다. SK텔레콤은 단기적인 상용화 제약에서 벗어나 근본적인 원천 기술을 탐구하는 학계와 협력할 수 있다.

공동 연구의 성과는 A.X K2의 추론 성능 향상에도 활용될 수 있다. 추론 단계의 연산량을 늘리면 수학 문제 풀이와 같은 추론 영역의 성능을 지속해서 높일 수 있지만, 서비스 비용과 응답시간도 함께 증가할 수 있다.

김 교수는 “공동 연구에서 개발할 추론 시점 학습 기술은 A.X K2가 투입하는 추론 연산 자원 대비 성능을 높이는 효율을 획기적으로 개선할 것”이라고 전망했다.

“독자 AI 평가, 화려한 기술보다 글로벌 격차 봐야”

김 교수는 한국이 독자 AI 파운데이션 모델 사업을 통해 모델 개발에서 의미 있는 진전을 이뤘다고 평가했다. 다만 2차 평가에서는 새롭고 화려한 기술의 적용 여부보다 글로벌 모델 개발사들이 사용하는 핵심 성능평가 지표를 기준으로 선도 모델과의 격차를 얼마나 줄였는지 살펴야 한다고 조언했다.

그는 “선도 모델과의 격차를 줄였다는 것은 이미 알려진 모델 개발 방법을 대규모 환경에서 제대로 실행할 수 있다는 의미”라며 “이러한 실행 역량을 증명하는 것이 현 단계에서 가장 중요하다”고 말했다.

소버린 AI에 대해서는 독자적인 AI 인프라와 생태계를 구축하려는 시도는 자연스럽지만, 목표를 주권이라는 틀에만 가두면 국가 간 협력보다 과도한 경쟁을 부를 수 있다고 지적했다.