"정부의 독자 인공지능(AI) 파운데이션 모델 사업 3차수에서는 늘어난 서버를 안정적으로 운영하는 게 핵심입니다. 우리는 업스테이지 '솔라' 개발에 쓰이는 서버가 60대에서 120대로 늘어난 데 맞춰 고장 난 서버 일을 다른 서버가 대신 맡도록 지원합니다. 학습이 멈추는 시간을 줄여 업스테이지가 모델 개발에 집중할 수 있도록 돕고 있습니다."
황은진 래블업 연구소장은 28일 인터뷰를 통해 학습 규모가 커진 솔라 개발을 뒷받침하기 위해 장애 대응을 자동화하고 서버 운영 안정성을 높였다고 밝혔다.
래블업은 독파모 사업의 업스테이지 컨소시엄에서 학습 인프라 운영·관리를 처리하고 있다. 업스테이지가 솔라 모델을 개발하면, 래블업은 여러 서버가 함께 계산할 수 있도록 학습 환경을 지원하고 서버 상태와 그래픽처리장치(GPU) 사용 현황을 관리한다.
황 소장은 솔라 학습 규모가 커지면서 서버 장애로 인한 중단 시간을 줄이는 일이 더 중요해졌다고 설명했다. 여러 서버가 계산을 나눠 수행하는 대규모 학습에서는 서버 한 대에 문제가 생겨도 전체 작업이 멈출 수 있어서다.
그는 "고장 난 서버를 제외하고 남은 서버만으로 서버 수를 줄여 학습을 재개하려면 개발팀이 작업을 나누는 설정까지 빠꿔야 한다"며 "우리는 이런 지연을 줄이기 위해 예비 서버가 고장 난 서버 작업을 대신 맡도록 돕는다"고 말했다.
업스테이지 컨소시엄은 3차수에서 학습 서버를 60대에서 120대로 늘렸다. 이에 예비 서버도 3대에서 7대로 덩달아 늘었다. 예비 서버는 평소 데이터 생성이나 모델 평가 작업을 수행하다가 본 학습에 장애가 발생하면 대체 자원으로 투입된다.
래블업은 자체 소프트웨어 '백엔드닷에이아이'로 여러 서버 GPU를 한곳에서 관리하고 있다. 개발자가 학습 작업을 실행하면 필요한 GPU를 배정하고, 어떤 서버가 사용 중인지 확인할 수 있도록 돕는다. 업스테이지는 이 소프트웨어로 장애 발생 시 사용 가능한 예비 서버를 찾아 학습을 다시 시작하는 절차까지 자동화했다.
그는 "우리 핵심 목표는 서버 수가 늘어나도 개발팀이 장비 관리에 매달리지 않고 모델 개발에 집중할 수 있도록 하는 것"이라고 설명했다.
"개발자가 쓰던 방식 그대로…복구 작업 자동화"
황 소장은 업스테이지 개발팀이 익숙한 명령어로 GPU 자원을 관리하고 복구 작업을 자동화할 수 있도록 지원했다고 밝혔다.
래블업은 업스테이지 요청에 따라 분산 학습에 널리 쓰이는 오픈소스 도구 '슬럼(Slurm)' 명령어를 백엔드닷에이아이가 처리할 수 있는 형태로 바꿔주는 인터페이스를 개발했다. 개발팀이 기존에 쓰던 명령어로 백엔드닷에이아이를 제어할 수 있도록 한 것이다.
황 소장은 "이는 개발자와 관리 소프트웨어 사이에 통역 기능을 넣은 셈"이라며 "업스테이지 개발팀은 새로운 명령 체계를 배우는 대신 익숙한 명령어로 GPU 자원을 관리하고 학습 작업을 실행할 수 있게 됐다"고 강조했다.
실제 업스테이지는 이 기능을 활용해 서버 고장으로 학습이 멈췄을 때 자동으로 학습을 재개하는 에이전트를 만들었다. 사람이 일일이 조작하지 않아도 에이전트가 고장 난 서버 대신 예비 서버에 작업을 맡기고 학습을 다시 시작하는 식이다.
황 소장은 "업스테이지 개발팀은 이미 알고 있는 문법으로 작업할 수 있어 자동화 에이전트를 쉽게 개발할 수 있었다"며 "3차수에서 장애 발생 후 학습 재개까지 걸린 시간이 대략 20~30분으로 기존보다 훨씬 빨라졌다"고 밝혔다.
래블업은 GPU 장비에 문제가 생겼을 때 공급사에 고장 내용을 알리고 점검을 요청하는 절차도 자동화하고 있다. 담당자가 오류 기록을 일일이 모아 전달하는 대신 시스템이 문제 발생 시점과 관련 기록을 전달하도록 하는 방식이다. 공급사가 장비를 수리하는 동안에는 예비 서버로 학습을 재시작하도록 지원한다.
황 소장은 "문제를 보고하고 점검을 요청하는 과정도 최대한 자동화하고 있다"며 "사람이 직접 처리하기를 기다리느라 대응이 늦어지지 않도록 신경 쓰고 있다"고 설명했다.
독파모 효과 확산하려면…추론 효율 높이고 GPU 지원해야
황 소장은 독파모 사업으로 개발한 모델이 실제 서비스로 이어지려면 운영 비용을 낮추는 노력도 필요하다고 강조했다. 모델 성능이 뛰어나도 이를 실행하는 데 필요한 GPU 비용이 높으면 확산이 어렵다는 설명이다.
래블업은 같은 장비로 AI 서비스를 더 효율적으로 운영할 수 있는 기술을 연구하고 있다. 학습 단계에서는 장시간 계산을 안정적으로 이어가는 것이 중요하지만, 서비스 단계에서는 사용자 질문에 빠르게 답하면서 더 많은 요청을 처리해야 하기 때문이다.
특히 코딩 에이전트는 긴 코드와 작업 내역 등 서로 다른 맥락을 여러 차례 오가며 앞서 처리한 정보를 다시 참조한다. 이때 이전 계산 결과를 보관하는 'KV 캐시'를 활용하면 같은 내용을 처음부터 다시 계산하는 작업을 줄여 응답 속도를 높일 수 있다.
다만 GPU 메모리 용량에는 한계가 있어 여러 작업의 계산 정보를 모두 유지하기는 어렵다. 메모리에서 밀려난 정보를 다시 참조할 때 재계산이 필요하면 시간과 연산 자원이 추가로 든다.
래블업은 배스 데이터(VAST Data)와 이런 반복 계산을 줄이는 기술을 연구하고 있다. 이는 GPU 메모리에 있는 계산 정보를 별도 저장장치에 보관했다가 필요할 때 다시 불러와 활용하는 기술이다.
황 소장은 "이는 책상 위 공간이 부족할 때 자료를 버리는 대신 서랍에 보관했다가 꺼내 쓰는 것과 비슷하다"며 "관건은 저장한 정보를 빠르게 불러와 사용자가 답변을 오래 기다리지 않도록 하는 것"이라고 설명했다.
그러면서 "코딩 에이전트처럼 각기 다른 긴 맥락을 여러 차례 오가며 다시 참조하는 환경에서 특히 효과가 크다"며 "사용자가 느끼는 응답 속도를 개선하는 방법을 연구하고 있다"고 덧붙였다.
황 소장은 정부도 독파모 개발 이후 확산을 지원해야 한다고 제언했다. 대형 모델을 공개하더라도 GPU를 확보하기 어려운 중소기업에는 서비스 개발 문턱이 여전히 높다는 이유에서다.
관련기사
- 래블업, 내달 3일 코스닥 입성…AI 인프라 운영 SW 사업 확대2026.10.27
- "AI 투자 불안은 기회"…래블업, 공모가 하단 딛고 성장성 입증 나선다2026.10.23
- 래블업 "AI 인프라 과잉투자 우려는 기회"…11월 코스닥 입성2026.10.19
- 한국어 AI 답변 속도 높인다…래블업, 추론 가속 모델 공개2026.10.12
또 황 소장은 적은 자원으로 실행할 수 있는 경량 모델 개발과 서비스 운영용 GPU 지원을 대안으로 제시했다. 중소기업이 GPU를 저렴하게 이용하고, 국산 모델을 활용한 아이디어를 실제 서비스로 구현할 수 있도록 지원해야 한다는 구상이다.
그는 "모델 규모가 크다는 것은 이를 서비스하는 데도 많은 GPU 자원이 필요하다는 뜻"이라며 "세금을 투입해 개발한 모델이 과제로 끝나지 않고 실질적으로 도움이 되는 방향으로 확산해야 한다"고 강조했다.
