[AI 고속도로] 기업 AI도 프라이빗 시대…'모듈형 데이터센터'가 뜬다

데이터 보안·운영비 부담에 자체 AI 인프라 수요 확대…엘리스그룹, 구축·운영 통합 지원

기업들이 인공지능(AI) 활용을 확대하면서 데이터와 AI 운영 환경을 직접 통제할 수 있는 '프라이빗 AI'에 주목하고 있다. 외부 클라우드와 AI 모델에 의존하던 방식에서 벗어나 자체 인프라를 병행하는 기업이 늘면서, 필요한 장소에 빠르게 구축하고 수요에 따라 확장할 수 있는 모듈형 AI 데이터센터(AIDC)도 대안으로 부상한 모습이다.

9일 업계에 따르면 기업들은 민감한 내부 데이터나 반복적인 업무를 자체 AI 환경에서 처리하고 고난도 추론이 필요한 작업에는 외부 AI 모델을 활용하는 방식으로 인프라 전략을 다변화하고 있다.

기업의 AI 전략에서도 모델 성능뿐 아니라 데이터를 어디에 저장하고 연산 자원을 어떻게 운영할 것인지가 중요한 과제로 떠오르고 있다. 특히 금융·제조·공공 등 보안과 데이터 통제가 중요한 분야에선 독립적인 AI 운영 환경을 확보하려는 수요가 커지고 있다.

오픈 AI 모델이 확산되면서 프라이빗 AI 구축 수요가 늘어나고 있다. (사진=클립아트코리아)

오픈 모델 성능 높아지자 프라이빗 AI 도입 확대

최근 오픈 모델의 성능이 빠르게 향상되고 운영 비용 부담도 줄어들면서, 기업들이 외부 상용 모델에 대한 의존도를 낮추고 업무 특성에 맞는 자체 AI 환경을 구축할 수 있게 됐다.

미국 매사추세츠공과대학(MIT)과 조지아공대 연구진이 발표한 논문에 따르면 오픈 모델은 폐쇄형 최첨단 AI 모델의 약 90% 수준 성능을 내면서도 비용은 약 6분의 1에 그치는 것으로 나타났다. 폐쇄형 모델 출시 이후 오픈 모델이 유사한 성능에 도달하기까지 걸리는 시간도 13주까지 단축됐다.

기업 내부 데이터에 맞춘 모델 미세조정도 경쟁력으로 꼽힌다. 데이터브릭스 연구에선 메타의 오픈 모델 '라마 3.1 8B'를 기업 고유 코드에 맞게 미세조정한 결과, GPT-4o보다 코드 채택률이 1.4배 높고 응답 시간은 2배 빠른 것으로 나타났다.

실제 기업 현장에서도 자체 AI 모델과 외부 모델을 병행하는 사례가 나오고 있다. 미국 보험사 트래블러스는 보험 업무에 특화된 자체 모델 '트래블러스LLM'을 개발해 전문성과 대량 처리가 필요한 업무에 활용하고 범용적이거나 복잡한 요청에는 외부 모델을 사용하는 방식으로 AI 환경을 운영하고 있다.

국내에선 한국서부발전이 외부망과 분리된 온프레미스 환경에 자체 생성형 AI 서비스 '위피봇'을 구축했다. 사내 규정과 기술자료 검색, 문서 작성 등에 활용하고 있으며 시범 운영 결과 업무 효율을 30% 이상 높이고 연간 10만 시간의 업무 시간을 절감한 것으로 알려졌다.

프라이빗 AI 확산과 함께 자체 데이터센터 구축 수요도 늘고 있다. (사진=클립아트코리아)

AI 운영 환경도 변화…모듈형 데이터센터 대안 부상

기업들이 프라이빗 AI 도입을 확대하면서 대규모 AI 연산을 처리할 수 있는 인프라의 중요성도 커지고 있다. 특히 대규모 AI 모델을 직접 운영하거나 여러 AI 서비스를 상시 구동해야 하는 기업·기관에선 기존 전산실만으로 고밀도 그래픽처리장치(GPU) 환경을 수용하는 데 한계가 있다.

고성능 GPU를 안정적으로 운영하려면 높은 전력 밀도와 발열에 대응할 수 있는 전력·냉각 설비가 필요하다. GPU 간 대용량 데이터를 빠르게 전송하는 네트워크와 스토리지도 갖춰야 한다. 외부 클라우드를 지속적으로 이용할 경우 사용량에 따라 비용 부담이 커질 수 있다는 점도 자체 인프라 구축을 검토하는 배경이다.

이에 전력·냉각·네트워크 등 주요 설비를 공장에서 미리 제작한 뒤 현장에 설치하는 모듈형 AIDC가 주목받고 있다. 부지와 전력이 확보된 환경에선 기존 데이터센터보다 구축 기간을 줄일 수 있고 AI 연산 수요가 늘어나면 모듈을 추가해 단계적으로 확장할 수 있다는 것이 강점이다.

기업이 직접 관리하는 부지에 독립적인 AI 인프라를 구축할 수 있다는 점도 특징이다. 데이터와 시스템에 대한 물리적 통제 수준을 높이면서 필요한 연산 자원을 업무 현장 가까이에 배치할 수 있어 보안과 운영 효율을 함께 고려할 수 있다.

엘리스그룹, 모듈형 AIDC·GPU 운영 기술 결합

국내에선 엘리스그룹이 모듈형 데이터센터와 클라우드 소프트웨어를 결합한 AI 인프라 사업을 추진 중이다.

엘리스그룹은 부지와 전력이 확보된 환경에서 약 3개월 만에 구축할 수 있는 모듈형 AIDC '엘리스 PMDC'를 공급하고 있다. 서버 랙과 전력·냉각·네트워크 설비를 모듈화해 현장에서 설치하는 방식으로, 수요에 따라 인프라를 단계적으로 확장할 수 있도록 설계했다.

고밀도 GPU 환경에 대응하기 위한 수랭식 냉각 시스템도 적용할 수 있다. 여기에 GPU 가상화·오케스트레이션 기술을 적용한 클라우드 소프트웨어 'ECI'를 결합해 GPU 자원을 워크로드에 따라 배분하고 운영할 수 있도록 지원한다.

모듈형 AI 데이터센터 '엘리스 AI PMDC' 조감도 (사진=엘리스그룹)

산업 현장에서도 모듈형 AI 인프라 구축이 추진되고 있다. 부산 명지녹산국가산업단지에선 산업단지 내 기업들이 공동으로 활용할 수 있는 GPU·신경망처리장치(NPU) 기반 엣지 AI 데이터센터를 구축하고 있다. 엘리스그룹과 부산테크노파크, 이지에이아이, 건솔루션, 포미트 등이 참여해 제조기업의 AI 전환을 지원할 계획이다.

박정국 엘리스그룹 최고기술책임자(CTO)는 "기업들이 프라이빗 AI 도입을 확대할수록 데이터를 안전하게 관리하는 것뿐 아니라 AI 인프라 자체를 효율적으로 운영할 수 있는 통제력이 중요해질 것"이라고 말했다.

이어 "특히 민감한 데이터를 다루거나 대규모 AI 연산 환경을 직접 운영해야 하는 기업·기관에선 필요한 장소에 AI 인프라를 빠르게 구축하고 수요에 따라 확장할 수 있는 모듈형 데이터센터가 효과적인 선택지가 될 것"이라고 덧붙였다.