[기고] AI 컴퓨팅이 분산형이 되어야 하는 이유

지속 가능한 AI 성장을 위한 분산형 인프라 구축해야

AI의 폭발적인 성장은 새로운 산업혁명을 이끌고 있다. 이미 일반 사무 업무는 물론 의료 분야나 산업 분야에서 질병, 장애 등에 대한 진단에 인공지능 활용을 접목하고 있고, 앞으로 도입 산업군은 더욱 확대될 것이다.

AI 시대는 데이터를 저장하고 처리하는 '컴퓨팅 파워’가 산업의 기반이 될 것이다. 물과 전기가 점차 유틸리티로 취급되며 언제 어디서나 필수적으로 제공 가능한 자원이 된 것처럼, 컴퓨팅 파워도 상시 가용한 상태가 되어야 하는 시대가 오고 있다. 컴퓨팅 파워 없이는 통신망이 무너지고 공급망이 와해되는 상황이 올 수도 있다.

인텔코리아 데이터센터 기술 담당 조민성 이사.

모든 곳에 AI를 접목시키고자 한다면 컴퓨팅 파워의 가용성과 효율성이 뒷받침되어야 한다. 이를 위해서는 컴퓨팅 인프라 네트워크의 재구축이 필요하다.

단순히 댐 건설 하나만으로는 한 국가의 수자원이 안정적으로 관리되지 않듯이, AI 시대가 도래하기 위해서는 데이터센터, PC 및 엣지 디바이스 모두가 뒷받침하는 분산형 컴퓨팅 파워가 필요하다.

AI 컴퓨팅의 미래가 분산형이어야 하는 데에는 세 가지 주요 이유가 있다.

경제, 물리적 거리 및 컴플라이언스

'AI 혁명'의 핵심에 데이터센터가 있다는 것에는 의심의 여지가 없다. 대형언어모델(LLM) 기반 생성형 AI는 다량의 데이터를 활용한 학습을 요구한다.

왼쪽부터 제온6 6700E, 제온6 6900E, 제온6 6900P 프로세서. 사진=지디넷코리아)

이러한 집중적인 처리작업에는 수백, 수천 개의 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 가속기 및 네트워킹 칩으로 구성된 대규모의 고성능 컴퓨팅 인프라가 필요하다.

데이터센터도 물론 중요하지만, 데이터센터 이외 요소들도 살펴봐야 할 세 가지 주요 이유가 있다.

첫 번째 이유는 경제성이다. AI를 데이터 센터나 클라우드를 통해 처리하는 데는 많은 비용이 든다. 데이터 센터의 소유 혹은 임대 또는 클라우드 구독 비용은 많은 조직에 부담이 될 수 있다.

인텔이, 델-케임브리지大와 공동으로 구축한 슈퍼컴퓨터 '던'. (사진=인텔)

두 번째는 물리적 거리이다. 데이터 생성 위치와 데이터 센터 간 데이터 전송은 지연을 초래할 수 있으며, 이는 자율주행차와 같은 시간 민감형 애플리케이션에 적합하지 않을수 있다. 마지막으로, 보안상의 이유로 데이터가 조직 외부나 국가 외부에 저장되는 것을 허용하지 않는 규정이 있다.

따라서, AI에 필요한 컴퓨팅은 다양한 위치와 장치로 분산되어야 한다. 컴퓨팅 기술이 점점 더 강력하고 효율적으로 발전하면서, 데이터 센터나 클라우드에서 작은 언어 모델을 학습시키기보다 PC에서 직접 학습시키는 것이 가능해지고 있다.

PC의 중요성 증가

PC는 AI PC의 등장으로 중요한 전환점에 있다. CPU, GPU, NPU를 결합해 생산성, 창작, 게임 등이 AI로 강화되며, 로컬에서 효율적으로 처리된다. 예를 들어, 파워포인트에서 몇 줄의 명령만으로도 시각적으로 놀라운 프레젠테이션을 몇 초 만에 만들 수 있다.

인텔 코어 울트라 200V(루나레이크) 프로세서. (사진=인텔)

기존 노트북으로 웹 브라우저를 통해 가능하다는 의견도 있지만, 오래된 PC는 처리 시간이 길고 에너지를 더 소모하며, 클라우드와 데이터 전송 비용이 증가하고, 민감한 데이터를 다룰 경우 제약이 따른다.

이러한 문제는 기업 환경에서 더욱 심화된다. 점점 더 많은 직원들이 일상 업무에 AI 애플리케이션을 사용하고 있으며, 기업은 독점 데이터를 활용해 AI 모델을 학습시키거나 조정해야 할 필요성이 커지고 있다.

또한 데이터베이스 관리 소프트웨어와 같은 엔터프라이즈 소프트웨어는 클라우드 CPU 코어 사용량에 따라 라이선스 비용이 발생한다.

인텔 코어 울트라 시리즈1 탑재 AI PC를 이용한 이미지 생성 시연. (사진=지디넷코리아)

AI PC를 활용하면 이러한 AI 워크로드를 최적화하여 하드웨어 자원을 효율적으로 사용할 수 있다. 직원 PC에서 직접 AI 애플리케이션을 실행하게 되면 클라우드 컴퓨팅 비용을 절감할 수 있다. 장기적으로는 운영 효율성과 생산성을 높여 기업에 큰 이점을 제공할 수 있다.

AI 시대에서 엣지의 장점

데이터 센터와 AI PC를 넘어, 점점 더 많은 AI가 “엣지”로 이동하고 있다.

엣지는 사물인터넷(IoT), 자율주행차, 스마트 시티 장치와 같은 일상적인 AI 경험을 포함한다. 엣지 컴퓨팅은 데이터 생성 지점 근처에서 처리하는 것을 의미하며, 중앙 데이터 센터 의존도를 낮춘다.

AI 시대에서 엣지 컴퓨팅은 실시간 처리를 통해 안전과 관련된 즉각적인 결정을 가능하게 하고, 데이터의 지역 처리를 통해 클라우드 전송량을 줄여 네트워크 혼잡을 완화하며 비용을 절감한다.

또한, 민감한 데이터의 전송 중 노출을 최소화하여 보안을 강화한다. 인터넷 연결이 끊긴 상황에서도 중요한 애플리케이션을 유지할 수 있어 특히 의료 산업에서 중요하다.

삼성메디슨 초음파 진단기 HERA W10 엘리트. (사진=삼성전자)

이러한 AI 사용 사례는 새로운 입력 데이터에 기반하여 예측이나 결정을 내리는 훈련된 기계 학습 모델을 활용하며, 이를 "추론"이라고 한다.

추론은 대체로 고성능 컴퓨팅 인프라가 필요한 학습과는 달리 CPU를 통해 엣지에서 더 쉽게 실행할 수 있다. 추론은 효율성, 낮은 전력 소모, 유연성이 강점으로, 다양한 환경에서도 잘 작동한다.

IDC는 2025년까지 전 세계적으로 기업 생성 데이터의 75%가 전통적인 데이터 센터나 클라우드가 아닌 엣지에서 생성 및 처리될 것으로 예측했다. 특히 AI와 컴퓨팅이 엣지로 이동함에 따라, 주요 워크로드는 추론이 차지할 것이다.

비슷한 예시로, 기상 관측 관련 날씨 모델을 "만드는" 사람보다 "활용하는" 사람이 훨씬 많은 사례와 유사하다. 추론이 미래 AI 워크로드의 대부분을 차지할 것임을 인식하면, 기업은 적절한 컴퓨팅 인프라를 준비할 수 있다.

적합한 작업에 적합한 도구 활용 필요

핵심은 엣지 컴퓨팅이 데이터 센터에서의 컴퓨팅보다 더 중요한지, CPU가 GPU보다 중요한지가 아니라, 적합한 작업에 적합한 도구를 사용하는 것이다.

AI PC는 비용과 지연시간, 프라이버시 보호에 강점을 지녔다. (사진=지디넷코리아)

AI는 복잡하고, 사용 사례에 따라 요구되는 컴퓨팅 사양이 크게 달라진다. 이는 사용자 경험, 운영적 고려사항, 비용, 정부 규제 등을 포함한다. AI의 지속 가능한 성장을 위해서는 세계의 끊임없는 컴퓨팅 수요를 충족할 수 있는 적합한 인프라를 구축해야 한다.

유틸리티 공급의 비유로 돌아가자면, 국가의 물 공급은 댐만 필요한 것이 아니라, 물 저장소, 정수 시설 등 다양한 인프라가 필요하다. 마찬가지로, 컴퓨팅 파워의 공급도 다양한 종류의 인프라 네트워크가 필요하다.

유틸리티 공급에서 효율성, 보안, 지속 가능성 등의 교훈을 얻었듯이, 대부분의 것에 맞는 해결책은 하나만 있는 것이 아님을 기억하는 것이 중요하다. 이는 AI 시대의 컴퓨팅 파워에도 동일하게 적용된다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.