[현장] "GPU 개수 경쟁 끝났다"…엔비디아가 제시한 '수직 통합' AI 인프라

정구형 엔비디아 팀장, '앱부터 전력까지' 5개 레이어 유기적 설계 강조

"그래픽처리장치(GPU) 몇 장을 도입할지 경쟁하는 시대는 지났습니다. 이제는 기업 전체 구조를 다시 설계하는 단계로 들어섰습니다."

정구형 엔비디아 코리아 팀장은 26일 서울 마곡 사이언스파크에서 열린 'LG CNS AI 테크 서밋 2026'에서 애플리케이션부터 데이터센터, 전력까지 아우르는 차세대 AI 인프라 청사진을 제시했다.

정 팀장은 AI 인프라를 ▲애플리케이션 ▲모델 ▲AI 플랫폼 ▲가속 컴퓨팅 인프라 ▲데이터센터, 에너지 인프라 등 5개 레이어로 구분해 설명했다. 그는 "AI는 한 층만 잘 만든다고 완성되지 않는다"며 "애플리케이션부터 전력까지 수직 통합 관점에서 설계해야 한다"고 말했다.

정구형 엔비디아 팀장(사진=남혁우 기자)

가장 위에는 기업이 실제로 사용하는 업무용 AI 애플리케이션과 에이전트가 있다. 그 아래로는 대형 언어모델 등 모델 레이어, 이를 학습·배포·운영하는 플랫폼 레이어가 이어진다. 이어 GPU, CPU, 네트워킹, DPU 등으로 구성된 가속 컴퓨팅 인프라가 이를 떠받친다. 마지막으로 대규모 전력과 냉각을 감당하는 데이터센터, 에너지 인프라가 기반을 이룬다.

정 팀장은 "AI 경쟁은 이제 GPU 수량이 아니다"며 "이 5개 레이어를 얼마나 유기적으로 설계하느냐의 문제"라고 강조했다.

엔비디아 내부 사례도 공개했다. 그는 단순히 요약된 답을 제시하는 것이 아니라 어떤 문서의 어느 부분을 참고했는지까지 추적 가능하도록 설계했다는 것을 강조했다. 

정 팀장은 "우리도 사내에서 에이전틱 AI를 적극 활용하고 있다"며 "컨플루언스, 셰어포인트 등 내부 협업 시스템과 직접 연동해 답변의 근거를 함께 제시하는 구조를 구축했다"고 설명했다.

이 같은 내부 적용을 통해 제품 개발과 의사결정 속도가 빨라졌다고도 밝혔다. 반복적으로 확인해야 했던 기술 문서, 설계 변경 이력, 사내 정책 자료 등을 에이전트가 즉시 찾아 제시하면서 업무 시간이 단축됐다는 설명이다.

정 팀장은 "엔터프라이즈 환경에서는 정확도만큼이나 '출처 투명성'이 중요하다"며 "이를 통해 개발자와 엔지니어가 정보 검색에 쓰는 시간을 줄이고 실제 설계와 검증에 더 집중할 수 있게 됐다"고 말했다.

엔비디아는 이러한 시행착오와 운영 경험을 정리해 '엔터프라이즈 AI 팩토리 디자인' 가이드로 공개했다. 가이드에는 에이전트 설계 방식, 내부 데이터 연동 구조, 플랫폼 구성, 인프라 선택 기준 등 기업이 AI를 도입할 때 고려해야 할 기술적 의사결정 요소가 담겼다.

모델 전략에 대해서는 오픈소스 기반 접근을 강조했다. 시스템 구조가 얼마나 개방돼 있는고 실제 서비스에서 얼마나 효율적인지가 실제 업무 성능을 좌우하기 때문이다.

그는 오픈 모델 제품군인 '네모트론3'를 언급하며 "성능 지표뿐 아니라 서빙 효율 측면에서도 의미 있는 진전을 이뤘다"며 "기업이 자체 모델을 고도화할 때 충분히 고려할 수 있는 기반이 될 것"이라고 설명했다.

엔비디아 정구형 팀장은 엔비다아가 진행 중인 인프라 구축 사업을 소개했다(사진=남혁우 기자)

하드웨어와 인프라 설계 방향도 구체적으로 제시했다. 그는 차세대 GPU 아키텍처 기반 랙 단위 통합 설계를 소개하며 "수십 개 GPU를 하나의 도메인처럼 묶어 동작시키는 구조가 표준이 되고 있다"고 말했다. 

이어 "고속 네트워킹과 DPU를 결합해 서버, 스토리지, 네트워크를 유기적으로 연결해야 진짜 AI 인프라가 완성된다"고 강조했다.

데이터센터와 에너지 이슈에 대해서도 언급했다. 정 팀장은 "AI 인프라의 끝은 결국 전력"이라며 "기가와트급 데이터센터 시대가 이미 시작됐다"고 말했다. 이어 "디지털 트윈 기반 설계를 통해 가상 환경에서 충분히 검증한 뒤 실제 구축에 들어가야 시행착오를 줄일 수 있다"고 설명했다.

그러면서 "AI 인프라는 장비 조합의 문제가 아니라 애플리케이션에서 에너지까지 하나로 이어진 설계 철학의 문제"라며 발표를 마무리했다.