뉴타닉스 "AI 도입, 멋진 모델보다 '단순함'과 '운영 전략'이 우선"

[ACC 2025] 마이클 신 전무 "작게 시작해 확장하는 인프라, AI 플랫폼이 해법"

뉴타닉스가 생성형 인공지능(AI) 도입을 망설이는 기업들에게 단순하고 확장 가능한 AI 인프라와 IT 주도형 플랫폼 전략을 해법으로 제시했다.

뉴타닉스 코리아 마이클 신 시스템 엔지니어링 전무는 11일 서울 신라호텔에서 열린 '인공지능(AI)&클라우드 컨퍼런스 2025(ACC 2025)'에서 AI도입 과정의 어려움을 살펴보며 이를 해결하기 위한 도입 전략을 소개했다. 

그는 "기업들이 AI를 도입하는 이유는 결국 생산성과 수익성을 높이기 위한 것"이라며 "이 목표를 달성하려면 처음 설계 단계에서부터 인프라와 운영 방식을 함께 생각해야 한다"고 강조했다.

뉴타닉스 마이클 신 전무(사진=남혁우 기자)

신 전무는 AI 도입을 고민하는 기업들이 먼저 스스로에게 던져야 할 질문을 세 가지로 정리했다. ▲어떤 모델을 쓸 것인지 ▲어떤 부서와 업무에 AI를 적용할 것인지 ▲그래픽처리장치(GPU) 수급과 비용 현실 등을 감안해 인프라를 어떻게 확장해 나갈 것인지다. 

그는 "지금 당장 수천 개의 GPU를 살 수 있는 기업은 거의 없다"며 "처음부터 크게 시작하는 것보다 작게 시작하되 수요에 맞춰 자연스럽게 확장할 수 있는 구조가 중요하다"고 말했다.

AI 도입 과정에서 뚜렷한 목표와 구체적인 계획 없이 우선 도입을 추지하려는 관행도 지적했다. 신 전무는 "공공과 민간을 막론하고 'AI를 도입하지 않으면 예산조차 받을 수 없다'는 말이 나올 정도로 압박이 심하지만, 정작 실무자들은 무엇부터 손대야 할지 몰라 막막해하는 경우가 태반"이라고 현장의 고충을 짚었다.

이어 "성공적인 AI 프로젝트는 '이 기술로 무엇을 할 수 있을까'라는 막연한 기대가 아니라 '우리 조직의 어떤 업무부터, 어떻게 적용할 것인가'를 명확히 정의하는 것에서 출발해야 한다"고 조언했다.

더불어 폭발적으로 늘어난 AI 모델 생태계에 대해서는 기회와 위험이 공존한다고 평가했다. 

신 전무는 "현재 공개된 모델이 100만 개가 넘고 매주 수 많은 신규 모델이 등장한다"며 "각 모델의 특성과 규제 이슈를 따져보지 않고 '좋다더라'는 말만 믿고 도입했다가 나중에 개인정보 수집이나 라이선스 문제로 발목을 잡히는 경우가 나올 수 있다"고 경고했다. 

그러면서 "예전에 웹, 애플리케이션 서버, 데이터베이스를 표준화해 공통 인프라 위에서 애플리케이션을 운영했듯 생성형 AI도 장기적으로는 모델과 추론, 데이터를 하나의 통합 플랫폼에서 관리하는 구조가 필요하다"고 말했다.

뉴타닉스가 제시한 해법의 핵심은 IT가 주도권을 가지는 AI 플랫폼이다. 신 전무는 뉴타닉스 클라우드 플랫폼 위에 쿠버네티스 환경과 '뉴타닉스 엔터프라이즈 AI(NAI)'를 결합한 구조를 소개했다. 

NAI는 다양한 모델과 추론 서버를 라이브러리처럼 등록하고, 중앙에서 관리할 수 있는 플랫폼이다. 그는 "허깅페이스나 엔비디아에서 몇 번의 클릭으로 모델을 가져오고 추론 서버 구성을 자동화한 뒤 대시보드에서 엔드포인트 수와 GPU 사용률, 토큰 요청량을 한눈에 볼 수 있게 하는 것이 목표"라고 설명했다.

이 과정에서 조직 내 역할 분담의 중요성도 강조했다. 신 전무는 "AI 인프라와 플랫폼은 기존 인프라를 관리하던 IT 조직이 맡고, 데이터 사이언티스트와 기계학습 운영(MLOps) 엔지니어는 모델과 애플리케이션에 집중해야 한다"고 말했다. 

이어 "비싸고 구하기 어려운 인력을 인프라 관리에 쓰는 것은 비효율적"이라며 "AI 인프라를 IT와 보안 엔지니어의 시야 안에 두는 것이 보안과 컴플라이언스 측면에서도 훨씬 안전하다"고 강조했다.

쿠버네티스 운영의 현실적인 어려움을 극복하기 위한 방안도 제시했다. 그는 "쿠버네티스는 15주마다 새 버전이 나오고 15개월이면 기술 지원이 종료된다"며 "여러 AI 벤더가 각자 쿠버네티스 클러스터를 들고 들어오면, 기업 입장에서는 버전 관리와 보안 검증, 업그레이드를 클러스터마다 따로 해야 하는 상황이 벌어진다"고 설명했다.

뉴타닉스 쿠버네티스 플랫폼은 CNCF 표준을 따르지만 실제 운영과 업그레이드는 뉴타닉스가 책임지는 방식으로 운영된다. 또 IT 인프라팀은 공통 플랫폼만 관리하고, 개발자와 데이터팀은 그 위에서 자유롭게 도구를 선택해 쓸 수 있도록 설계됐다.

신 전무는 내년 이후 본격화될 에이전틱 AI 시대를 대비하기 위해서도 공통 플랫폼이 필수라고 강조했다. 

그는 "에이전트 환경에서는 리즈닝, 임베딩, 검색증강생성(RAG), 리랭킹, 가드레일 등 여러 모델이 얽혀 돌아가는데, 애플리케이션마다 따로 GPU와 인프라를 얹어 구성하면 관리와 비용, 보안이 모두 폭증한다"고 지적했다. 

뉴타닉스는 에이전트와 툴까지 NAI 안에서 라이브러리 형태로 재사용하고 통제할 수 있도록 하는 기능을 개발 중이며, 이를 통해 에이전틱 AI의 전 과정을 하나의 플랫폼에서 운영하는 것이 목표라고 설명했다.

마이클 신 전무는 "AI 도입에서 중요한 것은 '최고 성능의 모델'을 찾는 것이 아니라 '우리 조직이 감당할 수 있는 단순한 구조와 운영 방식을 먼저 정하는 것'"이라고 강조했다. 

이어 "작게 시작하되 확장 가능한 인프라와, IT가 책임지고 운영하는 AI 플랫폼을 갖추는 것이 성공적인 AI 여정의 출발점"이라며 "뉴타닉스가 그 설계와 운영을 함께 고민하는 파트너가 되겠다"고 말했다.