[AI는 지금] AT&T '1조 토큰' 돌린 MS…AI 인프라 경쟁, '비용'으로 이동

'오픈 텔코 2.0'에 오픈모델·이기종 GPU 적용…개발비 수천만 달러 절감

마이크로소프트가 AT&T와 손잡고 오픈모델과 이기종 그래픽처리장치(GPU)를 결합한 기업용 AI 인프라 전략을 강화하고 있다. 기업들의 AI 활용이 실험을 넘어 대규모 데이터 처리와 산업 특화 모델 개발로 확대되면서 모델 선택권과 비용 효율, 신속한 GPU 확보를 함께 제공하는 클라우드 플랫폼 경쟁에도 속도가 붙는 분위기다.

29일 업계에 따르면 마이크로소프트는 지난 23 공식 뉴스룸을 통해 AT&T가 자사 AI 개발 플랫폼 '마이크로소프트 파운드리'를 활용해 통신 특화 인공지능(AI) 모델 '오픈 텔코 2.0'을 개발한 사례를 공개했다. 오픈 텔코 2.0은 통신망과 국제 표준, 네트워크 운영 지식을 학습해 범용 거대언어모델(LLM)의 통신 분야 전문성을 보완한 모델이다.

AT&T는 특정 모델 하나에 의존하지 않고 작업별로 여러 오픈모델을 배치했다. 마이크로소프트의 '파이-4'는 데이터 정제와 합성 데이터 생성에, 'OSS-120B'는 고난도 추론에, 구글의 '젬마 4'는 모델 개발 전반에 활용했다. 파이-4가 처리한 데이터만 매달 7000억 토큰을 넘었다.

(이미지=마이크로소프트)

인프라도 단일 그래픽처리장치(GPU)에 묶지 않았다. AT&T는 마이크로소프트 파운드리의 관리형 컴퓨팅 서비스를 통해 GPU 약 530개를 사용했으며 이 가운데 430개를 AMD '인스팅트 MI300X'로 구성했다. AMD와 엔비디아 GPU를 함께 운용해 모델과 작업 특성에 따라 비용과 성능을 조정했다.

마이크로소프트는 관리형 인프라를 통해 GPU 확보와 모델 배포 기간도 수주에서 수일로 단축했다. 기업이 직접 서버를 구축·운영하는 부담을 줄여 데이터 준비와 모델 개발에 집중할 수 있도록 했다.

제프 부디에 허깅페이스 제품 담당 부사장은 "마이크로소프트 파운드리는 최신 오픈모델과 AMD·엔비디아 GPU를 한곳에 모아 기업이 적합한 모델과 하드웨어를 고른 뒤 수주가 아닌 수시간 안에 배포할 수 있도록 지원한다"고 말했다.

AT&T는 오픈 텔코 2.0 개발 과정에서 GSMA 문서와 합성 데이터를 포함해 약 1조 토큰을 처리했으며 이 가운데 약 4000억 토큰을 모델 학습에 사용했다. 마이크로소프트는 프런티어 모델 대신 파이-4 등 오픈모델로 합성 데이터를 생성해 수천만 달러를 절감했다고 밝혔다.

이번 사례는 기업용 AI의 비용 구조가 모델 이용료에만 머물지 않는다는 점도 드러냈다. 수천억 토큰을 처리하는 단계에선 GPU 조달과 배포 속도, 모델별 연산 효율, 인프라 운영 부담이 전체 사업비와 개발 기간을 좌우할 수 있어서다. 마이크로소프트는 여러 모델과 GPU를 하나의 플랫폼에서 운영하는 방식을 앞세워 대규모 AI 워크로드 수요를 공략할 계획이다.

마크 오스틴 AT&T 데이터사이언스·AI 담당 부사장은 "수천억 토큰을 처리하는 규모에서는 인프라 자체가 해결해야 할 과제가 된다"며 "파운드리 매니지드 컴퓨트를 통해 대규모 GPU 자원을 확보하면서 인프라 관리보다 오픈 텔코 2.0 개발에 집중할 수 있었다"고 밝혔다.