"AI 비용·속도 혁신"…AWS, 차세대 울트라서버 출시

트레이니움3 기반…초대형 AI 훈련·추론 인프라 가속

아마존웹서비스(AWS)가 인공지능(AI) 컴퓨팅 수요에 대응하기 위해 개발 환경을 업그레이드했다.

AWS는 미국에서 열린 'AWS 리인벤트 2025'에서 트레이니움3 칩 기반 '아마존 EC2 Trn3 울트라서버'를 출시했다고 3일 밝혔다. 해당 서버는 AI 훈련과 추론 속도와 비용 문제를 해결하기 위한 목적으로 설계됐다. 

트레이니움3는 3나노미터 공정으로 제작돼 기존 대비 성능과 효율을 크게 개선했다. 특히 단일 서버에서 최대 144개 칩까지 확장됐다. 이 서버는 페타플롭스(FP)8 방식으로 1초에 362천조 번의 연산을 처리할 수 있다. 또 4배 낮은 지연 시간과 4배 향상된 에너지 효율성을 제공한다. AWS는 이를 통해 모델 훈련 기간을 몇 개월에서 몇 주로 단축할 수 있다고 설명했다.

AWS 로고. (사진=AWS)

오픈AI의 공개 가중치 모델 'GPT-OSS'로 테스트한 결과, 기존 트레이니움2 울트라서버 대비 칩당 처리량은 3배, 응답 속도는 4배 개선된 것으로 나타났다. 기업은 동일한 인프라 규모에서도 더 많은 사용자 요청을 처리하고, 추론 비용을 낮추며, 사용자 경험을 직접적으로 개선할 수 있다.

트레이니움3 성능 향상은 맞춤형 칩 구조와 데이터 이동 병목을 줄이는 메모리 시스템에서 비롯됐다. 또 이전 세대 대비 40% 높아진 에너지 효율성으로 대규모 배포 환경의 전력 부담을 줄이고, 데이터센터 운영 비용도 절감할 수 있다.

AWS는 네트워킹 시스템도 개선해 칩 간 통신 지연을 10마이크로초 미만으로 낮췄다. 새로운 '뉴런스위치-v1'과 '뉴런 패브릭' 구조는 대규모 분산 AI 워크로드의 병목을 최소화해 실시간 의사결정 AI, 에이전틱 시스템, 혼합 전문가(MoE) 모델 실행을 지원한다.

AI 컴퓨팅 인프라 확장을 위해 AWS는 'EC2 울트라클러스터 3.0'도 공개했다. 이 클러스터는 수천 대의 Trn3 울트라서버를 묶어 최대 100만 개 트레이니움 칩 구성이 가능하며, 이전 세대 대비 10배 규모로 파운데이션 모델 훈련을 지원한다. 이를 통해 수백만 명의 동시 추론 요청이나 초대형 멀티모달 데이터 학습도 가능해진다.

앤트로픽, 네토닷에이아이, 리코, 스플래시뮤직 등은 이미 트레이니움을 도입해 학습 및 추론 비용을 최대 50% 절감했다. AWS의 모델 서비스 '아마존 베드록'도 트레이니움3 기반으로 프로덕션 워크로드를 운영하며 안정성을 검증했다.

실시간 영상 생성 모델을 운영하는 AI 연구소 디카트는 트레이니움3로 그래픽처리장치(GPU) 대비 절반 비용으로 4배 빠르게 프레임을 생성하고 있다. 이는 대규모 실시간 인터랙티브 콘텐츠 구현에 적합한 성능 개선으로 평가된다.

AWS는 차세대 '트레이니움4' 개발에도 착수했다. 트레이니움4는 FP4 기준 최소 6배 처리 성능, FP8 성능 3배, 메모리 대역폭 4배 향상을 목표로 한다. 또 엔비디아 NV링크 퓨전을 지원해 GPU와 트레이니움 기반 서버를 동일 MGX 랙에서 혼합 운영하는 아키텍처도 준비 중이다.

AWS는 "트레이니움3는 고객이 이전에는 감당할 수 없었던 규모의 AI 프로젝트를 실현하는 기반을 제공한다"며 "아마존 베드록의 프로덕션 워크로드를 통해 그 성능과 안정성이 이미 입증됐다"고 밝혔다.