AWS-앤트로픽, AI 협력 더 확장…베드락 업그레이드로 시장 공략

[라스베이거스(미국)=김미정 기자] "지금은 '인공지능(AI) 에이전트' 시대입니다. 그만큼 AI 모델 추론·토큰 생성 속도가 중요해진 시점입니다. 이는 기업 요구사항이기도 합니다. '아마존 베드락'은 이에 발맞춰 AI 모델 훈련·추론 시간을 기존보다 획기적으로 줄여줍니다."

AWS 피터 드산티스 유틸리티 컴퓨팅 수석 부사장은 2일(현지시간) 미국 라스베이거스에서 열린 'AWS 리인벤트' 개막식 '먼데이 나이트 라이브(Monday Night Live)' 행사에서 아마존 베드락 기능 업그레이드를 발표하며 이같이 밝혔다. 앤트로픽과 협력 확대를 통해 고성능·고비용 AI 모델을 구축하겠다는 점도 알렸다.

드산티스 부사장은 최근 고객이 원하는 AI 인프라 형태가 변했다고 주장했다. 최근 'AI 에이전트' 시대가 본격화하면서 AI 모델이 '에이전틱 워크플로'에 사용되는 추세이기 때문이다. 이 경우 AI가 다음 작업 단계로 넘어가기 전 모든 응답을 생성해야 한다. 그래야 모든 업무를 스스로 처리할 수 있는 에이전트 역할을 할 수 있기 때문이다. 이에 기업은 AI 모델이 빠른 추론 능력과 신속한 토큰 생성을 원하게 됐다.

드산티스 부사장은 "빠른 추론은 많은 컴퓨팅 자원이 필요하고 신속한 토큰 생성은 더 많은 메모리 대역폭이 필수"라며 "해당 작업은 동시에 진행돼야 한다"고 설명했다. 이어 "두 작업을 같은 강력한 AI 서버에서 실행한다면 AI 모델은 뛰어난 성능과 효율성을 달성할 것"이라고 내다봤다.

이에 AWS는 아마존 베드락에 '지연 시간 최적화' 기능을 추가했다. 아마존 베드락은 최신 AI 하드웨어(HW)와 기타 소프트웨어(SW) 최적화로 AI 모델 추론 시간을 획기적으로 줄일 수 있다. 현재 아마존 베드록 내 일부 모델만 프리뷰 형태로 제공되고 있다.

그는 대표적 예시로 메타 '라마' 모델 4천50억 파라미터(405B)와 700억 파라미터(70B)를 제시했다. 해당 모델은 신규 기능을 통해 아마존 베드록에서 기존보다 더 빠른 추론 성능을 보인다는 설명이다.

드산티스 부사장은 "사용자가 아마존 베드락 내에서 해당 모델 요청 처리·응답 생성에 걸리는 시간은 다른 제공업체보다 훨씬 낮은 지연 시간을 제공한다"고 강조했다.

이날 앤트로픽은 아마존 베드락 내 클로드 3.5 하이쿠에도 지연 시간 최적화 버전을 적용했다고 발표했다. 기존 클로드 3.5 하이쿠보다 속도를 60% 개선했다.

앤트로픽 톰 브라운 공동창립자 겸 최고컴퓨팅책임자(CCO)는 "클로드 3.5 하이쿠는 작지만 강력한 성능을 자랑하는 최신 모델"이라며 "같은 성능을 15배 적은 비용으로 제공한다"고 강조했다.

브라운 COO는 AWS의 트레니움2를 활용해 해당 모델에 지연 최적화 모델을 구축했다고 밝혔다. 기업이나 개발자는 아마존 베드록 내 API를 통해 요청만 하면 새로운 트레니움2 서버를 통해 해당 기능을 이용할 수 있다.

그는 "사용자는 하이쿠를 기존보다 60% 더 빠르게 실행할 수 있다"며 "이를 위해 별도 SW를 내려받거나 특정 작업을 할 필요도 없다"고 덧붙였다.

AWS-앤트로픽, '프로젝트 레이니어'로 협력 확장

이날 AWS와 앤트로픽은 추론만으로도 AI 모델 스펙을 올리는 건 충분치 않다고 했다. 최상의 성능을 얻으려면 추론뿐 아니라 훈련도 효율적으로 해야 한다는 이유에서다.

이에 두 기업은 새 클러스터 '프로젝트 레이니어'를 발표했다. 프로젝트 레이니어는 AI 모델 훈련에 특화된 대규모 컴퓨팅 인프라다. 수십만 개 트레니움2 칩으로 구성됐다. 기존 클러스터보다 5배 이상 강력한 성능을 제공한다.

브라운 COO는 기존 클러스터로 이룬 성과를 설명했다. 올 초 앤트로픽은 '클로드 3 오푸스'를 출시했다. 4개월 후 오푸스 버전보다 더 높은 성능과 낮은 비용을 갖춘 '클로드 3.5 소네트'를 공개했다. 최근 한 달 새 클로드 3.5 하이쿠와 해당 모델 업그레이드 버전을 연달아 공개했다.

이에 앤트로픽은 트레니움2로 이뤄진 프로젝트 레이어를 통해 새 모델을 훈련할 방침이다. 그는 "프로젝트 레이니어 클러스터는 개발 속도를 더 올릴 것"이라고 강조했다.

일각에서는 아마존이 구글과 마이크로소프트, 오픈AI 등 빅테크와 생성형 AI 경쟁 격차를 따라잡기 위한 전략으로 분석하고 있다. 현재 구글은 자체 생성형 멀티모달 모델 '제미나이'로 자체 서비스를 운영 중이다. 마이크로소프트는 오픈AI에 전략적 투자를 통해 자사 솔루션에 GPT 시리즈를 탑재해 사업하고 있다.