메타와 마이크로소프트, 생성 AI 경쟁 지도 또 바뀐다

최신 오픈소스 LLM 라마2로 시장 구도 재편

메타가 대규모언어모델(LLM) '라마2(Llama)'를 상업용도로 사용가능한 오픈소스로 공개하면서, 마이크로소프트와 손을 잡았다. 마이크로소프트는 AI 생태계의 큰 축인 오픈소스 진영을 포섭함으로써 자칫 AI 생태계에서 고립될 위기를 벗어났다. 마이크로소프트와 오픈AI를 포위해 고립시키려던 아마존웹서비스(AWS)의 개방형 생태계 전략은 다소 김빠지는 모양새다.

메타는 지난 18일 라마2 언어모델을 공개하고 마이크로소프트 애저를 통해 사용할 수 있다고 발표했다. 해당 내용은 같은날 마이크로소프트의 연례 파트너 컨퍼런스 '인스파이어 2023' 기조연설에서도 소개됐다.

(사진=메타)

■ 라마2의 가능성, 생성 AI 서비스 폭증 기대

라마2는 라마1보다 40% 더 많은 데이터인 2조개 토큰을 학습했고, 콘텍스트 길이는 4천96으로 전보다 두배 늘었다. 미세 조정된 모델은 100만개 이상의 인간 주석으로 훈련됐다. 라마2는 추론, 코딩, 숙련도, 지식 테스트 등 다양한 벤치마크에서 타 오픈소스 대비 우월한 성능을 보였다.

라마2는 그와 별개로 이전버전과 달리 상업 용도로 쓸 수 있다는 점에서 혁신성을 갖는다. 원래 라마는 오픈소스지만 연구 목적으로만 이용가능했다. 학계와 개별 연구자는 라마를 개선하며 '알파카'를 비롯한 다양한 파생 LLM을 만들어왔다. 라마2를 통해 수많은 생성 AI 서비스가 쏟아질 것으로 기대되고 있다.

라마2는 매개변수 규모에 따라 세가지 버전으로 나왔다. 70억, 130억, 700억 등의 매개변수 규모를 원하는 사용 시나리오에 맞게 선택하고 미세조정해 쓸 수 있다.

라마는 특히 더 적은 매개변수 규모로 우수한 콘텐츠 생성 능력을 보인다는 장점을 가졌다. LLM은 방대한 GPU 인프라를 필요로 해 대형 클라우드 환경에서 구동돼야 한다는 게 통념인데, 라마1은 일반 디바이스에서도 LLM을 사용할 수 있다는 가능성을 열었다. 이에 '작은 대규모 언어 모델'이란 모순적으로 보이는 개념이 나왔다.

마이크로소프트는 라마2를 최적화해 윈도 PC 환경에서도 실행할 수 있게 했다고 밝혔다. 윈도 터미널, 리눅스용윈도서브시스템(WSL) 등과 결합해 활용가능하고 VS코드, ONNX 런타임, 고급 AI 도구 등을 활용한 로컬 AI 개발이 가능하다.

마이크로소프트는 시연에서 70억개 매개변수 버전의 라마2를 윈도 PC에서 ONNX 런타임과 다이렉트ML로 호출해 실행하는 모습을 보여줬다.

메타 라마2는 마이크로소프트 애저 AI 모델 카탈로그에서 사용할 수 있다. 애저 서비스의 콘텐츠 필터링, 안전 기능 등 클라우드 네이티브 도구를 사용해 라마2를 빌드할 수 있다.

라마2를 마이크로소프트 애저에서만 쓸 수 있는 건 아니다. 아마존웹서비스(AWS), 허깅페이스 등을 통해서도 사용가능하다.

■ '오픈AI=마이크로소프트' 공식 깨져

마이크로소프트와 메타의 라마2 발표는 지난 6개월 간 형성됐던 AI 생태계의 구도를 흔든다.

마이크로소프트는 오픈AI에 대규모 투자를 단행한 덕분에 GPT-4와 챗GPT 등의 모델에 우선 접근권을 갖고 있다. 마이크로소프트의 각종 코파일럿 시리즈가 지난 상반기 봇물 터지듯 쏟아질 수 있었던 이유다. 그러나 이는 마이크로소프트의 생성 AI 관련 서비스가 오픈AI에 종속되는 인상을 줬다. 마이크로소프트 애저가 다양한 LLM 개발회사와 오픈소스를 선택할 수 없는 협소한 옵션만 가진 것처럼 보였다.

AWS는 이 부분을 공략하는 '아마존 베드락' 서비스를 발표했다. 아마존 베드락은 기업의 LLM 기반 애플리케이션을 쉽게 구축, 운영하게 하는 매니지드 서비스다. 파운데이션모델을 AWS 자체개발 모델인 '타이탄' 외에 앤트로픽의 '클로드', 스태빌리티AI의 '스테이블디퓨전', AI21랩스의 '쥬라식2' 등 다양한 모델 중에서 선택할 수 있다. 텍스트 생성 및 요약, 이미지 생성, 개인화 등 다양한 시나리오에 맞게 가장 적합한 파운데이션 모델을 고르면 된다. 기존의 아마존 세이지메이커 등 AWS 도구와 함께 대규모 생성 AI 시스템을 인프라 관리 부담 없이 구축, 운영할 수 있다.

아마존 베드록.(사진=아마존 블로그)

지난 반년동안 AI 생태계는 마이크로소프트-오픈AI 연합, 구글, 오픈소스 진영 등 3대 축의 경쟁구도를 형성했다. 메타는 오픈소스 진영을 대표했다. AWS는 한발 떨어져 여러 AI 모델 스타트업을 규합했다.

구글은 PaLM2란 트랜스포머 모델과 바드란 대화형 AI를 발표하며 오픈AI에 맞불을 놓고, 구글클라우드의 버텍스AI란 생성 AI 구축 서비스로 마이크로소프트 애저에 대항했다. 구글클라우드는 버텍스 AI의 '모델 가든'에서 다양한 AI 모델을 선택하게 하는데 현재 PaLM을 비롯한 자사 모델 위주로 구성했다. 외부 모델의 지원이 예정됐지만, 구글이 최근 오픈소스에 거부감을 보이고 있어 확실하지 않다.

마이크로소프트의 지원을 받는 오픈AI와 구글의 질주 속에 연초 AI 학계는 큰 좌절감에 빠졌다. 막대한 자본력을 앞세운 거물들의 경쟁 속에 연구자와 오픈소스 개발자들은 감당할 수 없는 인프라 비용과 인력 부담 때문에 프로젝트를 유지할 의욕을 잃었다. 그러다 3월 메타가 라마1을 공개하면서 사그라들었던 오픈소스진영과 학계에 연료를 주입했다.

메타는 라마2를 공개하면서 마이크로소프트를 우선 파트너로 지칭해 양사의 돈독한 관계를 강조했다.

메타와 마이크로소프트는 일찌부터 우호적 관계를 쌓아왔다. 두 회사는 구글과 경쟁하기 위해 자주 손을 맞잡았다.

마이크로소프트는 메타버스 전략에서 협력하고 있다. AI 분야도 매우 긴밀했다. 메타와 마이크로소프트는 ONNX 형식을 함께 개발했으며, AI 연구 논문 다수를 공동 집필했다. 메타가 만든 AI 프레임워크 '파이토치'를 애저에서 제공하며, 마이크로소프트는 파이토치재단 창립 멤버로 참여했다. 참고로 두 회사의 창업자는 하버드대학교 동문으로 개인적 친분을 갖고 있다.

라마2가 마이크로소프트 독점으로 제공되는 건 아니지만, 어쨋든 마이크로소프트는 오픈AI 종속이란 이미지에서 벗어날 수 있게 됐다. 점차 오픈AI와 경쟁과 협력이란 아슬아슬한 관계로 전이되는 와중에 개방성이란 이미지를 얻게 된 것이다.

사티아 나델라 마이크로소프트 CEO는 인스파이어 2023에서 메타와 라마2 파트너십을 직접 발표했다.

사티아 나델라 마이크로소프트 회장 겸 최고경영자(CEO)는 "메타의 라마2는 애저와 윈도 모두에 제공된다"며 "메타는 개방형 모델을 혁신하는 경이로운 작업을 수행해왔으며, 라마는 오픈소스와 AI 파운데이션 모델로 할 수 있는 일에 대한 상상력을 실제로 포착했다"고 말했다.

그는 "라마2를 사용해 다음 단계로 이동하고 있으며, 이 모든 것을 애저 모두에 가져올 것"이라며 "개발자는 오픈AI의 프론티어 모델과 오픈소스에서 사용할 수 있는 모델 모두를 활용해 모든 소프트웨어 범주를 변환할 수 있다"고 강조했다.

이같은 움직임은 5월 개발자 행사 '마이크로소프트 빌드2023'에서도 나타났다. 마이크로소프트는 기업자체적으로 코파일럿을 구축할 수 있는 '코파일럿 스택'이란 걸 선보였는데, 여기서 파운데이션 모델로 오픈AI 외에 여러 오픈소스와 서드파티 모델을 사용할 수 있다고 밝혔었다. 애저에 생성 AI를 구축하는 통합 도구인 '애저 AI 스튜디오'는 '애저 AI 카탈로그'에서 다양한 모델을 고를 수 있게 했다.

메타와 마이크로소프트가 협력하면서, AWS의 아마존 베드락은 정식 출시 전에 김빠진 모양새다. 명확한 대비 구도에서 마이크로소프트와 AWS의 구분선이 흐려졌기 때문이다. 이렇게 되면 '오픈AI만 쓰는게 싫다면 AWS를 선택하라'는 메시지를 활용할 수 없게 된다. 다시 서비스 자체 경쟁력으로 승부해야 한다.

오히려 구글이 고립되는 상황이다. 그동안 AI 기술 관련해 혁신적 기술을 선보였던 연구논문 공개도 제한하고, 딥마인드를 위시해 자체 AI 모델 개발에서 절대자로서 우월성을 되찾으려는 노력이 진행되고 있다. 구글의 발표에서 생태계를 뒤흔드는 AI 파트너십 내용은 자취를 감췄다.

챗GPT 등장 후 촉발된 생성 AI 경쟁은 역대급 속도의 변화를 보이고 있다. 반년 사이 많은 일이 벌어졌다. 구도가 수시로 바뀐다. 또 어느 기업이 합종연횡을 이끌어내며 구도를 흔들지 모를 일이다. 애플의 LLM 개발 소식이 최근 전해졌다. 신경 곤두세우고 AI 생태계에 주목해야 하는 이유다.