[하와이(미국)=권봉석 기자] "퀄컴은 자체 AI 모델을 제작하지 않지만 AI 인프라와 소프트웨어 라이브러리를 제공하여 다양한 AI 제품 개발을 지원하고 있다. 기기 제조사, 개발자, 그리고 모델 제작자와 협업으로 스냅드래곤 디바이스에서 AI 모델을 최적화하는 것이 퀄컴의 전략이다."
미국 하와이에서 진행중인 퀄컴 연례 기술행사 '스냅드래곤 서밋 2024' 첫 날인 21일 오후(미국 현지시간) 국내 기자단과 만난 비네쉬 수쿠마(Vinesh Sukumar) 퀄컴 제품 담당 시니어 디렉터가 이렇게 소개했다.
현재 퀄컴은 메타와 오픈AI 등과 협력해 스냅드래곤 디바이스에서 AI 모델 성능을 최적화하고 있다. 또 스마트폰, PC, 자동차 등 다양한 기기에서의 AI 모델 최적화뿐만 아니라, 책임있는 AI를 통해 데이터 관리와 사용자 프라이버시 보호도 추진중이다.
이날 비네쉬 수쿠마 디렉터는 "여러 회사와 협업을 통해 기존 모델의 성능 최적화는 물론 멀티모달 AI와 같은 향후 기술에도 대비하고 있다"고 밝혔다.
■ 퀄컴 AI 허브와 오케스트라로 AI 모델 배포 간소화
퀄컴은 개발자들의 AI 모델 배포를 간소화하기 위해 올해 3월부터 '퀄컴 AI 허브'를 운영중이다. AI 허브는 개발자들이 최소한의 코드로 스냅드래곤 SoC에서 작동하는 AI 모델을 쉽게 배포할 수 있도록 돕고 있으며, 윈도우, 안드로이드, 리눅스 등 주요 운영체제를 모두 지원한다.
비네쉬 수쿠마 디렉터는 "퀄컴은 도메인별 소형 언어 모델(SLM)을 위한 AI 오케스트라도 제공한다. AI 오케스트라는 특정 도메인에 적합한 소형 언어 모델을 최적화하여 다양한 용도로 활용할 수 있게 하며, 필요에 따라 더 큰 모델을 사용할 수도 있다"고 설명했다.
퀄컴은 AI 어시스턴트 기술에서도 멀티모달 AI의 발전을 기대하고 있다. 멀티모달 AI는 비전, 자연어 처리 등 여러 모달리티를 결합하여 사용자의 제스처와 음성 명령을 동시에 이해할 수 있도록 한다.
비네쉬 수쿠마 디렉터는 자동차 환경을 예로 멀티모달 AI의 역할을 다음과 같이 설명했다. "자동차 내 AI 비서는 운전 중인 사람에게 경고등의 의미를 설명하거나, 장거리 운전 시 디스플레이를 활용해 단조로운 주위 환경을 보다 다채로운 환경으로 생성할 수 있다."
■ "다양한 정밀도 지원해 LLM 성능 극대화"
퀄컴은 AI 모델이 다루는 데이터의 정밀도와 관련해 다양한 데이터 표현 방식을 지원하고 있다. 예를 들어 메모리 제약이 있는 디바이스에서는 4비트 정수(INT4)를 사용하여 효율성을 높이는 방식이다.
비네쉬 수쿠마 디렉터는 "퀄컴은 메모리 대역 개선을 위해 LPDDR5X 메모리를 지원하고 있으며, 이는 초기 토큰 생성 속도와 분당 토큰 생성 속도에 큰 영향을 준다"고 밝혔다.
관련기사
- 퀄컴 아몬 CEO "노태문 사장 만나 '위대한 이야기' 나눴다"2024.10.22
- 퀄컴 "오라이온 2세대 CPU, 모바일서 데스크톱 성능 구현"2024.10.22
- 퀄컴 "인간과 공감하는 'AI 에이전트' 시대 온다"2024.10.22
- 퀄컴, 오라이온 CPU 품은 스냅드래곤8 엘리트 공개2024.10.22
■ "AI의 윤리적 활용과 책임있는 AI도 주요 관심사"
퀄컴은 각종 AI 기술 개발과 함께 책임있는 AI에도 중점을 두고 있다. 데이터 관리, 편향 제거, 사용자 프라이버시와 보안을 포함한 윤리적 AI 배포를 위해 규제 기관과 협력하고 있다.
비네쉬 수쿠마 디렉터는 "퀄컴은 지난 15년간 AI에 투자해 왔으며, 사용자의 경험을 개선하고 엣지 컴퓨팅을 통해 보다 나은 경험을 제공할 것이다. 또 책임있는 AI를 위해 지속적으로 노력할 것"이라고 밝혔다.
