퀄컴 "온디바이스 AI, LLM 경량화로 중요성 더 커질 것"

[스냅드래곤 서밋] 두르가 말라디 "다양한 AI 모델 활용하는 에이전트, 경험 개선의 핵심"

[하와이(미국)=권봉석 기자] 두르가 말라디(Durga Maladi) 퀄컴 기술기획·엣지 솔루션 부문 본부장(수석부사장)이 24일 오전(한국시간 23일) 미국 하와이에서 진행중인 연례 기술행사 '스냅드래곤 서밋 2024'에서 온디바이스 AI의 중요성을 강조했다.

스냅드래곤 서밋 2024 마지막 날 오전 진행된 'AI 토크' 행사에서 두르가 말라디 본부장은 "AI 관련 기술이 엣지 컴퓨팅으로 전환하며 중요한 변곡점을 맞았으며 AI 관련 처리를 클라우드가 아닌 기기상에서 처리할 때 이점이 더 크다"고 밝혔다.

두르가 말라디(Durga Maladi) 퀄컴 기술기획·엣지 솔루션 부문 본부장(수석부사장) (사진=지디넷코리아)

두르가 말라디 본부장은 "지연시간 감소로 인한 응답 시간 개선, 개인정보 보호, 전력 효율성 면에서 온디바이스 AI가 훨씬 효율적이며 환경적인 면에서도 훨씬 효율적"이라고 설명했다.

그는 이어 "2000년대 초반 컴퓨터보다 현재 스마트폰·태블릿이 성능 면에서 더 뛰어나며 같은 기능을 처리하는 데 필요한 에너지 소비량 역시 적다. 퀄컴 스냅드래곤 플랫폼 역시 데이터센터 대비 에너지 효율 면에서 30배 이상 앞선다"고 말했다.

두르가 말라디 본부장은 이날 AI 모델 성능의 품질과 성능 개선이 패러미터 수와 정비례하지 않으며 오히려 시간이 지날수록 크기는 줄고 성능이 높아지는 방향으로 가고 있다고 소개했다.

이는 다양한 LLM 구동시 클라우드에 의존하던 과거와 달리 기기상에서 직접 실행할 수 있는 방향으로 나아갈 것임을 의미하는 발언이다.

그는 "2년 전 등장한 챗GPT는 1천750억 개 매개변수 기반 'GPT-3'를 이용했다. 그러나 올해 6월 공개된 메타 최신 모델 '라마3'(Llama 3)는 상대적으로 적은 80억 개 매개변수로 GPT-3 대비 더 나은 성능을 낸다"고 설명했다.

음성, 사진, 텍스트 등 멀티모달 AI를 활용한 AI 에이전트의 구현 예시. (사진=지디넷코리아)

두르가 말라디 본부장은 향후 스마트폰 경험을 바꿀 'AI 에이전트'도 소개했다. AI 에이전트는 용도에 맞는 다양한 AI 모델을 관리하며 로컬 기기에 있는 개인 데이터를 활용해 더욱 맞춤화된 응답을 제공한다.

두르가 말라디 본부장은 "AI 에이전트는 이용자와 기기의 상호작용 출발점이며 온디바이스 AI를 기반으로 필요에 따라 클라우드에 있는 정보를 참조해 연산 성능 제약이 있는 휴대용 기기에서 AI 처리 효율을 높이고 더 나은 경험을 제공할 것"이라고 밝혔다.