정철호 퀄컴 상무 "온디바이스 AI 필요성, 멀티 모달에서 더 커질 것"

[디노 퓨처테크컨퍼런스] "모바일에서 XR까지 저전력·고성능 AI 보급"

"많은 기기가 AI 서비스를 원하지만 모든 처리를 클라우드에 맡기는 것은 불가능합니다. 현재 추세대로라면 오는 2030년에 전세계 전력 소비 중 약 3.5%가 AI에 투입되며 지연시간이나 처리 비용, 프라이버시 보호에도 한계가 있습니다."

10일 오후 서울 코엑스에서 진행된 '퓨처테크 컨퍼런스 2024' 행사에서 정철호 퀄컴코리아 상무가 이렇게 강조했다.

정철호 퀄컴코리아 상무. (사진=지디넷코리아)

퓨처테크 컨퍼런스 2024는 과학기술정보통신부 주최, 한국소프트웨어산업협회(KOSA) 주관으로 오는 12일까지 서울 강남구 삼성동 코엑스에서 열리는 '디지털 혁신 페스타(DINNO, 디노) 2024' 부대 행사로 기획됐다.

이날 정철호 상무는 "퀄컴은 모바일 분야를 시작으로 저전력·고성능 처리가 가능한 CPU와 GPU, NPU 등 컴퓨팅 기기를 개발해 왔고 이를 바탕으로 컴퓨터, XR 기기 등 다양한 기기에 온디바이스 AI 역량을 보급할 것"이라고 밝혔다.

■ "스마트폰서 시작한 AI, XR 글래스에서 완성"

정철호 상무는 "2019년 출시된 삼성전자 갤럭시S10 스마트폰은 카메라에 투입된 AI 기술이 이미지 보정 위주로 4개 들어가 있지만 5년 뒤 출시된 갤럭시S24는 사진 처리 모든 과정에 120여 개 모델을 투입하고 있다"고 설명했다.

삼성전자 갤럭시 폴더블 스마트폰 신제품에 스냅드래곤8 3세대가 전량 공급된다. (사진=퀄컴)

이어 "최근 윈도11 버전 24H2에 투입된 '리콜' 기능은 5초마다 작업 환경을 기록하는 방식으로 작동한다. 개인화된 정보를 다루므로 클라우드가 아닌 기기 내부에서 처리가 필요하다. 이 과정에서 NPU(신경망처리장치)를 활용하는 것"이라고 부연했다.

XR 글래스 활용 사례. (사진=지디넷코리아)

정철호 상무는 "음성, 이미지, 영상 처리로 시작한 AI는 몰입 경험을 주는 XR(혼합현실) 기반 제품으로 수렴할 것으로 보이는데 무게와 배터리 지속시간, 성능 등 여러가지 제약이 많다. 그러나 극도로 개인화된 경험을 제공하는 면에서 XR 제품이 AI 미래가 될 것"이라고 전망했다.

■ "스마트폰에서 100억 개 매개변수 모델도 자체 실행"

이날 정철호 상무는 "거대언어모델(LLM)이 다루는 매개변수(패러미터)는 최근 팽창했다 최적화 후 부피를 줄이는 과정을 반복하면서 성능이 향상되고 있다. 현재 매개변수 100억 개로 구성된 대부분의 모델로 일상생활에 필요한 각종 기능을 소화할 수 있게 됐다"고 소개했다.

퀄컴은 지난 4월 메타 라마3를 스냅드래곤 기반 기기에서 지원한다고 밝혔다. (사진=퀄컴)

이어 "지난 해 출시된 스냅드래곤8 3세대 등 모바일용 SoC는 매개변수 70억 개까지 처리 가능하며 향후 출시될 제품에서는 그 이상의 매개변수를 포함한 AI 모델을 클라우드 도움 없이 처리할 수 있다"고 설명했다.

정철호 상무는 ”퀄컴은 15년 전부터 이기종 컴퓨팅에 주력했다”고 밝혔다. (사진=지디넷코리아)

정 상무는 "스마트폰·태블릿 등 모바일 환경에서 시작해 스냅드래곤 X 엘리트/플러스 등 컴퓨팅, 스냅드래곤 디지털 섀시 등 자동차와 IoT(사물인터넷)까지 온디바이스 역량을 확대하는 것이 퀄컴의 목표"라고 강조했다.

■ "온디바이스 AI, 멀티 모달 환경서 중요성 ↑"

10여 년 전에는 음성이나 영상 처리를 위해 각 AI 기술이 따로 필요했다. 그러나 현재는 이용자와 텍스트, 음성이나 이미지 파일 등을 주고 받으며 작동하는 멀티 모달 형식 AI 모델이 주목받고 있다.

퀄컴이 지난 2월 MWC 2024에서 공개한 온디바이스 AI 모델 '라바'(LLaVA). (사진=퀄컴)

퀄컴은 올 초 진행된 MWC 2024 기간 중 70억 개 매개변수를 바탕으로 이용자와 다양한 방식으로 소통하는 '라바'(LLaVA)를 공개하기도 했다. 음식을 찍은 사진을 바탕으로 이용자와 텍스트로 이야기를 나누고 원하는 레시피를 제안하는 기능을 갖췄다.

정철호 상무는 "향후 출시되는 AI 모델은 음성과 이미지, 영상을 모두 처리하는 멀티 모달로 나아가고 있으며 구글 역시 이런 기술을 온디바이스 AI로 구현할 것이라고 밝혔다. 온디바이스 AI 중요성도 커질 것"이라고 설명했다.

■ "퀄컴, 15년 전부터 이기종 컴퓨팅에 주력"

현재 AI 관련 반도체로 가장 주목받는 것은 NPU다. 그러나 NPU만으로 모든 작업을 처리하는 데는 엄연히 한계가 있다. 지연 시간이 중요한 작업은 CPU가, 저전력 LLM/LVM(거대비전모델) 처리는 NPU가 담당한다.

정철호 상무는 ”퀄컴은 15년 전부터 이기종 컴퓨팅에 주력했다”고 밝혔다. (사진=지디넷코리아)

정철호 상무는 "AI 처리시 저전력으로 짧은 시간 안에 모든 작업을 처리하려면 SoC가 내장한 다양한 블록을 원하는 목표와 특성에 맞춰 활용하는 '이기종 컴퓨팅'이 반드시 필요하다. 퀄컴은 이미 15년 전부터 이런 기능을 연구해 왔다"고 설명했다.

이어 "최근 맞춤형 경험과 개인정보 보호, 기업 비밀 보호와 처리 비용 등에서 온디바이스 AI의 역할이 커지고 있다. 특히 자율주행은 지연시간이 늘어나면 긴급 상황에서 치명적이다. 퀄컴의 접근 방식은 온디바이스 AI에서 강점을 드러낼 것"이라고 덧붙였다.

■ '퀄컴 AI 허브'로 개발자 지원..."책임있는 AI 고려도 필요"

퀄컴은 지난 2월부터 온디바이스 AI 구현에 필요한 리소스와 도구, 서비스를 제공하는 웹사이트 '퀄컴 AI 허브'를 운영중이다. 미리 최적화된 100개 이상의 AI 모델을 제공해 AI 모델 통합과 테스트 등을 제공한다.

정철호 상무는 "이제 막 AI 모델을 이용해 응용프로그램을 개발하는 분들은 이해도 문제로 어려움을 겪기도 한다. 퀄컴 AI 허브는 스마트폰과 PC, 스마트워치 등 다양한 기기에 최적화된 모델을 제공해 이런 어려움을 덜어준다"고 밝혔다.

정철호 상무는 ”AI의 윤리적 활용 여부와 관련해 향후 '책임있는 AI' 요구 사항도 늘어날 것”이라고 전망했다. (사진=지디넷코리아)

최근 LLM 기반 생성 AI의 윤리나 저작권 등 문제도 대두되고 있는 상황이다. 정 상무는 "환각으로 인한 부정확하거나 해로운 답변 등 '책임있는 AI'에 대한 요구 사항이 커지고 있으며 기업 역시 AI 모델 활용시 이를 고려해야 할 것"이라고 조언했다.