"온디바이스 AI, 뭐가 좋은데?"…퀄컴이 내놓은 답은

[스냅드래곤 서밋] 퀄컴, 온디바이스 AI 시대 통한 미래 변화상 제시

[하와이(미국)=장경윤 기자] 퀄컴이 개최한 '스냅드래곤 서밋 2023'의 최대 화두는 단연 '온디바이스 AI'다. 온디바이 AI는 서버 및 클라우드를 거치지 않고, 기기 자체에서 AI 기능을 구현하는 기술을 뜻한다.

퀄컴은 강력한 AI 성능을 구현하는 차세대 스냅드래곤 플랫폼을 소개하면서 온디바이스 AI가 지닌 장점을 지속 강조했다. 퀄컴에 따르면 온디바이스 AI는 기기 내에서만 데이터를 처리하기 때문에 속도 및 전력 효율성이 뛰어나다. 개인 혹은 회사의 민감한 정보를 클라우드에 보내지 않아 보안성도 높다.

다만 일반 IT 기기 사용자 입장에서는 온디바이스 AI의 효용을 쉽게 체감하기가 힘들다. 온디바이스 차세대 AI 기술 중 하나로서, 아직 보편화 단계에 오른 기술은 아니다.

이에 퀄컴은 25일(현지시간) 미국 하와이에서 '스냅드래곤 서밋 2023' 행사를 열고, 온디바이스 AI가 가져올 미래의 일상을 미리 체험해볼 수 있는 별도의 행사장을 마련했다.

비행기 모드인 스마트폰 내에서 구동된 AI 어시스턴트가 사용자의 질문에 답변하고 있다(사진=장경윤 기자)

---

비행기 모드로 AI에 '맛집' 물어보고, 주변 공기도 확인하고

---

퀄컴이 준비한 야외 행사장에는 비행기 모드 상태의 스마트폰이 거치돼 있었다. 

네트워크를 사용할 수 없는 환경이지만, 미국 메타의 차세대 대규모 언어모델(LLM) '라마(LLaMA 2)'를 기반으로 한 AI 어시스턴트는 사용자의 어떠한 질문에도 척척 답변을 내놨다.

기자는 AI 어시스턴트에 '한국에서 가봐야 할 최고의 장소가 어디인지' 물었다. AI 어시스턴트는 사용자의 육성을 텍스트로 변환하고, 이에 맞춰 서울, 제주, 부산 등 5곳의 추천 장소를 소개해줬다. 추천 이유도 간략히 덧붙였다.

퀄컴 관계자는 "해당 모델은 클라우드 상에 있던 라마 2 모델을 압축해 디바이스에 최적화된 방식으로 바꾼 것"이라며 "고성능 시스템반도체로 고용량 데이터를 빠르게 처리하기 때문에, 거의 모든 것에 대해 물어볼 수 있다"고 설명했다.

스마트폰 주변에 스프레이를 분사하자, 공기질이 곧 위험 단계로 변경됐다(사진=장경윤 기자)

사용자의 건강을 위한 온디바이스 AI 기능들도 즐비했다. 이 중 기자는 사용자 주변의 대기질을 실시간으로 면밀히 확인할 수 있는 '모바일피직스(mobilephysics)'를 직접 체험해봤다.

기존에는 대기질을 확인하기 위해 기상청 등이 발표한 각 지역별 현황 자료를 참고해야 했다. 그러나 모바일피직스를 활용하면, 지역별이 아닌 사용자의 바로 근처 대기질을 확인할 수 있다. 대기 오염 등 건강을 해칠 수 있는 상황에 더 잘 대처할 수 있게 된다는 뜻이다.

이는 스마트폰 내 센서가 주변 정보를 수집하고, 온디바이스 AI를 통해 대기질을 분석하고 결과를 도출해내기 때문에 가능하다. 나아가 이를 위치 정보와 결합하면, 사용자가 이동한 경로 내에서 대기질이 어떠했는지를 기록할 수도 있다.

이외에도 사용자의 신체 정보·운동 능력 등을 분석해 개인에 최적화된 운동 방법을 추천하거나, 카메라가 아닌 AI를 기반으로 이미지를 더 선명하게 확대하는 등 온디바이스 AI 기능을 확인할 수 있었다.

---

퀄컴, 차세대 스냅드래곤 플랫폼으로 온디바이스 AI 시대 준비

---

이러한 온디바이스 AI 기술들이 아직 낯설게 느껴지는 이유는, 그간 스마트폰·노트북 등에서 AI 기능을 완벽히 지원할 수 있는 성능이 뒷받침되지 못했기 때문이다. AI 기능은 방대한 양의 데이터를 매우 빠른 시간 내에 처리해야 하므로 고성능의 CPU와 GPU, NPU 등이 필요하다.

퀄컴이 스냅드래곤 서밋에서 온디바이스 AI를 강조한 이유도 여기에 있다. 퀄컴은 이번 행사에서 PC용 고성능 프로세서인 '스냅드래곤 X 엘리트', 모바일 AP(애플리케이션 프로세서)인 '스냅드래곤 8 3세대'를 공식 발표했다.

두 칩셋은 모두 AI 성능이 이전 세대, 경쟁사 제품 대비 크게 높아졌다. 퀄컴이 자체 개발한 오라이온 CPU 기반의 스냅드래곤 X 엘리트는 130억개 이상의 매개변수를 보유한 생성형 AI 모델을 온디바이스로 실행한다. 또한 경쟁사 제품 대비 4.5배 빠른 AI 처리 성능을 갖췄다.

스냅드래곤 8 3세대는 퀄컴 모바일 플랫폼 최초로 생성형 AI를 감안해 설계됐다. 생성형 AI란 텍스트, 이미지 등을 AI가 새롭게 만들어내는 기술이다. 이 칩셋은 100억개 이상의 매개변수를 보유한 온디바이스 AI를 지원한다.

알렉스 카투지안 퀄컴 수석부사장은 이번 행사에서 "지난 2017년 온디바이스 AI 구현을 위한 AI 엔진 도입을 시작으로, 퀄컴은 AI 관련 연구개발에서 많은 진전을 이뤄냈다"며 "그 결과 퀄컴 스냅드래곤 컴퓨팅에서의 NPU 성능이 지난 6년간 100배 증가했다"고 말하기도 했다.