[현장] "연산은 빠르게, 정보는 안전하게"…주목받는 '온디바이스 AI'

산업교육연구소, 온디바이스 AI 전문 세미나 개최…산업 현장 최적화 기술로 부상

최근 인공지능(AI) 기술이 클라우드 기반을 넘어 기기 내에서 직접 학습과 추론을 수행하는 온디바이스 AI로 빠르게 진화하고 있다. 정부 역시 AI 분야의 연구개발(R&D)과 기술 지원을 강화하는 가운데 이런 흐름을 반영한 기술 전문 세미나가 열렸다.

산업교육연구소는 23일 서울 구로구에 위치한 연구소에서 '최신 온디바이스 AI 신기술 개발과 실증 사례 및 주요 이슈 세미나'를 개최하고 기기 내에서 생성형 AI를 효율적으로 구현하기 위한 국내외 R&D 현황을 공유했다.

이번 세미나에서는 온디바이스 AI 기반의 최신 기술 동향부터 모빌리티·휴머노이드·국방 등 분야별 적용 사례가 발표됐다.

한국전자기술연구원 이석준 선임 (사진=한정호 기자)

이날 첫 연사를 맡은 한국전자기술연구원 이석준 선임은 온디바이스 AI의 필요성과 구현 방안을 하드웨어·소프트웨어·모델 세 가지 축으로 나눠 설명했다. 특히 최근 화두가 된 생성형 AI 모델과 온디바이스 환경의 접점을 중심으로 기술적 과제와 최적화 전략을 소개했다.

이석준 선임은 "온디바이스 AI가 주목받는 이유는 명확한데 대용량 데이터의 실시간 처리, 개인정보보호, 네트워크 의존도 감소 등 기존 클라우드 기반 AI가 지닌 한계를 보완하기 때문"이라며 "특히 자율주행차· 드론·스마트팩토리 등 미세한 지연도 치명적인 산업 현장에서 온디바이스 AI가 실질적 대안이 될 수 있다"고 말했다.

이어 그는 생성형 AI 모델의 온디바이스 실행을 위한 기술적 난제들을 짚었다. 생성형 AI는 입력 길이가 가변적이고 연산량이 크기 때문에 기존의 딥러닝 방식인 'CNN' 기반 AI에 비해 더 많은 메모리와 연산 리소스를 요구한다. 이로 인해 기존의 신경망처리장치(NPU) 구조만으로는 효율적인 처리가 어렵다는 설명이다.

이를 극복하기 위한 방안으로 이 선임은 모델 경량화 방법인 가지치기·양자화·지식증류와 어텐션 최적화, 아키텍처 효율화 기법을 소개했다.

이 선임은 "80억개 미만 파라미터를 갖는 경량 모델이 온디바이스 생성형 AI의 현실적 타깃"이라며 "모델을 작게 만들되 정확도를 유지하기 위한 다양한 시도가 이어지고 있다"고 설명했다.

아울러 그는 국내외 온디바이스 AI 업체들의 기술 동향도 발표했다. 삼성전자는 갤럭시S 시리즈에 구글 제미나이 나노와 이미지 생성 모델을 탑재하며 모바일 온디바이스 AI 구현을 선도하고 있다.

딥엑스·모빌린트·오픈엣지테크놀로지 등 국내 스타트업들도 엣지 환경을 고려한 초저전력 NPU 및 시스템 온 칩(SoC)을 개발 중이다.

해외에서는 애플·퀄컴·미디어텍·NXP·헤일로 등이 스마트폰과 임베디드 기기를 겨냥한 고성능 AI 가속기를 선보이고 있다. 이 중 헤일로는 실제 구매 가능한 온디바이스 생성형 AI용 NPU 제품을 출시하며 주목받았다.

온디바이스 실행이 가능한 경량 언어·멀티모달 모델들도 다양하게 소개됐다. ▲메타의 라마3-8B ▲마이크로소프트의 파이-4-미니 ▲미스트랄AI의 미스트랄-7B 등 텍스트 전용 모델은 물론, 이미지와 음성까지 처리 가능한 ▲허깅페이스의 스몰VLM2 ▲구글의 젬마 3n ▲알리바바의 큐원2.5 옴니 등도 언급됐다.

이 선임은 "온디바이스 생성형 AI는 단순히 연산을 줄이는 기술이 아니라 산업 현장에서 비정형 상황을 이해하고 대응할 수 있는 게 핵심 역량"이라며 "미래의 IoT와 스마트 기기가 사람처럼 적응하고 판단하기 위해 반드시 넘어야 할 기술적 관문"이라고 강조했다.