"온디바이스 AI 산업은 지금이 '골든 타임'으로, 한국에서도 5년 내에 글로벌 경쟁력을 갖춘 AI 반도체와 소프트웨를 상용화할 수 있는 기업들을 키워내야 한다. 이를 위해 정부에서도 수요기업·팹리스·파운드리 간 연계를 통해 온디바이스 AI 반도체 생태계를 구축하기 위한 과제를 추진 중이다."
김용석 가천대학 반도체대학 석좌교수 겸 AI반도체 M.AX 얼라이언스 위원장은 최근 지디넷코리아와의 인터뷰에서 국내 온디바이스 AI의 발전 방향 및 전략에 대해 이같이 밝혔다.

김 교수는 지난 1983년 삼성전자 종합연구소에 입사해 약 30년간 엔지니어로 근무한 시스템반도체 전문가다. TV·오디오·통신기기용 ASIC(주문형반도체)를 개발했으며, 초기 갤럭시 스마트폰의 소프트웨어 개발 등을 담당한 바 있다.
김 교수가 지목한 국내 반도체 산업의 차세대 성장동력은 온디바이스 AI다. 온디바이스 AI는 서버 및 클라우드를 거치지 않고 기기 자체에서 AI 기능을 구현하는 기술이다. 글로벌 시장조사에 따르면, 글로벌 온디바이스 AI 반도체 시장은 지난해 기준 173억달러 수준이다. AX가 확산되면서 2030년께엔 1천33억까지 시장이 커질 것으로 분석된다.
김 교수는 "온디바이스 AI 산업은 이제 막 시작한 단계로, 스마트폰·가전·자동차·로봇 등 거의 모든 산업에 걸쳐 확산될 잠재력을 지니고 있다"며 "지금이 바로 골든 타임으로, 앞으로 5년 기간이 매우 중요한 시기라고 본다"고 강조했다.
이에 김 교수는 산업통상자원부가 추진 중인 ‘K-온디바이스 AI 반도체 기술개발’ 사업 총괄위원장을 맡아 국내 생태계 조성에 힘쓰고 있다. 또한 지난달 산업부가 출범시킨 'M.AX 얼라이언스’ 내 AI반도체 분야 위원장직에도 올랐다.
M.AX 얼라이언스는 제조 AI의 본격적인 실행을 위해 지난달 산업부에서 출범한 초대형 협의체다. AI 반도체를 비롯해 총 10개의 분야로 나뉘며, 삼성전자·LG전자·현대차 등 주요 기업과 연구 기관 등 총 1천여곳이 참여했다.
AI 반도체 얼라이언스의 경우, 4대 분야(자동차, IoT·가전, 기계·로봇, 방산)를 목표로 2026년부터 과제에 착수해 오는 2028년 국산 AI 반도체 시제품을 내놓는 것이 목표다. 나아가 오는 2030년까지는 AI 반도체 10종의 개발을 완료할 계획이다.
김 교수는 "오랜 기간 준비해 왔던 K-온디바이스 AI 과제가 AI 반도체 얼라이언스의 중심 역할을 하게 될 것"이라며 "또한 M.AX 얼라이언스 내 주행차·AI가전·휴머노이드·AI방산 등 타 분야와의 연계 및 협업을 강화해야 할 것"이라고 말했다.
K-온디바이스 AI 반도체 돌파구는 '맞춤형 칩'
온디바이스 AI 반도체는 스마트폰·자동차·로봇 등 개별 기기 내부에서 작동해야 하기 때문에 전력과 발열, 용량 등 전반에서 제약이 크다. 이 경우 외부의 범용 칩으로는 최적의 성과를 내기 어렵고, 가격 역시 비싸다는 단점이 있다.
이에 김 교수는 각 제품의 특성을 고려한 맞춤형 칩이 온디바이스 AI 산업에 필수적이라고 보고 있다. 그는 "스마트폰은 발열, 자동차는 안정성, IoT는 초저전력 등 제품별로 요구조건이 달라 맞춤형으로 SoC(시스템온칩) 설계가 이뤄져야 한다"고 말했다.
실제로 K-온디바이스 AI 반도체 과제는 국내 대형 시스템 기업(LG전자, 현대차, 두산로보틱스 등)-팹리스-파운드리(삼성)로 이어지는 생태계 만들고, 밀접한 협업구도의 얼라이언스를 통해 개발을 진행하고 있다.
칩도 중요하지만…시스템 소프트웨어 개발에 더 비중 둬야
온디바이스 AI는 전력 효율과 성능 최적화가 무엇보다 중요하다. 김 교수는 이러한 조건을 만족시키기 위해서는 칩 설계 상위 단계에서의 '아키텍처' 설계가 필요하다고 내다봤다. AI 모델을 칩 구조에 맞게 변환하고 최적화하는 컴파일러, 런타임 소프트웨어 등이 사실상 칩의 성능을 결정짓는 요소로 작용하기 때문이다.
김 교수는 "칩 외에 소프트웨어와 SDK(소프트웨어개발키트), AI모델 및 프레임워크 등이 모두 유기적으로 개발돼야 한다"며 "칩에서 구동되는 AI 모델이 효율적으로 경량화되고, 그 모델을 쉽게 구현할 수 있는 개발 프레임워크와 SDK가 갖춰져야 온디바이스 AI를 제대로 구현할 수 있을 것"이라고 설명했다.
결과적으로 온디바이스 AI 개발에는 칩 설계자와 ML 엔지니어간의 밀접한 협력이 요구될 것으로 관측된다.
김 교수는 "온디바이스 AI 전체 개발 비중을 100으로 놓자면, 칩은 40 정도가 될 것"이라며 "AI 모델과 컴파일러, SDK, 시스템 소프트웨어 등 통합 소프트웨어 개발은 60 정도로 비중이 더 커야 한다"고 덧붙였다.

온디바이스 AI, 앞으로 5년이 중요…中 넘어서야
김 교수는 향후 5년이 온디바이스 AI 개발에 있어 가장 중요한 시기가 될 것으로 전망했다.
이에 맞춰 ▲공급사들은 글로벌 경쟁력과 호환성을 갖춘 AI 반도체 및 소프트웨어를 개발하고 ▲수요 기업은 3~5년을 내다볼 수 있는 칩 기획능력을 갖춰야 함을 강조했다. 또한 ▲대학은 AI 인재 육성 ▲정부는 AI 팹리스와 파운데이션 AI 모델 기업, 소프트웨어 기업 육성 및 개발 생태계 조성에 앞장서야 한다고 내다 봤다.
김 교수는 "M.AX 얼라이언스를 구호에 그치지 않게 만들고, 온디바이스 AI 반도체를 중심으로 한 협력 생태계를 실질적으로 작동시키는 게 중요하다"며 "계획은 구체적이어야 하고, 온 힘을 다해서 실천해야 한다"고 말했다.

국내 팹리스 기업들이 넘어서야 할 목표로는 중국 호라이즌 로보틱스를 제시했다. 지난 2015년 설립된 호라이즌 로보틱스는 첨단운전자보조시스템(ADAS)과 자율주행용 칩을 개발하고 있다. BYD를 비롯해 리오토·니오·체리자동차·지리자동차 등 중국 10대 완성차 기업에 솔루션을 공급하고 있으며, 중국 시장에 진출한 티어(Tier)-1 공급사와도 협력 중이다.
호라이즌 로보틱스는 단순히 NPU(신경망처리장치)를 만드는 데 그치지 않고, 자체 SDK와 AI 프레임워크를 고객사에 함께 제공한다는 점에서 차별화를 이뤄냈다. 현지 완성차 기업과 공동 개발을 통해 실제 차량 환경에서 칩의 성능을 검증하는 등 고객사에 최적화된 제품을 개발한다는 점도 성공 요인 중 하나다.
김 교수는 "이번 K-온디바이스 AI 과제도 호라이즌 로보틱스의 사례처럼 팹리스와 시스템 기업과 함께 성장하는 파트너형 구조를 만드는 데 중점을 두고자 한다"며 "호라이즌 로보틱스는 국내 팹리스가 넘어야할 기업으로서, 한국에서 최고의 자동차용 전문 팹리스가 탄생돼야 한다"고 설명했다.
K-온디바이스 생태계 조성에 1조원 투입…삼성 파운드리 적극 고려
정부는 이번 K-온디바이스 AI 반도체 개발에 총 9천973억원의 사업비를 조성했다. 국비 6천891억5천만원, 시스템 수요 기업들의 3천81억5천만으로 구성됐다.
김 교수는 "4대 분야별 수요 기업들이 적합한 팹리스와 소프트웨어 기업을 선정하는 일을 진행할 예정으로, 파운드리는 삼성전자를 적극 고려중"이라며 "삼성전자는 팹리스와 업무협약을 체결해 시제품 제작 비용 일부를 분담하고, 양산 일정도 우선 배정할 계획"이라고 설명했다.
관련기사
- 산업부, K-온디바이스 AI반도체 생태계 구축 위한 포럼 개최2025.09.30
- 정진욱 의원실, GR코리아와 '온디바이스 AI 정책간담회' 개최2025.09.29
- SK하이닉스 "PIM, 온디바이스 AI 타고 엣지 시장서 뜬다"2025.08.12
- 정신아 카카오 "올 하반기, 국내 최초 온디바이스 AI 서비스 출시"2025.08.07
이에 따른 본격적인 과제 착수 시기는 내년 초로 예상된다. M.AX 얼라이언스 위원회에서는 개발 진도 지원 및 성과 모너티렁을 위한 자문단을 구성할 계획이다.
김 교수는 "K-온디바이스 AI 반도체 사업을 통해 반도체 설계부터 소프트웨어를 통합적으로 개발할 수 있는 역량과 생태계를 확보하게 되고, 국산 칩에 최적화된 AI 플랫폼을 자체적으로 구현할 수 있는 토대를 마련하게 될 것"이라며 "실용적이고 알찬 최고의 정부 과제로서, 앞으로도 이러한 형태의 정부과제가 많이 나오길 기대한다"고 밝혔다.