마음AI는 내년 1월 7일 미국 라스베이가스에서 개막하는 'CES 2025'에 참가, 온디바이스 AI 협력 성과를 공개한다고 17일 밝혔다.
마음AI는 '2025 CES'에 단독 부스로 참여하는데, 메인 전시로 LLM 기반 음성 대화 제품인 '수다(SUDA)'를 선보인다. 'SUDA'는 퀄컴 QCS6490 프로세서(Qualcomm® QCS6490 processor) 기반의 퀄컴 RB3 2세대 플랫폼(Qualcomm® RB3 Gen 2 platform)을 탑재, 음성 대화를 위한 STT, LLM, TTS 를 지원한다. 인터넷 연결없이 디바이스 상에서 음성 대화가 가능하게 만든 것이 특징이다.
퀄컴의 'QCS6490' 프로세서는 스마트홈, 운송, 창고 관리, POS 키오스크, 커넥티드 헬스케어, 물류 관리 등 산업용 IoT 애플리케이션에 최적화한 플랫폼이다. 활용 가능성이 매우 넓다. 마음AI 는 이번 퀄컴과의 협업을 통해 QCS6490 프로세서에 STT, LLM(Llama v3.2 1B), TTS를 탑재하는데 성공했다. QCS6490 프로세서는 마음AI가 온디바이스 LLM을 통해 원활한 음성 상호작용 서비스를 구현할 수 있게 하며, 온디바이스 비전 AI를 포함한 다른 애플리케이션을 실행할 수 있다.
특히 마음AI는 LLM 추론 속도를 최대한 끌어올린 결과, 온디바이스 상에서 총 처리 지연시간(Total Latency)을 1.5 초 이내로 단축하는 데 성공했다고 강조했다. 일반적인 AI 스피커나, 가전제품에 탑재된 음성 대화 모듈들에 비해 사용자 경험도 높였다. 또 CES 현장에서는 RB3 2세대 플랫폼을 탑재한 온디바이스 AI 'SUDA'를 기반으로 홈 IoT 를 제어하는 시연을 공개한다.
예를 들어 "너무 눈부신데"라고 말하면, LLM 이 사용자의 의도를 파악하고 블라인드를 내리도록 명령을 내리는 것이다. 이렇게 홈 IoT 환경에서 여러 센서나 가전제품 등을 제어하는 에이전트(Agent) 기능을 구현하기 위해 마음AI 는 LLM에 펑션콜(Function call) 기능을 구현했다. 이를 통해 사용자는 API로 호출 가능한 모든 센서와 가전제품 등 홈 IoT 제품들을 자연어로 쉽게 제어할 수 있다.
마음AI 의 기술총괄 CEO 최홍섭 대표는 “퀄컴의 RB3 2세대 플랫폼에 우리 기술을 탑재할 수 있는 협업 기회를 얻어 기쁘다"면서 "QCS6490 프로세서에 LLM 을 탑재하려는 수요가 많은 것으로 알고 있으며, 앞으로도 퀄컴 테크날러지스와 긴밀한 협력을 통해 온디바이스 AI 시장을 선도할 수 있을 것이라 기대한다”고 밝혔다.
관련기사
- 마음AI, 한성대와 SW·AI 인재 양성 협력2024.10.29
- 마음AI-제우스, AI기반 자율주행 'WoRV' 활용 제주 농가 혁신 협력2024.10.09
- 마음AI "키오스크로 디지털 격차 해소"···중기기술혁신개발사업 수주2024.08.29
- 생존 위협 느낀 대기업 SI, 내년 AI에 명운 건다2024.12.23
한편, 마음AI 는 이번 'CES 2025'에서 고용노동부와 구축한 근로감독관 AI 지원
시스템과 Vision Language Action Model ‘WoRV’를 적용한 농업 로봇 자율주행 등 다양한 상용화 사례를 소개하는 등 EAI(Embodied AI) 선도 기업 입지를 공고히 할 예정이다.