MS 코파일럿 스택, 윈도용 앱 개발에 API로 끌어와 쓴다

윈도 OS 내 AI 모델과 벡터 DB 활용 가능

마이크로소프트 코파일럿이 윈도 운영체제(OS)의 소프트웨어 스택에 들어갔다. 윈도 애플리케이션 계층에 '코파일럿 런타임'이란 AI 전용 라이브러리가 포함돼, 개발자는 자신의 윈도용 앱에 OS의 생성형 AI 관련 API와 기능을 쉽게 접목할 수 있다.

마이크로소프트는 21일(현지시간) 개막한 연례 개발자 컨퍼런스 '마이크로소프트 빌드 2024'에서 '윈도 코파일럿 런타임'을 발표했다.

윈도 코파일럿 런타임은 GPU, NPU 등 장치의 실리콘을 기반으로 구축된 애플리케이션 계층이다. 윈도와 함께 제공되는 40개 이상의 온디바이스 AI 모델 API 세트인 '윈도 코파일럿 라이브러리'를 포함한다. 개발자의 온디바이스 모델을 윈도로 가져오는데 도움을 주는 AI 프레임워크와 툴 체인도 포함한다.

윈도 코파일럿 런타임

개발자는 간단한 설정 토글을 이용해 접근가능한 상위 수준 API부터 자체 머신러닝 모델을 가져오는 것까지 다양한 방법으로 윈도 코파일럿 런타임을 활용할 수 있다.

윈도 셸, Win32 앱, 웹 앱 등에 걸쳐 마이크로소프트 앱과 개발자 자체 앱에서 활용가능하다.

윈도 코파일럿 라이브러리는 윈도 환경을 강화하는 온디바이스 AI 모델 API와 벡터 스토어, 알고리즘 등을 포함한다. 스튜디오이펙트, 라이브캡션트렌스레이션, OCR, 리콜 위드 유저 액티비티, 파이 실리카 등의 AI API와, DiskANN 같은 알고리즘 등을 이용할 수 있다.

파이실리카는 소형언어모델(SLM) '파이(Phi)'를 코파일럿 플러스 PC의 NPU용으로 설계한 것이다. 파이 실리카는 프롬프트 처리를 NPU로 오프로드하고, 첫번째 토큰 대기 시간은 초당 650개 토큰이며 비용은 약 1.5와트라고 회사측은 설명했다. CPU와 GPU를 다른 계산에 사용하도록 남겨두면서 전력을 공급할 수 있다. 토큰 생성은 NPU의 KV캐시를 재사용하고, CPU에서 실행돼 초당 약 27개 토큰을 생성한다.

6월부터 윈도 코파일럿 라이브러리를 이용할 수 있으며, 향후 벡터 임베딩, 검색증강생성(RAG), 텍스트 요약 등의 기타 API가 새로 제공될 예정이다.

다이렉트ML, ONNX 런타임, 파이토치, WebNN 같은 AI 프레임워크, 올리브 같은 툴 체인, 비주얼스튜디오코드용 AI 툴킷 등을 활용해 개발자 자체 모델을 가져오고 윈도 하드웨어 생태계 전반에 AI 앱을 확장할 수 있다.

윈도 코파일럿 런타임은 20일 공개된 마이크로소프트의 '코파일럿 플러스 PC'의 다양한 생선형 AI 기능에 먼저 활용됐다.

사용자가 PC에서 본 모든 것을 즉시 찾도록 도와주는 리콜(Recall), AI 이미지 생성기 '코크리에이터', 사진 앱에서 스타일을 생성할 수 있는 '리스타일이미지', 윈도 스튜디오 효과, 라이브 캡션 등의 기능 등이다.

개발자는 코드 작업 없이 윈도 코파일럿 라이브러리르 활용해 크리에이티브 필터, 인물 사진 조명, 아이컨택트 텔레프롬프터, 인물사진 흐림, 음성 초점 같은 앱에 스튜디오 이펙트를 통합할 수 있다. 왓츠앱이 윈도 스튜디오 효과 컨트롤을 UI에 추가했다.

윈도 라이브캡션 기능을 개발자의 앱에 활용해 오디오와 비디오를 실시간으로 번역해 앱의 기본언어로 자막을 제공할 수 있다.

유저액티비티 API를 활용하면 기본 벡터 데이터베이스에 상황별 정보를 추가해 앱에 대한 회상 경험을 높일 수 있다. 사용자가 앱에서 중단한 위치를 선택하기 쉽게 하고, 윈도와 앱 간 원활한 작업 흐름을 만드는데 도움을 준다. 파워포인트와 팀즈가 리콜로 앱을 확장했다.

마이크로소프트는 윈도 검색에 의미 기반 검색 기능을 추가했다.'윈도 시맨틱 인덱스(Windows Semantic Index)'다. 벡터 임베딩 API로 개발자는 앱 데이터를 사용해 자체 벡터 저장소와 RAG를 구축하게 해준다.

리콜 데이터베이스는 윈도 시맨틱 인덱스로 구동된다. 리콜은 다중모드 SLM을 포함해 동시에 실행되고 OS 자체에 통합된 여러 첨단 AI 모델을 기반으로 한다. 모델은 다양한 종류의 콘텐츠를 이해하고, 여러 언어로 작동해 윈도에서 텍스트, 이미지, 비디오에 이르는 정보를 이해한다. 이 데이터는 윈도 시맨틱 인덱스란 벡터 저장소에 저장된다. 시맨틱 인덱스는 사용자의 데이터베이스에만 저장된다.

마이크로소프트는 다이렉트ML을 통해 윈도에서 파이토치를 네이티브로 지원한다고 밝혔다. DML은 허깅페이스 내 수천개 모델을 윈도에서 즉시 사용하게 한다.

마이크로소프트는 또한 다이렉트ML을 통해 윈도에서 '웹뉴럴네트워크(WebNN)' 개발자 프리뷰를 제공한다. 이는 웹개발자가 윈도 장치 AI용 실리콘의 이점을 이용하게 한다. 다이렉트ML은 윈도의 머신러닝을 위한 고성능 하위수준 API다.

다이렉트ML 시스템 아키텍처

다이렉트ML은 윈도 하드웨어 파트너의 다양한 옵션을 추상화하고, GPU와 NPU 전반을 지원한다. 곧 CPU 통합도 제공될 예정이다. ONNX 런타임, 파이토치, WebNN 같은 프레임워크와 통합된다. 다이렉트ML은 모든 윈도 GPU에서 사용할 수 있다. 인텔 AI 부스트를 탑재한 인텔 코어 울트라 프로세서 지원은 곧 개발자 프리뷰로 제공되고, 스냅드래곤X 엘리트 SoC의 퀄컴 헥사곤 NPU도 곧 출시된다.

리눅스용윈도서브시스템(WSL)은 엔터프라이즈급 보안 요건을 충족하도록 개선됐다. 제로트러스트 기능인 '리눅스 인튠 에이전트'와 '마이크로소프트 엔트라ID'와 통합된다.

마이크로소프트는 Arm용 윈도의 개발자 생태계 강화도 이어갔다. 비주얼스튜디오가 'Arm 기본 SQL서버 개발자도구(SSDT)'를 포함한다. 닷넷8에 Arm 관련 성능 개선 사항이 포함됐고, 유니티 게임 편집기가 미리보기로 제공된다. 윈도용 Arm 네이티브 도커 도구를 사용할 수 있다.