마이크로소프트가 사람과 인공지능(AI) 협업을 가속하는 기술 연구 성과를 공개했다. 뇌 신호만으로 사용자 상태를 파악하고 작업 과정을 시각화할뿐 아니라 업무 맥락까지 장기 기억해 인간 작업 과정을 돕는 기능이 핵심이다.
마이크로소프트연구소 아시아(MSRA)는 20일 서울 광화문 한국마이크로소프트 사옥에서 열린 'MSRA 코리아 데이 2026'에서 이같은 연구 성과를 발표했다. 뇌-컴퓨터 인터페이스(BCI)를 비롯한 시각 AI, 에이전틱 미디어, 에이전트 최적화 분야 연구와 데모를 공유했다.
이번 연구 성과 핵심은 사람이 AI에 지시하고 결과를 확인하는 과정서 발생하는 소통 어려움과 맥락 단절, 검토 부담을 줄이는 데 초점 맞췄다. MSRA는 1998년 중국 베이징에서 설립된 마이크로소프트의 아시아·태평양 지역 연구기관이다. AI를 비롯한 컴퓨팅 기초, 멀티모달 인식, 인간-AI 상호작용 등 분야에서 기초·응용 연구를 수행한다.
이 연구소는 한국과학기술원(KAIST) 등 대학과 공동연구와 인재 교류를 국내에서 이어왔다. 최근에는 KAIST 연구진과 사람 뇌파에서 AI 행동에 대한 오류 반응을 감지하고, 이를 바탕으로 AI가 행동을 수정하도록 하는 BCI 연구를 진행했다.
PPT 편집부터 코드 변경 확인까지…"AI 작업 시각화 시대 왔다"
다이 치 MSRA 수석연구원은 사용자가 AI 작업 과정과 결과를 화면에서 실시간 확인하고 수정할 수 있는 시각화 기술을 소개했다. 이 기술은 AI가 수행한 작업과 변경 사항을 시각적으로 보여줘 사용자 검토를 지원한다.
이날 프레젠테이션 제작 시연에서 AI는 사용자 요구를 파악한 뒤 인터넷에서 자료와 이미지를 수집하고 슬라이드를 구성했다. 사용자는 이미지 형태의 슬라이드를 편집 가능한 형태로 변환해 텍스트와 아이콘을 개별적으로 수정할 수 있었다. 특정 영역을 선택해 AI에 수정을 요청하는 기능도 이용할 수 있다.
다이 수석연구원은 소프트웨어(SW) 프로젝트의 구조를 2차원 지도로 보여주는 기술도 소개했다. 시스템은 파일 간 관계와 AI가 추가·수정한 파일을 구분해 표시한다. 개발자는 화면에서 변경 내용을 확인하고 파일별로 수정 여부를 승인할 수 있다.
양 이판 MSRA 선임연구원은 AI 에이전트 업무 지침인 '스킬'을 자동 개선하는 연구를 발표했다. 이 기술은 모델 자체를 재학습하는 대신 AI 작업 기록을 분석해 업무 절차와 지식을 담은 지침을 자동 수정할 수 있다.
이 최적화 시스템은 지침 한 줄을 추가·삭제·교체하는 작업을 기본 단위로 삼고, 단계별 수정 횟수를 제한한다. 시스템은 수정한 지침을 별도 데이터로 검증했으며, 성능이 떨어지면 변경을 반영하지 않는 식으로 작동했다. AI가 스스로 실패 원인도 기록해 이후 개선 과정에서 같은 문제가 반복되지 않도록 설정했다.
양 선임연구원은 "연구팀이 7개 벤치마크와 여러 AI 모델을 활용해 실험한 결과 기존 비교 방식보다 높은 성능을 확인했다"고 설명했다.
연구팀은 이런 최적화 방식을 에이전트 실행 체계와 모델 학습 환경, 평가 기준에도 적용했다고 밝혔다. 복잡한 코드와 설정을 구조화해 수정하고, 모델 수행 결과에 따라 학습 과제와 보상을 조정하는 방식이다.
왕 징루 MSRA 선임연구원은 장기 협업에 필요한 업무 맥락을 관리하는 '에이전틱 미디어 메모리' 시스템을 소개했다. 이 시스템은 현재 작업 상태와 정보 간 관계, 변경 이력을 지속적으로 갱신해 사람과 AI가 후속 업무에 활용하도록 지원한다.
해당 시스템은 서로 다른 형식 자료에서 핵심 정보를 추출하고 각 정보를 원본 근거와 연결하는 식으로 작동한다. 사용자는 정리된 정보의 출처를 확인할 수 있다. 왕 선임연구원은 연구팀이 약 5년간 축적한 콘텐츠 가운데 약 70기가바이트(GB), 7000 개 이상의 파일에 시스템을 적용하고 있다고 밝혔다.
왕 선임연구원은 여러 멀티모달 작업에서 데이터를 공통 형식으로 표현하는 기술도 소개했다. 이 기술은 생성과 이해 등 작업마다 데이터를 반복 변환하는 과정을 줄인다. 연구팀은 실험에서 작업 품질을 유지하면서 저장 공간과 처리 지연을 줄였다고 설명했다.
이날 클라우드 기반 시연에서는 팀원들이 개인 메모리와 공유 메모리를 함께 활용했다. 한 팀원이 자료와 작업 결과를 올리면 다른 팀원은 여러 기기에서 해당 정보에 접근할 수 있었다. 각 팀원은 자신의 비공개 자료와 공유 자료를 함께 참고해 업무를 수행한다.
왕 옌선 MSRA 선임연구원은 BCI를 활용한 뇌 상태 인식 컴퓨팅 연구 사례를 발표했다. 연구팀은 뇌 신호로 사용자의 명령을 해석하고 집중도 등 내부 상태를 파악하는 기술을 연구하고 있다.
MSRA와 KAIST 연구진은 공동연구에서 사람마다 다른 사고방식을 AI가 해석할 수 있는지 살폈다. 연구팀은 참가자 26명의 다양한 사고 전략을 분석한 것으로 나타났다. 왕 선임연구원은 "같은 과제를 수행하는 사람들도 서로 다른 인지 과정을 거칠 수 있다"고 설명했다.
관련기사
- "미국인 채용하라"…美, MS·어도비 등 8개사 외국인 영주권 지원 제동2026.10.09
- 나델라 MS CEO "AI 모델에 비상 브레이크 필요"2026.10.12
- [르포] "초록색 티 입은 사람 찾아줘"…MS 재난 대응 체험해보니2026.09.30
- MS "제조 AI 성공, 숙련자 노하우·현장 데이터 통합에 달려"2026.09.30
왕 선임연구원은 뇌파 데이터를 학습한 파운데이션 모델로 인식 성능을 개선한 결과도 소개했다. 그는 "연구팀은 실험에서 평균 성능을 5.4%포인트(p) 높였다"고 밝혔다.
그러면서 "향후 이어버드 형태 기기로 뇌 신호를 측정해 일상 서비스에 연결할 수 있을 것"이라고 덧붙였다.
