"학원 안 가도 된다"…손가락·자세까지 봐주는 AI 피아노 코치

음악 기술회사 롤리, AI 음악 코치 개발

피아노 학원에 가지 않아도, 시간이 날 때마다 수업을 해주는 인공지능(AI) 피아노 코치가 등장했다.

과학매체 뉴아틀라스는 음악 기술 회사 롤리(ROLI)가 사용자의 손 움직임을 인식하고 연주를 실시간으로 분석해 반응하는 ‘AI 음악 코치’를 개발했다고 최근 보도했다.

롤리의 AI 음악코치는 연습 도중 사용자의 손동작과 자체까지 추적해 실시간으로 피드백을 제공한다. (사진=롤리)

혼자 피아노를 배우는 일은 쉽지 않다. 어떤 음을 눌렀는지 알려주는 앱은 많지만, 손의 움직임이나 자세가 연주에 방해가 되는지, 특정 부분이 어색하게 들리는 이유가 무엇인지 분석해주는 서비스는 드물다. 이 때문에 피아노 선생님의 지도가 큰 도움이 되지만, 항상 학원에 가서 수업을 듣기 어렵다는 한계가 있다.

롤리가 개발한 시스템은 단순히 연주 음정만 듣는 수준을 넘어, 센서 배열을 통해 사용자의 손 움직임을 정밀하게 추적한다. 적외선 손 추적 카메라가 양손을 실시간으로 관찰하며, 초당 90프레임으로 각 손의 27개 관절을 추적한다. 이를 통해 AI 음악 코치는 사용자가 건반을 정확히 눌렀는지 뿐 아니라 손가락 위치, 움직임, 자세 등 연주 방식까지 분석할 수 있다.

AI 음악 코치를 활용해 피아노 연습을 하는 모습 (사진=롤리)

대화형 기능도 탑재해 사용자가 질문을 하고, 코치가 실시간으로 피드백을 제공하는 방식으로 수업이 진행된다. 40개 이상의 언어를 지원하며, 시스템이 순간순간 인지하고 듣는 내용을 바탕으로 수업 속도와 난이도를 지속적으로 조정한다. 피드백은 사람처럼 즉각적이고, 연습 계획도 사전에 정해진 고정 커리큘럼에 얽매이지 않는다.

이 같은 접근 방식은 기존 음악 학습 앱과 차별화된다는 평가다. 다른 앱들이 주로 MIDI 음표 데이터와 고정된 연습 문제에 의존하는 반면, 롤리의 AI 시스템은 연주자의 손의 미세한 움직임까지 확인할 수 있어 음표만으로는 드러나지 않는 연주 기법상의 문제를 개선할 수 있다는 설명이다.

AI 음악 코치는 향후 몇 달 안에 롤리 학습 앱에서 공개 베타 버전으로 출시될 예정이며, 새로운 ‘에어웨어(Airwave)’ 하드웨어와 함께 제공될 계획이다. 다만 출시 가격은 아직 확정되지 않았다.