음악-예술하는 AI 마젠타, 어디까지 왔나

인공지능(AI)이 음악가에게 새로운 곡에 대한 영감을 줄 수 있을까? 또 예술가들에겐 새로운 작품을 만드는데 필요한 아이디어를 제공할 수 있을까?

구글의 '마젠타(magent)' 프로젝트는 이런 큰 질문을 갖고 1년 전 첫발을 내디뎠다.

사내 연구개발부서인 구글 브레인이 추진해 온 마젠타는 1년 동안 어떤 성과를 거뒀을까?

22일 서울 강남구 소재 구글 캠퍼스 코리아에서 개최된 구글AI포럼에서 화상회의를 통해 구글 브레인 내 마젠타 프로젝트를 이끌 고 있는 더글라스 에크 리서치 사이언티스트를 만날 수 있었다.

■인간 고유 창의성도 AI와 협업 가능할까

에크에 따르면 마젠타 프로젝트의 목표는 크게 두 가지였다.

먼저 연구를 통해 음악, 예술 창작 분야에 적용할 수 있는 AI를 발전시키는 것이다. 머신러닝을 통해 음성인식, 번역, 이미지 인식 등 유용한 기능을 만들어내는 것을 넘어 인간 고유의 창의적인 영역에서도 AI가 인간과 협업할 수 있는지를 확인해나가겠다는 뜻이다.

사람들이 그린 고양이 스케치를 학습한 스케치-RNN 모델에 이상한 모양의 고양이 그림을 입력하면 이를 일반적인 고양이 그림으로 바꿔준다.(사진=구글)

스케치-RNN 모델 개발해 활용된 퀵드로우에서 사람들이 표현한 구름과 비 스케치.(사진=퀵드로우)

두번째로는 음악가, 예술가, 코딩 기술자, 머신러닝 연구자들로 이뤄진 광범위한 커뮤니티를 구축하는 일이다. 이를 위해 마젠타는 구글 AI 플랫폼인 텐서플로를 중심으로 음악가 및 예술가가 사용하는 각종 창작도구와 음악가 및 예술가, 머신러닝 기술이 만나 협업할 수 있는 생태계를 만드는데 집중한다. 관련된 소스코드는 깃허브를 통해 오픈소스로 공개된다.

■ 마젠타 1년 성과, 그림서 특징 뽑고 전에 없던 음 만들고…

구글은 마젠타 프로젝트를 통해 지난 1년 동안 두 가지 성과를 달성했다고 밝혔다.

먼저 스케치-RNN이다. 딥러닝 기술 중 하나인 순환신경망(RNN)을 적용한 스케치-RNN 모델은 사용자들이 퀵드로우를 통해 어떤 사물에 대해 일반 사람들이 그린 낙서와 비슷한 단순한 그림을 학습한다. 흥미로운 점은 스케치-RNN 모델이 추상적인 개념을 일반화 시켜 그림으로 표현할 수 있다는 사실이다.

예를 들어 고양이 스케치를 학습한 모델은 이후 사용자가 그린 그림에서 고양이의 양쪽 수염 개수가 맞지 않을 경우 자동으로 수염 개수를 맞춰준다. 사용자가 눈이 세 개인 고양이를 그렸거나 눈이나 입을 그리지 않았을 때도 알아서 그런 특징들을 표현해준다.

에크 리서치 사이언티스트에 따르면 스케치-RNN은 학습과정에서 입력된 스케치 데이터셋에서 특정한 특징을 추출해낸다. 이를 통해 다른 스케치 입력이 오면 이러한 특징들이 확인하고 없으면 알아서 반영하는 과정을 거친다.

시연에서는 스케치-RNN 모델에 사용자가 구름을 그리면 다음 진행 상황을 예측해 비오는 모습을 표현하는 모습이 나왔다.

아직 초기 연구단계이지만 이러한 기능은 패턴 디자이너들이 유사하면서도 개성이 살아있는 여러 종류의 옷감이나 벽지 디자인을 개발하는데 활용될 수 있을 것으로 전망된다.

음악가들이 새로운 음악을 만들어내는데도 AI의 도움을 받을 수 있을 것으로 예상된다. 딥러닝을 활용해 새로운 음악합성방식을 제안하는 '신경 신디사이저(Neural Synthesizer, Nsynth)'가 그렇다.

신경 신디사이저는 오실레이터, 웨이브 테이블 등과 같이 사람 손으로 설계된 구성요소를 활용해 오디오를 만드는 기존 신디사이저와 달리 딥러닝을 활용해 여러 악기 소리와 악보로 표현된 데이터셋을 학습한다. 여기에는 최대 30만개 음, 최대 1천개 악기 데이터가 담겼다. 이 모델을 개발하는데는 구글 브레인과 함께 딥마인드 연구원들도 참여했다.

마젠타 프로젝트는 이를 활용해 음높이와 속도가 다양한 개별 악기에서 음을 샘플링해 이전에는 듣기 힘들었던 독특한 음을 만들어내는 것을 목표로 한다.