이미지 크게보기 그래픽=전승훈 기자

■ 연주자 감성까지 반영하는 ‘음악AI’ 연구

카이스트·서울대 3년째 개발중
즉흥변주·모방 수준 뛰어넘어
스스로 창작까지 하는 AI 목표

머신러닝 음악데이터 부족으로
저작권 문제 해결 등 과제 남아
서울 음대서 연주곡 모아 훈련

‘인간 작곡가와 연주자의 감성을 인공지능(AI) 피아노에 담는다.’

카이스트 남주한 교수와 서울대 음대 박종화 교수가 3년째 연구 중인 도전목표다. 정식 연구과제명은 ‘머신러닝을 이용한 감성적 음악 연주 생성 시스템 개발’이다. 남 교수는 어릴 때 음악에 관심이 많았지만 과학고, 공대를 갔다가 다시 음대로 옮겨 석박사를 마친 융합 과학자다. 박 교수는 ‘달려라 피아노’로 유명한 현장 음악가, 콘서트 피아니스트다. 두 사람은 합동 인터뷰에서 “아직 완전한 감성 피아노는 어렵다”고 털어놓았다. 그러나 피아노에 인간의 감성을 불어넣다니 무슨 뜻일까. AI 기술로 가능할까. 두 사람은 말했다.

“기존 데이터와 비슷한 결과가 나오도록 AI를 학습시키는 일은 수학적으로 정의하기 쉽기 때문에 모방 기반의 생성 기술은 어렵지 않다. 다만, 지금까지와 전혀 다른 새로운 창작을 할 수 있을지는 의문이다. AI 생성 방식은 기존과 얼마나 비슷한지 비교를 통해서 이루어진다. 원하는 감성과 얼마나 새로운 시도인지 스스로 평가하며 생성하는 것은 아니다. AI가 창작물을 인간처럼 평가할 수 있다면 새로운 창작도 할 수 있다고 생각한다. 하지만 평가는 대개 주관적이라 시대에 따라 바뀌고, 평가 기준을 정량적으로 정의하기도 어려워 정말로 AI가 주체적으로 새로운 창작을 할 수 있을지는 의문이다.”

현재 초기 음악 AI는 소리에서 음표 정보(시간·음정·음의 길이)를 추출하는 자동 채보(採譜) 기술이 발전하면서 사망한 유명 연주자의 레코드를 재녹음해 활동하는 연주자와 합주 공연을 펼치는 정도다. 그러나 21세기 예술의 최전선을 달려가는 도전적 예술가들은 사람 없이 기계 스스로 ‘창작’을 할 수 있도록 끊임없이 예술과 기술의 융합 실험을 하고 있다.

두 사람은 연구에 가장 어려운 점은 무엇이냐는 질문에 데이터셋 부족, 시간과 돈의 제약, 융합 미비를 차례로 꼽았다. 딥러닝에는 빅데이터가 필수 재료인데, 빠른 산업화로 다수 축적된 이미지·음성 데이터에 비해 음악 데이터는 부족하기 때문이다. 저작권 문제도 난관이다. 창작물인 예술작품은 연구용이라 해도 데이터셋으로 모아 공유하긴 힘들다. 그래서 감성 피아노 연구팀은 22명의 서울대 음대 학생의 1135개 연주 데이터를 직접 모았다. 특히 연주자별로 곡당 5가지 서로 다른 감정 표현을 담아달라고 요청해 섬세한 차이를 포착하고자 했다. 그래도 여전히 AI를 훈련하기엔 모자란다고 한다. 또 음악 등 예술 분야는 결과물을 정량 평가하기 힘들어 사람을 직접 비교하는 정성 평가를 주로 한다. 하지만 유의미한 결과를 얻으려면 많은 평가자와 평가 절차의 엄격한 통제가 요구된다. 시간과 돈이 든다는 이야기다. 마지막으로 과학자와 음악가들과의 협업이 아직 국내에선 덜 활발하다. 딥러닝은 영역 지식을 거의 필요로 하지 않지만 학습 데이터 구축, 모델 평가 등에서 예술가의 역할이 매우 중요하다.


■ 용어설명

GAN(Generative Adversarial Network·생성적 적대 신경망) : 인공지능 신경망을 생산자(generator)와 감별자(discriminator)의 적대적 구조로 설계한 뒤, 원본과 닮은 모사본을 만드는 생산자와 이를 원본과 비교해 위조본으로 판정하는 감별자 간에 지속적 경쟁을 통해 원본과 거의 구분하기 힘든 정교한 모사본을 만드는 기술. 2014년 개발돼 세상에 존재하지 않는 인물들의 사진, 연설한 적 없는 버락 오바마 전 미국 대통령의 동영상 등을 공개하며 유명해졌다.

영역 지식(domain knowledge) : 주제 영역에 특화된 정보를 말한다. 바둑 AI를 학습시킬 때 구글은 처음에는 인간 기사들의 바둑 기보란 영역 지식을 지도학습 방식으로 가르쳐 알파고 리(이세돌과 대결한 AI)를 만들었다. 지도학습은 ‘이건 좋은 수, 저건 나쁜 수’ 식으로 사람이 꼬리표를 달아주는 것이다. 그러나 개선 버전인 알파고 제로는 바둑의 기본 규칙만 프로그래밍한 후 스스로 두어가면서 점점 성능이 향상되는 비지도학습, 강화학습 방식으로 만들었다. 이후 알파 제로는 바둑, 장기 등 특정 영역의 정보를 사전 입력하지 않고도 새로운 문제를 푸는 데 탁월한 성능을 발휘했다.

노성열 기자 nosr@munhwa.com