관중의 함성과 함께 들리는 야구방망이의 타격 소리는 홈런을 보지 못하더라도 야구 팬의 시선을 사로잡습니다. 인간은 시각적 동물일 수 있지만, 우리는 주변 세계를 듣는 것으로도 인식합니다.
인공 지각을 향상시키기 위해, MIT의 파리스 스마라그디스 교수(SM ’97, PhD ’01)는 인간보다 더 잘 듣고 소리를 이해하는 기계를 만드는 데 힘쓰고 있습니다.
초인간 수준의 청력을 가진 기계는 비명을 지르는 타이어 소리와 금속이 부서지는 소리를 통해 교통사고 발생 위치를 신속히 파악하거나, 지열 발전용 우물을 파기 위해 단단한 암반을 뚫는 중인 산업용 드릴이 고장 날 가능성을 감지할 수 있습니다.
“저는 컴퓨터 비전 분야의 연구자들이 하는 일을 제가 하는 것이라고 말하고 싶습니다. 다만 그 대신 저는 청각을 위한 일을 하고 있을 뿐입니다.”라고 스마라그디스 교수는 말합니다. 그는 인문·예술·사회과학대학의 음악 및 연극 예술 프로그램과 공학대학의 전기공학 및 컴퓨터과학부, 그리고 MIT 슈워츠만 컴퓨터대학에서 겸임 교수로 재직하고 있습니다.
그의 연구 그룹은 음원 분리에 대한 기계 학습, 인간의 청각 환경을 향상시킬 수 있는 스마트 디바이스, 그리고 사람들이 음악을 이해하고, 조작하며, 분석하고, 창작하는 데 도움을 주는 더 나은 도구와 같은 분야를 탐구합니다.
“음악적 배경을 가지고 있었기 때문에 이러한 아이디어들을 탐구하는 데 늘 관심을 가져왔습니다. 기계가 소리를 이해하려면 무엇이 필요할까요? 듣는 능력을 갖춘 기계에는 매우 광범위한 응용 분야가 있습니다.”라고 2025년 MIT에 합류한 스마라그디스는 말합니다.
음악적 서막
그리스에서 자란 스마라그디스는 어린 시절부터 클래식 기타를 연주하기 시작했습니다. 전통적인 곡들을 즐겨 연주했지만, 아버지가 작은 신디사이저를 집으로 들여오면서 그의 음악 여정에 전환점이 찾아왔습니다.
“그 작은 신디사이저에는 자신만의 소리를 만들어낼 수 있는 기능이 있었고, 저는 그 가능성에 완전히 매료되었습니다.”라고 그는 말합니다.
1980년대에는 신디사이저가 대중음악에서 더욱 두드러진 위치를 차지하기 시작하면서, 그는 이 기술에 대한 매력에 한층 더 빠져들었습니다.
학교 생활을 거듭해 가며 스마라그디스는 신디사이저로 만든 음악을 공부하고자 했습니다. 그러나 당시 보다 전통적인 유럽의 음악원에서는 그러한 교육과정을 제공하지 않았습니다.
대신 그는 보스턴의 버클리 음악대학에 입학하여, 컴퓨터와 신디사이저를 활용해 음향을 형성하고 조작하는 방법을 탐구할 수 있는 프로그램에 참여했습니다.
“컴퓨터와 신디사이저를 이용하면 이전에는 한 번도 들려본 적 없는 새로운 소리를 만들어낼 수 있었어요.”라고 그는 말합니다.
동시에 스마라그디스는 재즈 퓨전 음악에 깊이 빠져들었습니다. 그는 재즈 앙상블과 함께 연주할 기회가 더 많아질 것이라 생각해 버클리에서 베이스를 전공으로 선택했습니다.
“베이스는 소리 면에서 기타보다 훨씬 더 흥미로웠어요. 아직까지 잘 탐구되지 않은 영역이었고, 저는 언제나 미지의 영역으로 끌려왔거든요.”라고 그는 말합니다.
그러한 미지의 영역에 대한 관심은 그의 수업 과정에도 이어졌습니다. 그는 전자음악 제작 및 디자인 교수인 리처드 불랑제와 함께, 사람들이 컴퓨터를 활용해 음악을 작곡하고 제작하며 향상시키도록 돕는 새로운 도구들을 개발했습니다.
버클리에서의 학업을 통해 스마라그디스는 MIT 미디어랩의 배리 버코 교수(2025년 별세)와 함께 음악 창작을 위한 소프트웨어 신디사이저를 개발하는 협력 프로젝트에 참여하게 되었습니다. 이 프로젝트를 바탕으로 스마라그디스는 버코 교수의 연구팀에서 대학원 과정을 밟았고, 석사와 박사 학위를 취득한 뒤 포스트닥터 과정까지 마쳤습니다.
“미디어랩에서 저는 컴퓨터 음악의 컴퓨터 측면에 더 많이 노출되었어요. 그때부터 제 관심이 조금씩 옮겨졌죠. 이제는 정말로 소리를 이해할 수 있는 컴퓨터를 만들고 싶었어요.”라고 그는 말합니다.
미지의 영역으로의 접근
당시 미디어랩의 많은 학생들이 신호 처리 기법을 활용해 기계가 소리를 다룰 수 있도록 도왔습니다. 스마라그디스는 다른 학생들과 차별화하기 위해, 아직 잘 탐구되지 않은 머신러닝이라는 접근법을 선택했습니다.
그는 소리를 이해하도록 머신러닝 모델을 학습시키는 것이 전통적인 신호 처리 기법으로는 얻을 수 없는 장점을 제공한다는 사실을 발견했습니다.
“시간이 지나면서, 컴퓨터에게 듣는 법을 가르쳐야 한다는 점이 매우 분명해졌어요. 우리는 단순히 컴퓨터에게 ‘어떻게 들으라’고만 말할 수는 없죠. 오히려 우리 인간이 어떻게 듣는지도 정확히 알지 못하는 상황이에요.”라고 그는 말합니다. “우리는 ‘듣는다’는 것이 무엇을 의미하는지, 혹은 고양이의 울음소리와 바이올린 소리의 차이를 어떻게 구분하는지 설명할 만한 어휘조차 갖고 있지 않아요.”
포스트닥터 과정을 마친 후, 스마라그디스는 미쓰비시 전기 리서치 랩에서 경력을 시작했으며, 여기서는 영상의 사운드트랙을 분석하고 화면에서 일어나는 일을 이해할 수 있는 인공지능 시스템 개발에 참여했습니다.
“축구 경기를 통째로 녹화했는데, 정작 보고 싶은 건 하이라이트뿐이라면 어떨까요? 컴퓨터 비전에서는 하이라이트가 무엇인지 식별하는 일이 매우 어렵습니다. 하지만 반대로 소리만 듣는다면, 관중들이 열광할 때 무언가 흥미로운 일이 벌어지고 있다는 걸 바로 알 수 있겠죠.”라고 그는 말합니다.
그 시스템은 결국 당시 미쓰비시가 개발 중이던 개인용 비디오 녹화 시스템을 비롯해 교통 감시 시스템과 휴대폰 등 다양한 전자기기에 탑재되었습니다.
스마라그디스는 이후 어도비에 합류하여, 예술가와 음악가, 프로듀서들이 많은 전문 지식 없이도 음향을 손쉽게 조작할 수 있도록 돕는 사용자 친화적인 도구를 개발한 오디오 연구팀을 이끌었습니다.
“그 작업을 진행하면서 해결해야 할 더 깊은 기술적 문제들이 계속 떠올랐습니다. 그래서 그 궁금증을 해소하기 위해 학계로 뛰어들게 되었죠.”라고 그는 말합니다.
스마라그디스는 일리노이 대학교 어바나-섐페인 캠퍼스의 교수진으로 합류했으며, 그곳에서 자신의 연구팀과 함께 최신 머신러닝 기법을 오디오 처리 시스템에 접목했습니다.
그들이 개발한 기술 중 하나는 신경망을 활용해 오디오 혼합물에서 개별 음원을 분리하는 것이었습니다. 이 프로젝트는 2021년 다큐멘터리 미니시리즈 ‘비틀즈: 겟 백’을 제작하던 팀의 관심을 끌었습니다.
제작팀은 스마라그디스를 초청해 비틀즈의 일부 아카이브 녹음 파일을 정리하는 데 도움을 받았습니다.
“그것은 제가 학계에서 하던 방식과는 매우 다른 오디오 처리 방법이었습니다. 이제는 겉보기에는 좋지 않더라도 실제로 잘 들리는 작업을 해야 했죠. 우리가 최적화할 수 있는 정해진 공식도 없었어요.”라고 그는 말합니다.
각 녹음마다 서로 다른 과제가 따랐습니다. 예를 들어, 한 클립에서는 존 레논이 음악을 연주하고 있었고, 폴 매카트니는 장난을 치며 신문의 헤드라인을 읽고 조지 해리슨을 놀리고 있었습니다.
“우리는 각 문제를 개별적으로 해결하기보다는 모든 것을 한 번에 해결할 수 있는 기술적 해결책을 찾으려고 노력했습니다.”라고 그는 말합니다.
그의 기여로 인해 팀은 2022년 다큐멘터리 또는 리얼리티 프로그램 부문에서 음향 편집상을 수상했습니다.
일관된 노력
일리노이 대학교에서 15년간 근무한 후, 스마라그디스는 해당 분야에서 새롭게 대두되는 복합학문적 난제들을 해결하기 위해 MIT 교수진으로 합류하기로 결정했습니다.
현재 그의 연구팀은 두 가지 주요 분야에 집중하고 있습니다. 첫째로, 컴퓨터를 음악가들에게 더욱 유용한 도구로 만드는 시스템을 개발하고 있습니다.
이 분야의 한 프로젝트는 기계가 음악을 듣는 방법을 이해하도록 함으로써, 음악가들에게 건설적인 피드백을 제공할 수 있도록 하는 것입니다.
“우리는 음악가가 갖는 도구 상자를 더욱 강화하고자 합니다. 컴퓨터가 음악가를 대체하도록 하려는 것은 아닙니다.”라고 그는 말합니다.
한편, 그의 연구팀은 과학자와 예술가 모두가 오디오를 처리하고 분석하며 조작하는 데 사용할 수 있는 기본적인 도구들에 주력하고 있습니다.
예를 들어, 그의 팀은 최근 전통적인 기준틀(예: 샘플링 주파수, 프레임 크기, 컨텍스트 윈도우 등)이 고정되어 있거나 심지어 정의조차 되어 있지 않은 상태에서 정교한 신호 처리를 가능하게 하는 알고리즘을 탐구해 왔습니다.
이는 아직까지는 효율적인 처리를 위한 잠재력을 지니고 있음에도 불구하고, 아직 미처 탐구되지 않은 다양한 계산 구조를 의미한다고 스마라그디스는 말합니다.
“이는 많은 기본 개념들을 다시 생각해 보는 것을 요구하지만, 일단 그러한 능력을 갖추게 되면 훨씬 더 유연하고 강력한 시스템을 구축할 수 있게 됩니다.”라고 그는 덧붙입니다.
또한 그들은 대규모 언어 모델과 같은 최신 기법을 음성 인식 및 오디오 향상에 접목하는 방안도 탐구하고 있습니다.
“AI는 매우 강력한 도구이지만, 아직 소리와 음악에 대해 이를 활용하는 이상적인 방법을 찾지 못했다고 생각합니다.”라고 그는 말합니다.
그는 또한 학생들을 지도하고, 그들이 연구 프로젝트에 대한 비전을 구체화할 수 있도록 돕는 것을 즐깁니다.
그의 학생들 중에는 음향 분야에서 컴퓨팅을 활용한 경험이 거의 없기 때문에, 그는 직접 실습하는 수업을 강조하여 학생들이 수식을 실제적인 결과로 변환하는 과정을 보고 들을 수 있도록 합니다.
스마라그디스는 컴퓨터를 사용하든 더 전통적인 악기를 사용하든, 음악을 만드는 일에서 여전히 짜릿함을 느낍니다. 캠퍼스 밖에서는 시간이 날 때마다 재즈 베이스를 연주하려 노력하며, 아내와 15살 된 아들과 함께 보스턴의 풍부한 음악 문화를 탐방하는 것을 즐깁니다.
음악 외에도 그는 수중 하키를 즐기며 코치로 활동하고 있습니다. 이 스포츠는 선수들이 다이빙 마스크를 착용하고 스틱을 이용해 무거운 퍽을 수영장 바닥 위로 상대편 골문 쪽으로 밀어 넣는 종목입니다. 그는 일리노이 대학교의 수중 하키 팀을 지도했으며, 곧 MIT 수중 하키 클럽을 부활시키고 캠퍼스 내에서 대회를 개최하는 계획을 세우고 있습니다.
수중 하키는 비교적 덜 알려진 스포츠일지라도, 스마라그디스가 평생 동안 추구해 온 미개척 분야에 대한 관심과 잘 맞습니다.
“저는 늘 남들이 하는 것과 다른 일을 해 오는 걸 좋아했습니다. 만약 아무도 들어본 적 없는 새로운 소리를 만들어낼 수 있다면, 그것이 곧 새로운 것을 창조하는 능력에 대해 무엇을 의미하는 걸까요? 저는 지금도 이러한 질문들이 정말 매혹적이라고 생각합니다.”라고 그는 말합니다.