인간의 청각 시스템을 모방한 심층 신경망 오디오 모델에 대한 아티스트의 인상(제공: A. Angelica, DALL-E 3)

청각 작업을 수행하도록 훈련된 심층 신경망에 대한 이 최대 규모의 연구에서 MIT 팀은 이러한 모델의 대부분이 사람들이 동일한 소리를 들을 때 인간의 뇌에서 나타나는 속성을 공유한다는 것을 보여주었다.

인간의 청각 시스템을 모방

배경 소음을 포함한 청각 입력에 대해 훈련을 받으면 모델은 인간 청각 피질의 활성화 패턴을 밀접하게 모방하여 동일한 소리를 듣는 사람들의 fMRI 스캔에서 보이는 패턴과 일치한다.

"이것은 지금까지 이런 종류의 모델을 청각 시스템과 가장 포괄적으로 비교한 것이다."고 MIT의 뇌 및 인지 과학 부교수이자 MIT의 McGovern 뇌 연구 연구소 및 뇌, 마음, 기계 센터의 회원이자 PLOS Biology에 게재된 해당 연구의 수석 저자인 조쉬 맥더모트(Josh McDermott)는 말한다.

청각 모델

이 연구를 위해 연구원들은 청각 작업을 수행하도록 훈련된 공개적으로 이용 가능한 9개의 심층 신경망 모델을 분석했다. 또한 두 가지 서로 다른 아키텍처를 기반으로 자체 모델 14개를 만들었다.

이러한 모델의 대부분은 단어 인식, 화자 식별, 환경 소리 인식, 음악 장르 식별 등 단일 작업을 수행하도록 훈련되었으며, 그 중 두 개는 여러 작업을 수행하도록 훈련되었다.

연구자들은 다양한 작업에 대해 훈련된 모델이 오디션의 다양한 측면을 더 잘 복제한다는 사실을 발견했다. 예를 들어 음성 관련 작업에 대해 훈련된 모델은 음성 선택 영역과 더 유사하다.

더 나은 모델

조쉬 맥더모트의 연구실은 이제 인간의 뇌 반응을 재현하는 데 훨씬 더 성공적인 모델을 개발할 계획이다. 이러한 모델은 과학자들이 뇌가 어떻게 조직될 수 있는지에 대해 더 많이 배우는 데 도움이 될 수 있으며 더 나은 보청기, 인공와우 및 뇌-기계 인터페이스를 개발하는 데에도 사용될 수 있다.

“우리 분야의 목표는 뇌 반응과 행동을 예측할 수 있는 컴퓨터 모델을 만드는 것이다. 우리가 그 목표를 성공적으로 달성한다면 많은 기회가 열릴 것이라고 생각한다.”라고 맥더모트는 말한다.

이 연구는 국립 보건원(National Institutes of Health), 사이언스 허브(Science Hub)의 아마존 펠로우십, 미국 여대생 협회(American Association of University Women Association)의 국제 박사 펠로우십, McGovern Institute Fellowship의 MIT 친구, MIT의 K. Lisa Yang ICoN(Integrative Computational Neuroscience) 센터의 펠로우십 및 에너지 계산 과학 대학원 펠로우쉽이다.