뇌-아바타 인터페이스 덕분에 마비된 여성이 다시 말을 할 수 있게 됐다 뇌 이식 덕분에 그녀는 이전 기록보다 4배 더 빠르게 말할 수 있게 되었다.
“이제 마비가 있는 사람에게 유동적인 대화를 복원하여 그들이 말하고 싶은 것이 무엇이든 믿을 수 있을 만큼 높은 정확도로 자유롭게 말할 수 있게 하는 미래를 상상하는 것이 가능하다.”고 장치 중 하나에 대한 연구를 공동 저술한 프랜시스 윌렛(Francis Willett)은 말했다.
과제: 뇌 손상, 신경 질환, 뇌졸중 및 기타 건강 문제로 인해 수많은 사람들이 말하는 능력을 상실했다. 비록 언어를 이해하고 말하고 싶은 내용을 알고 있음에도 불구하고 신체가 협조하지 않는다.
팻 베넷(Pat Bennett)도 그 중 하나이다.
68세인 이 여성은 약 10년 전 근위축성측색경화증(ALS) 진단을 받았으며, 질병이 진행됨에 따라 언어를 해독하는 데 필요한 근육을 움직이는 능력을 상실했다. 그녀는 여전히 손가락으로 타이핑을 할 수 있지만 그 과정은 점점 더 어려워지고 있다.
앤 존슨(Ann Johnson)은 또 다른 사람이다.
2005년에 그녀는 뇌간 뇌졸중으로 인해 완전히 마비되었다. 이제 47세인 그녀는 머리와 얼굴 일부를 조금씩 움직일 수 있지만 여전히 말을 할 수는 없다. 그녀는 보조 장치를 사용하여 분당 14단어(wpm)의 속도로 말하고 싶은 단어를 철자하지만 평균 말하는 속도인 160wpm보다 훨씬 느리다.
새로운 소식: 베넷와 존슨은 이제 뇌 임플란트와 훈련된 컴퓨터 알고리즘을 결합하여 생각을 텍스트로 번역하는 새로운 음성 BCI 덕분에 평균 60~80wpm의 속도로 "말하는" 능력을 회복했다.
BCI를 사용한 이전 음성 기록은 18wpm에 불과했다.
베넷의 시스템은 스탠포드 대학교의 팀에 의해 개발되었으며 존슨의 시스템은 UC 샌프란시스코의 연구원들의 작업이었다. 스탠포드 연구는 이전에 인쇄 전 서버인 bioRXiv에서 공유되었지만 두 그룹 모두 8월 23일 동료 심사 저널인 네이쳐에 자신들의 장치에 대한 논문을 발표했다.
작동 방식: 2022년 베넷은 언어에 역할을 하는 것으로 알려진 뇌의 가장 바깥층에 4개의 센서를 이식하는 수술을 받았다. 뇌 임플란트에서 흐르는 금선이 두개골의 포트에 연결된다.
포트를 컴퓨터에 연결한 후 그녀는 대규모 데이터 세트에서 문장을 반복하는 데 25개 세션에 걸쳐 약 100시간을 보냈다.
이 세션 동안 베넷의 뇌 활동을 분석함으로써 컴퓨터 알고리즘은 베넷이 39가지 기본 음소("sh" 또는 "t"와 같은 소리 단위)를 영어로 말하려고 할 때 베넷의 뇌에서 어떻게 보이는지 학습했다.
Pat Bennett 및 여러 연구팀 구성원. 출처: Steve Fisch/Stanford Medicine
이제 베넷이 말을 시도하면 시스템은 그녀가 생각하는 음소에 대한 최선의 추측을 언어 모델로 보내어 단어를 예측하고 화면에 표시한다.
윌렛은 “이 시스템은 어떤 단어가 다른 단어 앞에 와야 하는지, 어떤 음소가 어떤 단어를 만드는지 알도록 훈련되었다.”라고 말했다. "일부 음소가 잘못 해석된 경우에도 여전히 좋은 추측이 가능하다."
시스템을 사용하여 베넷은 평균 62wpm의 속도로 "말"할 수 있다. 50단어 어휘로만 제한되면 음성 BCI의 오류율은 9.1%이다. 어휘를 12만5천 단어로 확장하면 비율은 23.8%로 4개 단어 중 1개 정도가 틀렸다.
그것은 높은 것처럼 들리지만 또한 큰 진전이다. 이전에 속도 기록을 보유한 BCI는 50개 단어 어휘에서 평균 오류율이 25%였다.
한편 존슨 팀은 그녀의 뇌 표면에 덜 침습적인 절차인 단 하나의 센서를 배치했지만 스탠포드 그룹에서 사용하는 4개의 센서와 거의 동일한 총 전극 수를 포함했다.
그런 다음 그녀는 1,024단어 데이터 세트에서 문구를 반복하여 몇 주 동안 자신이 말하려는 영어 음소 39개 중 어느 것을 예측하도록 알고리즘을 훈련했다. 훈련이 끝날 때까지 시스템은 그녀가 말하려고 하는 데이터세트의 단어를 평균 속도 78wpm, 오류율 25.5%로 예측할 수 있었다.
앤 존슨의 뇌 표면에 있는 센서의 그림. 이미지 출처: Ken Probst
하지만 UCSF 팀은 단어를 화면에 텍스트로 표시하는 대신 연설 BCI를 한 단계 더 발전시켜 존슨 얼굴의 디지털 아바타와 그녀처럼 들리도록 훈련된 합성 음성과 결합했다.
존슨에게 올바른 표정을 짓도록 아바타를 훈련시키기 위해 연구자들은 그녀가 표정을 짓려고 시도할 때 그녀의 뇌 활동을 계속해서 기록했다.
존슨의 목소리를 재현하기 위해 그들은 그녀의 인생을 바꾸는 뇌졸중이 일어나기 불과 몇 달 전에 일어난 결혼식에서 그녀가 연설하는 녹음 내용을 AI에 제공했다.
연구원인 케일로 리틀존(Kaylo Littlejohn)은 "앤이 이 시스템을 처음 사용하여 아바타의 얼굴을 동시에 말하고 움직이게 했을 때 이것이 실제적인 영향을 미칠 것이라는 것을 알았다."고 말했다.
전망: 베넷과 존슨 모두 센서를 이식하기 위해 위험한 뇌 수술을 받아야 했으며, 불행하게도 시간이 지남에 따라 뇌 이식 주변에 형성되는 흉터 조직이 뇌 신호를 방해하기 시작할 가능성이 높다.
오류율도 여전히 상대적으로 높으며 두 시스템 모두 실험실에서만 사용할 수 있으며 많은 시간의 교육이 필요하다.
그러나 흉터 조직으로 이어지지 않거나 침습적 절차가 필요하지 않은 무선 BCI 및 뇌 임플란트가 개발 중이며 음성 BCI를 지원하는 AI가 점차 향상되어 오류율이 낮아지고 훈련 시간이 빨라질 수 있다.
미래에는 이러한 기술이 디지털 아바타와 향상된 합성 음성과 결합되어 수많은 사람들이 질병이나 부상으로 인해 목소리를 잃기 전처럼 힘들이지 않고 표현력 있게 의사 소통하는 데 도움이 될 것이라고 상상하는 것은 어렵지 않다.
