시드니 공과대학교(UTS)의 연구원들은 조용한 생각을 해독하여 텍스트로 바꿀 수 있는 휴대용 비침습 시스템을 개발했다. 이 기술은 뇌졸중이나 마비 등의 질병이나 부상으로 인해 말을 할 수 없는 사람들의 의사소통에 도움이 될 수 있다. 또한 생체 공학 팔이나 로봇을 작동하는 등 인간과 기계 간의 원활한 통신을 가능하게 할 수도 있다.

GrapheneX-UTS 인간 중심 인공지능 센터의 연구는 GrapheneX-UTS HAI 센터 소장인 CT Lin 특훈교수가 주도했다.

AI 학습 과정

이 연구에서 참가자들은 뇌전도(EEG)를 사용하여 두피를 통해 전기적 뇌 활동을 기록하는 모자를 쓰고 조용히 텍스트 구절을 읽었다. 연구진이 개발한 DeWave라는 AI 모델은 이러한 EEG 신호를 단어와 문장으로 변환한다.

시드니 기술 대학교 회의 신경 정보 처리 시스템, FUNDER; 호주 연구위원회, GrapheneX

Lin은 “뇌에서 텍스트로의 번역 프로세스에 개별 인코딩 기술을 통합한 최초의 사례로, 신경 디코딩에 대한 혁신적인 접근 방식을 도입했다.”라고 말했다.

침습적인 뉴럴링크(Neuralink)형 임플란트나 MRI 기계가 필요하지 않다.

그는 또한 새로운 시스템을 사용하면 뇌 신호를 언어로 변환할 필요가 없어진다고 말했다.

일론 머스크의 Neuralink는 뇌에 전극을 이식하는 수술이 필요하거나 크고 비싸며 일상 생활에서 사용하기 어려운 MRI 기계로 스캔해야 했다. UTS 연구는 29명의 참가자를 대상으로 수행되었으므로 한 번에 한두 명의 개인에게만 테스트한 이전 디코딩 기술보다 더 강력하고 적응성이 뛰어날 가능성이 높다.

정확도 개선 필요

번역 정확도 점수는 현재 BLEU-1(고품질 참조 번역 세트에 대한 기계 번역 텍스트의 유사성을 측정하는 0과 1 사이의 숫자)에서 약 40%이다. 연구원들은 이것이 90%에 가까운 전통적인 언어 번역이나 음성 인식 프로그램과 비교할 수 있는 수준으로 향상되기를 바라고 있다.

이 연구는 UTS가 호주 방위군과 협력하여 개발한 이전의 뇌-컴퓨터 인터페이스 기술에 이어 진행된다. 뇌파를 사용하여 4족 로봇을 명령한다.

2023년 12월 12일 뉴올리언스에서 개최되는 NeurIPS 컨퍼런스에서 12월 12일에 논문이 발표될 예정이다.