Xinjian Li는 박사이자 컴퓨터 공학부 언어 기술 연구소(LTI)의 학생이다.

"이 세상의 많은 사람들이 다양한 언어를 구사하지만 언어 기술 도구가 모든 사람을 위해 개발되지는 않는다."고 그는 말했다. "모든 사람을 위한 기술과 좋은 언어 모델을 개발하는 것이 이 연구의 목표 중 하나이다."

Li는 언어가 음성 인식 모델을 개발하는 데 필요한 데이터 요구 사항을 단순화하려는 전문가 팀에 속해 있다.

이 팀에는 LTI 교수진 Shinji Watanabe, Florian Metze, David Mortensen 및 Alan Black도 포함된다.

“ASR2K: 오디오 없는 약 2,000개 언어에 대한 음성 인식"이라는 제목의 연구는 한국의 Interspeech 2022에서 발표되었다.

대부분의 기존 음성 인식 모델에는 텍스트 및 오디오 데이터 세트가 필요하다. 수천 개의 언어에 대한 텍스트 데이터가 존재하지만 오디오의 경우에는 그렇지 않다. 팀은 여러 언어에서 공통적인 언어 요소에 집중하여 오디오 데이터의 필요성을 제거하려고 한다.

음성 인식 기술은 일반적으로 언어의 음소에 중점을 둔다. 음소는 다른 언어와 구별되는 뚜렷한 소리이다. 이들은 각 언어마다 고유하다. 동시에 언어에는 단어가 물리적으로 어떻게 들리는지를 설명하는 음소가 있으며 여러 음소가 단일 음소에 해당할 수 있다. 별도의 언어가 다른 음소를 가질 수 있지만 기본 음소는 동일할 수 있다.

팀은 음소에 덜 의존하고 언어 간에 전화가 공유되는 방법에 대한 정보에 더 많이 의존하는 음성 인식 모델을 연구하고 있다. 이렇게 하면 개별 언어마다 별도의 모델을 구축하는 데 필요한 노력을 줄일 수 있다. 언어 간의 관계를 매핑하는 다이어그램인 계통수와 모델을 페어링하면 발음 규칙에 도움이 된다. 팀의 모델과 트리 구조를 통해 오디오 데이터 없이도 수천 개의 언어에 대한 음성 모델을 근사화 할 수 있었다.

"우리는 100개에서 200개 언어에서 2,000개 언어로 이동하는 데 도움이 되는 이 오디오 데이터 요구 사항을 제거하려고 노력하고 있다."라고 Li는 말했다. "이렇게 많은 언어를 대상으로 한 연구는 이번이 처음이며 언어 도구를 이 범위로 확장하는 것을 목표로 하는 첫 번째 팀이다."

이 연구는 아직 초기 단계에 있지만 기존 언어 근사화 도구를 5% 향상시켰다.

“각 언어는 문화에서 매우 중요한 요소이다. 각 언어에는 고유한 스토리가 있으며 언어를 보존하려고 하지 않으면 해당 스토리가 손실될 수 있다.”라고 Li는 말했다. "이러한 음성 인식 시스템과 이 도구를 개발하는 것은 이러한 언어를 보존하기 위한 단계이다."