무언가를 올바르게 해석하기 위해 AI 모델을 훈련하는 전통적인 방법은 레이블이 지정된 예제를 많이(예: 수백만) 제공하는 것이다. 고양이 부분에 라벨이 붙은 고양이 사진, 화자와의 대화 및 전사된 단어 등. 그러나 연구자들이 다음 훈련에 필요한 크기의 데이터베이스를 수동으로 생성하는 것이 더 이상 가능하지 않다는 것을 발견함에 따라 이러한 접근 방식은 더 이상 유행하지 않는다.

현재 가장 유망한 AI 시스템 중 일부는 자가 감독(self-supervised)이라고 하는 것이다. 책이나 사람들이 상호 작용하는 비디오와 같은 레이블이 지정되지 않은 대량의 데이터에서 작동하고 시스템의 규칙이 무엇인지에 대한 구조화된 자체 이해를 구축할 수 있는 모델이다. 예를 들어, 천 권의 책을 읽음으로써 그것은 대상이나 관사 또는 쉼표가 무엇인지 알려주지 않고 문법 구조에 대한 단어와 아이디어의 상대적인 위치를 배울 것이다. 많은 예에서 추론을 끌어내어 얻은 것이다.

이것은 직관적으로 사람들이 배우는 방식과 더 비슷하며, 이것이 연구자들이 선호하는 이유의 일부이다. 그러나 모델은 여전히 단일 모드인 경향이 있으며 음성 인식을 위한 반 지도 학습 시스템을 설정하기 위해 수행하는 모든 작업은 이미지 분석에 전혀 적용되지 않는다. 단순히 너무 다르다. 바로 여기에서 Facebook/Meta의 최신 연구인 data2vec라는 이름이 눈에 띄게 나타난다.

data2vec의 아이디어는 좀 더 추상적인 방식으로 학습하는 AI 프레임워크를 구축하는 것이었다. 즉, 처음부터 읽을 책이나 스캔할 이미지 또는 소리를 낼 음성을 제공할 수 있으며 약간의 훈련 후에는 그런 것들을 배우라. 씨앗 하나로 시작하는 것과 조금 비슷하지만, 어떤 식물 사료를 주느냐에 따라 수선화, 팬지 또는 튤립으로 자란다.

다양한 데이터 말뭉치에 대해 학습시킨 후 data2vec를 테스트한 결과 해당 모달리티에 대해 비슷한 크기의 전용 모델과 경쟁력이 있었고 성능이 더 우수했다. (즉, 모델이 모두 100MB로 제한되는 경우 data2vec가 더 나았다. 특수 모델은 성장함에 따라 여전히 성능을 능가할 것이다.)

팀은 블로그 게시물에서 "이 접근 방식의 핵심 아이디어는 보다 일반적으로 학습하는 것이다. AI는 완전히 익숙하지 않은 작업을 포함하여 다양한 작업을 수행하는 방법을 배울 수 있어야 한다."라고 썼다. "우리는 또한 data2vec가 컴퓨터가 작업을 수행하기 위해 레이블이 지정된 데이터가 거의 필요하지 않은 세상에 더 가까이 다가갈 수 있기를 바란다."

마크 주커버그(Mark Zuckerberg) 최고경영자(CEO)는 이번 연구에 대해 “사람들은 시각, 소리, 말의 조합을 통해 세상을 경험하고 이러한 시스템은 언젠가 우리가 하는 방식으로 세상을 이해할 수 있게 될 것”이라고 말했다.

이것은 아직 초기 단계의 연구이므로 전설적인 "일반 AI"가 갑자기 등장할 것이라고 기대하지 말라. 그러나 다양한 도메인 및 데이터 유형과 작동하는 일반화된 학습 구조를 가진 AI를 갖는 것이 더 나은 것 같다. 오늘날 우리가 사용하는 단편화 된 마이크로 지능보다 더 우아한 솔루션이다.

data2vec의 코드는 오픈 소스이다. it 및 일부 사전 훈련된 모델은 여기에서 사용할 수 있다.