광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[유아의 언어 학습 일반화 능력을 모방하는 AI 모델] 인간과 마찬가지로 이 획기적인 AI는 학습한 단어에서 개념을 만든다. 처음으로 일반 신경망이 정면 비교에서 인간의 체계적인 일반화를 모방하거나 능가할 수 있다는 것을 보여주었다.

https://singularityhub.com/2023/10/31/like-humans-this-breakthrough-ai-makes-concepts-out-of-words-it-learns/

JM Kim | 기사입력 2023/11/02 [00:00]

[유아의 언어 학습 일반화 능력을 모방하는 AI 모델] 인간과 마찬가지로 이 획기적인 AI는 학습한 단어에서 개념을 만든다. 처음으로 일반 신경망이 정면 비교에서 인간의 체계적인 일반화를 모방하거나 능가할 수 있다는 것을 보여주었다.

https://singularityhub.com/2023/10/31/like-humans-this-breakthrough-ai-makes-concepts-out-of-words-it-learns/

JM Kim | 입력 : 2023/11/02 [00:00]

프레리도그는 개가 아니다. 허쉬 키스를 닮은 몸과 정교한 삑삑거리는 소리로 골든 리트리버라기보다는 햄스터에 가깝다.

인간은 프레리도그가 일반적인 의미의 개가 아니라는 것을 즉시 깨닫는다. AI는 고군분투한다.

 

유아기라도 우리는 세상에 대해 배운 것을 개념으로 바꾸는 놀라운 능력을 가지고 있다. 몇 가지 예를 통해 우리는 무엇이 ""를 만드는지 또는 "점프" 또는 "건너뛰기"가 무엇을 의미하는지에 대한 아이디어를 형성한다. 이러한 개념은 우리 머릿속에서 쉽게 혼합되고 일치되어 유아가 프레리도그를 가리키며 "그런데 저건 개가 아니야!"라고 소리지르는 결과를 낳는다.

 

지난주 뉴욕대학교 팀은 유아의 언어 학습 일반화 능력을 모방하는 AI 모델을 만들었다. 간단히 말해서, 일반화는 Z세대 용어를 따라잡기 위해 고군분투하는 나이 많은 밀레니얼 세대처럼 새로운 맥락에서 새로 배운 단어를 사용할 수 있게 해주는 일종의 유연한 사고이다.

일반화를 위한 언어 작업에서 성인 인간과 경쟁했을 때 모델은 그들의 성과와 일치했다. 또한 ChatGPT AI 알고리즘인 GPT-4를 능가했다.

그 비결은 의외로 인간적이었다. 새로운 신경망은 인간의 테스트 결과에서 오류를 재현하고 그로부터 학습하도록 훈련되었다.

 

연구 저자인 브렌든 레이크(Brenden Lake) 박사는 “35년 동안 인지 과학, 인공지능, 언어학, 철학 분야의 연구자들은 신경망이 인간과 같은 체계적인 일반화를 달성할 수 있는지 여부에 대해 토론해 왔다.”고 말했다. "우리는 처음으로 일반 신경망이 정면 비교에서 인간의 체계적인 일반화를 모방하거나 능가할 수 있다는 것을 보여주었다."

 

영리한 불화

대부분의 AI 모델은 뇌에 대략적으로 기반을 둔 방법인 딥 러닝에 의존한다.

아이디어는 간단하다. 인공 뉴런은 상호 연결되어 신경망을 형성한다. 인공 뉴런 사이의 연결 강도를 변경함으로써 신경망은 자율 택시 운전이나 신약 발견을 위한 화학 물질 검사와 같은 많은 작업을 학습할 수 있다.

 

그러나 신경망은 뇌에서 훨씬 더 강력하다. 연결은 끊임없이 변화하는 환경에 빠르게 적응하고 개인의 경험과 기억에서 나온 개념을 하나로 묶는다. 예를 들어, 우리는 길을 건너는 야생 당나귀를 쉽게 식별하고 언제 브레이크를 밟아야 하는지 알 수 있다. 야생 당나귀에 대한 훈련이 없으면 로봇 자동차가 흔들릴 수 있다.

 

문제는 일반화이다. : 도로란 무엇인가? 포장된 고속도로인가, 울퉁불퉁한 흙길인가, 아니면 관목으로 둘러싸인 등산로인가?

1980년대에 인지과학자 제리 포더(Jerry Fodor)와 제논 필리신(Zenon Pylyshyn)은 인공 신경망이 "도로"와 같은 개념을 이해할 수 없으며 새로운 시나리오를 탐색하는 데 유연성을 발휘할 수 없다는 유명한 제안을 했다.

새로운 연구를 주도한 과학자들은 이 도전에 정면으로 도전했다. 그들의 해결책은 무엇일까? 인간의 반응에 맞춰 미세 조정된 인공 신경망이다.

 

기계를 가진 남자

기본적으로 팀은 먼저 25명에게 새로운 구성 언어를 배우도록 요청했다. 기존 언어를 사용하는 것에 비해 판타지 언어는 인간 참가자를 테스트할 때 편견을 방지한다.

이 연구는 인간의 언어 능력을 활용하기 위해 "주로 사고 실험에 의존하는 고전적인 작업을 넘어" 진행되었다고 저자는 연구에서 설명했다. 테스트는 주로 문법에 초점을 맞춘 이전 설정과 달랐다. 대신 참가자들이 단어만으로 구성된 언어를 이해하고 일반화하는 것이 중요했다.

새로운 언어를 가르치는 것처럼 팀은 "dax", "lug", "wif" 또는 "zup"와 같은 간단하고 의미 없는 단어로 시작했다. 이는 건너뛰기 또는 점프와 같은 기본 동작으로 해석된다.

 

그런 다음 팀은 이전 단어를 문장으로 연결하고 개념과 개념을 만드는 데 사용할 수 있는 더 복잡한 단어인 "blicket" 또는 "kiki"를 도입했다. 이러한 추상적인 단어는 간단한 단어와 함께 사용되면 "뒤로 건너뛰기" 또는 "세 번 건너뛰기"를 의미할 수 있다.

자원봉사자들은 각 단어를 색상과 연관시키도록 훈련을 받았다. 예를 들어 "dax"는 빨간색이고 "lug"는 파란색이었다. 색상은 자원봉사자들이 새로운 언어의 규칙을 배우는 데 도움이 되었다. 한 단어 조합으로 인해 세 개의 빨간색 원이 생겼고, 다른 하나는 파란색으로 깜박였다. 그러나 중요한 것은 "fep"과 같은 일부 단어는 다른 단어와 짝을 이루더라도 불이 켜져 판타지 언어의 문법적 기초를 제안한다는 것이다.

 

14차례의 학습 후에 자원봉사자들은 만들어진 단어의 의미에 대한 10가지 질문에 도전했고 더 복잡한 질문으로 일반화하도록 요청받았다. 각 작업에 대해 참가자들은 해당 색상 원을 선택하고 이를 적절한 순서로 배치하여 문구를 만들어야 했다.

그들은 뛰어났다. 인간은 대략 80%의 시간 동안 올바른 색상을 선택했다. 오류의 대부분은 더 큰 문맥을 고려하지 않고 단어를 기본 의미로 번역하는 "일대일" 번역 문제였다.

29명으로 구성된 두 번째 팀도 판타지 언어를 빠르게 학습하여 'fep fep'와 같은 조합을 문제없이 번역했다.

 

학습한 언어

AI 모델을 구축하기 위해 팀은 몇 가지 기준에 중점을 두었다.

첫째, 몇 가지 학습 사례를 일반화해야 했다. 둘째, 유사한 작업을 수행할 때 오류에 인간처럼 대응해야 했다. 마지막으로, 모델은 단어를 학습하고 어휘에 쉽게 통합하여 각 단어에 대한 일종의 "개념"을 형성해야 했다

이를 위해 팀은 구성성을 위해 메타러닝을 사용했다. 그렇다, 악당의 초능력 같다. 그러나 그것이 하는 일은 비교적 간단하다.

 

팀은 인간 자원 봉사자들에게 주어진 것과 같은 과제를 인공 신경망에 부여했다. 네트워크는 동적 "서지"가 전체 기능을 변경함에 따라 최적화되어 정적 데이터 세트에 의존하는 표준 AI 접근 방식에 비해 즉석에서 더 잘 학습할 수 있다. 일반적으로 이러한 기계는 일련의 연구 사례를 사용하여 문제를 처리한다. 모스 부호를 해독하는 것이라고 생각해보자. 그들은 점과 대시로 된 메시지를 받고 그 순서를 일반 영어로 번역한다.

 

하지만 언어가 영어가 아니고 고유한 개념과 규칙이 있다면 어떨까요? 정적 훈련 세트는 AI 단어 제작자에게 실패한다.

여기에서 팀은 기계가 개념을 혼합하고 일치시키는 데 필요한 작업의 "동적 흐름"을 통해 AI를 안내했다. 한 예에서는 두 번 건너뛰도록 요청받았다. AI 모델은 "점프"가 아닌 "건너뛰기"라는 개념을 독립적으로 학습했으며, 두 번은 "두 번"을 의미한다. 그런 다음 이러한 학습은 신경망을 통해 제공되었으며 결과적인 행동은 명령과 비교되었다. 예를 들어 AI 모델이 세 번 건너뛴 경우 결과는 AI 모델이 올바른 응답을 향해 조금씩 나아가는 데 도움이 되는 피드백을 제공했다. 반복을 통해 결국 서로 다른 개념을 연관시키는 법을 배웠다.

그런 다음 두 번째 단계가 왔다. 팀은 움직임과 같이 AI 모델이 이미 학습한 컨텍스트에 "tiptoe"라는 새로운 단어를 추가한 다음 "뒤로 발끝"을 요청했다. 이제 모델은 "발끝"을 기존 어휘와 움직임 개념에 결합하는 방법을 배워야 했다.

 

AI를 더욱 훈련시키기 위해 팀은 인간 참가자로부터 데이터를 제공하여 인간의 실수로부터 학습할 수 있도록 했다. 새로운 퍼즐에 도전했을 때 AI는 실험의 65%에서 인간의 반응을 모방하여 유사한 AI 모델보다 뛰어난 성능을 발휘했으며 어떤 경우에는 인간 참가자를 능가했다.

이 모델은 언어 AI의 미래에 대한 자연스러운 질문을 제기한다고 팀은 썼다. 예를 들어 AI 모델의 문법을 가르치는 대신, 더 넓은 범위를 제공하면 다양한 언어 구성 요소를 결합하여 어린이의 언어 이해 능력을 모방하는 데 도움이 될 수 있다.

 

AI를 사용하면 인간이 단어를 구문, 문장, , 에세이로 결합하는 방법을 어떻게 배웠는지 이해하는 데 도움이 될 수 있다. 또한 이 시스템은 아이들이 어떻게 어휘력을 쌓는지에 대한 통찰력을 제공하고, 결과적으로 세상에 대한 개념과 지식에 대한 직감적인 이해를 형성할 수 있다. 언어를 제외하고, 새로운 AI 모델은 기계가 수학, 논리, 심지어는 컴퓨터 프로그래밍과 같은 다른 분야를 구문 분석하는 데에도 도움이 될 수 있다.

“마법이 아니라 연습이다. 어린이가 모국어를 배울 때 연습을 하는 것과 마찬가지로 모델은 일련의 작문 학습 과제를 통해 작문 능력을 향상시킨다.”라고 레이크는 네이처에 말했다.

이미지 출처: Andreas Fickl / Unsplash

 
AI, 유아 언어 학습, 일반화, AI 모델, 신경망, ChatGPT 관련기사목록
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
최신기사