최근 몇 년 동안 GPT-3와 같은 신경망은 크게 발전하여 사람이 작성한 콘텐츠와 거의 구별할 수 없는 텍스트를 생성한다. 놀랍게도 GPT-3는 수학 문제 및 프로그래밍 작업과 같은 문제를 해결하는 데 능숙하다. 이 놀라운 발전은 다음과 같은 질문으로 이어진다. GPT-3는 인간과 같은 인지 능력을 가지고 있을까?
이 흥미로운 질문에 답하기 위해 막스 플랑크 생물학 사이버네틱스 연구소의 연구원들은 GPT-3에게 일반 지능의 다양한 측면을 평가하는 일련의 심리 테스트를 실시했다.
이 연구는 PNAS에 게재되었다.
린다 문제 풀기: 인지 심리학에 대한 일견
막스 플랑크 연구소의 과학자인 Marcel Binz와 Eric Schulz는 의사 결정, 정보 검색, 인과 추론 및 초기 직관에 의문을 제기하는 능력에서 GPT-3의 능력을 조사했다. 그들은 사회 정의에 열정적이며 원자력에 반대하는 린다라는 가상의 여성을 소개하는 잘 알려진 린다 문제를 포함하여 고전적인 인지 심리학 테스트를 사용했다. 그런 다음 참가자들은 린다가 은행원인지, 아니면 그녀가 은행원인 동시에 페미니스트 운동에 적극적인지 결정하도록 요청 받는다.
GPT-3의 반응은 확률론적 관점에서 가능성이 적음에도 불구하고 두 번째 옵션을 선택하는 동일한 직관적 오류를 범했기 때문에 인간의 반응과 놀랍도록 유사했다. 이 결과는 GPT-3의 의사 결정 프로세스가 인간 언어에 대한 훈련과 프롬프트에 대한 응답에 영향을 받을 수 있음을 시사한다.
능동적 상호 작용: 인간과 같은 지능을 달성하기 위한 경로?
GPT-3가 단순히 암기된 솔루션을 재생산했을 가능성을 제거하기 위해 연구원들은 비슷한 도전 과제를 가진 새로운 작업을 만들었다. 그들의 연구 결과에 따르면 GPT-3는 의사 결정에서 인간과 거의 동등한 성능을 보였지만 특정 정보 및 인과 추론을 검색하는 데는 뒤처졌다.
연구원들은 GPT-3가 텍스트에서 정보를 수동적으로 수신하는 것이 이러한 불일치의 주요 원인일 수 있다고 생각한다. 세상과의 능동적 상호작용이 인간 인지의 완전한 복잡성을 달성하는 데 중요하기 때문이다. 그들은 사용자가 GPT-3와 같은 모델에 점점 더 많이 참여함에 따라 미래의 네트워크가 이러한 상호 작용에서 배우고 점진적으로 더 인간과 유사한 지능을 개발할 수 있다고 말한다.
“이 현상은 GPT-3가 이미 이 정확한 작업에 익숙할 수 있다는 사실로 설명될 수 있다. 사람들이 일반적으로 이 질문에 어떻게 대답하는지 알 수 있다.”고 Binz는 말한다.
GPT-3의 인지 능력을 조사하면 신경망의 잠재력과 한계에 대한 귀중한 통찰력을 얻을 수 있다. GPT-3는 인상적인 인간과 같은 의사 결정 기술을 선보였지만 정보 검색 및 인과 추론과 같은 인간 인지의 특정 측면에서는 여전히 어려움을 겪고 있다. AI가 계속 진화하고 사용자 상호 작용에서 학습함에 따라 미래의 네트워크가 진정한 인간과 같은 지능을 얻을 수 있는지 관찰하는 것은 흥미로울 것이다.
