GPT-3: 인간의 지능과 일치하는가?

UCLA 연구에 따르면 OpenAI에서 개발한 AI 언어 모델인 GPT-3는 특히 지능 테스트 및 SAT와 같은 표준화된 시험에서 볼 수 있는 것과 유사한 문제를 해결해야 할 때 대학생과 거의 동등한 추론 능력을 보여준다. 네이쳐 휴먼 비헤이비어(Nature Human Behaviour) 저널에 발표된 이 계시는 흥미로운 질문을 제기한다. GPT-3는 광범위한 언어 훈련 데이터 세트로 인해 인간의 추론을 모방할까, 아니면 완전히 새로운 인지 프로세스를 활용하고 있을까?

GPT-3의 정확한 작동 방식은 OpenAI에 의해 숨겨져 있어 UCLA의 연구원들은 유추적 추론 기술 뒤에 있는 메커니즘에 대해 궁금해하고 있다. 특정 추론 작업에서 GPT-3의 뛰어난 성능에도 불구하고 이 도구에 결함이 없는 것은 아니다. 이 연구의 주요 저자이자 UCLA의 박사후 연구원인 테일러 웹(Taylor Webb)은 다음과 같이 말했다. “GPT-3는 유추적 추론을 수행할 수 있지만 물리적 작업을 위해 도구를 사용하는 것과 같이 인간에게 사소한 작업에 어려움을 겪는다.”

GPT-3의 기능은 복잡한 모양 시퀀스를 포함하는 테스트인 레이븐(Raven)의 프로그레시브(Progressive Matrices)에서 영감을 받은 문제를 사용하여 테스트되었다. 이미지를 GPT-3가 해독할 수 있는 텍스트 형식으로 변환함으로써 웹은 이것이 AI에 대한 완전히 새로운 도전임을 확인했다. 40명의 UCLA 학부생과 비교할 때 GPT-3는 인간의 성과와 일치했을 뿐만 아니라 인간이 저지른 실수도 반영했다. AI 모델은 문제의 80%를 정확하게 해결하여 인간의 평균 점수를 초과했지만 최고 수행자의 범위에 속했다.

팀은 AI가 인간 평균을 능가하는 미공개 SAT 유추 질문을 사용하여 GPT-3의 능력을 추가로 조사했다. 그러나 새로운 GPT-4 모델이 개선된 결과를 보였지만 단편 소설에서 유추를 시도할 때 약간 흔들렸다.

AI-인간 인지 격차 해소

UCLA의 연구자들은 단순한 비교에 그치지 않는다. 그들은 인간의 인지에서 영감을 얻은 컴퓨터 모델 개발에 착수했으며, 그 능력을 상용 AI 모델과 지속적으로 병치했다. UCLA 심리학 교수이자 공동 저자인 키스 홀리악(Keith Holyoak)은 "우리의 심리적 AI 모델은 GPT-3의 최신 업그레이드가 우수하거나 동등한 기능을 표시하기 전까지는 유추 문제에서 다른 모델을 능가했다."고 말했다.

그러나 팀은 특히 물리적 공간에 대한 이해가 필요한 작업에서 GPT-3가 뒤처지는 특정 영역을 식별했다. 도구 사용과 관련된 문제에서 GPT-3의 솔루션은 눈에 띄게 빗나갔다.

이 연구의 수석 저자인 홍징 루(Hongjing Lu)는 지난 2년 동안 기술의 도약, 특히 AI의 추론 능력에 놀라움을 표시했다. 그러나 이러한 모델이 진정으로 인간처럼 "생각"하는지 또는 단순히 인간의 생각을 모방하는지 여부는 여전히 논쟁의 여지가 있다. AI의 인지 프로세스에 대한 통찰력을 얻으려면 AI 모델의 백엔드에 대한 액세스가 필요하며 이는 AI의 미래 궤적을 형성할 수 있는 도약이다.

웹은 이러한 정서를 반영하여 “GPT 모델의 백엔드에 대한 액세스는 AI 및 인지 연구자들에게 막대한 혜택을 줄 것이다. 현재 우리는 입력과 출력으로 제한되어 있으며 우리가 열망하는 결정적인 깊이가 부족하다.”