생성AI에 대한 엄청난 과대광고 가운데 MIT 연구원들의 새로운 연구는 이 기술이 작업에 미치는 영향을 밝히고 커버레터 작성, 섬세한 이메일, 비용 편익 분석과 같은 작업이 할당된 작업자의 생산성을 높인다는 사실을 밝혔다.
연구의 작업은 실제 작업의 복제본이 아니었다. 회사의 목표나 고객의 선호도와 같은 것에 대한 정확한 사실적 정확성이나 맥락이 필요하지 않았다. 그럼에도 불구하고 연구 참여자 중 다수는 과제가 실제 업무에서 작성했던 것과 유사했으며 이점이 상당했다고 말했다. 보조 챗봇 ChatGPT에 대한 액세스는 작업자가 작업을 완료하는 데 걸리는 시간을 40% 단축했으며 독립적인 평가자가 측정한 출력 품질은 18% 증가했다.
연구원들은 오늘 사이언스 저널에 공개 액세스 형식으로 게재된 이 연구가 사람들이 ChatGPT와 같은 AI 도구가 노동력에 미칠 수 있는 영향을 이해하는 데 도움이 되기를 바란다.
"확실히 말할 수 있는 것은 생성 AI가 사무직에 큰 영향을 미칠 것이라는 점이다. “우리 연구가 보여준 것은 이런 종류의 기술이 사무직에 중요한 응용 프로그램을 가지고 있다는 것이다. 유용한 기술이다. 그러나 그것이 좋을지 나쁠지 또는 사회가 정확히 어떻게 조정될 것인지를 말하기에는 아직 너무 이르다.”
챗봇 작업 시뮬레이션
수세기 동안 사람들은 새로운 기술 발전이 대량 자동화와 실직으로 이어질 것이라고 걱정했다. 그러나 신기술은 또한 새로운 일자리를 창출하며 근로자의 생산성을 높이면 경제에 긍정적인 영향을 미칠 수 있다.
Noy는 경제학자들이 새로운 기술 발전을 생각할 때 생산성을 최우선으로 생각한다. 경제학의 고전적 견해는 기술 발전이 하는 가장 중요한 일은 경제적 산출물을 보다 효율적으로 생산하게 한다는 의미에서 생산성을 높이는 것이라는 것이다."고 말했다.
작업자 생산성에 대한 생성 AI의 영향을 연구하기 위해 연구자들은 453명의 대학 교육을 받은 마케터, 보조금 작가, 컨설턴트, 데이터 분석가, 인적 자원 전문가 및 관리자에게 직업에 맞는 두 가지 쓰기 작업을 할당했다. 20~30분 동안 진행된 작업에는 보조금 신청을 위한 커버 레터 작성, 조직 구조 조정에 대한 이메일, 회사가 주어진 고객 데이터를 기반으로 푸시 알림을 보낼 고객을 결정하는 데 도움이 되는 분석 계획이 포함되었다. 각 참가자와 동일한 직업에 종사하는 경험이 풍부한 전문가들이 마치 작업 환경에서 접하는 것처럼 각 제출물을 평가했다. 평가자는 ChatGPT의 도움으로 어떤 제출물이 생성되었는지 알지 못했다.
참가자 중 절반은 두 번째 과제로 OpenAI에서 개발한 챗봇 ChatGPT-3.5에 대한 액세스 권한을 받았다. 이러한 사용자는 대조군보다 11분 더 빨리 작업을 완료했으며 평균 품질 평가는 18% 증가했다.
데이터는 또한 작업자 간의 성과 불평등이 감소했음을 보여 주었는데, 이는 첫 번째 작업에서 낮은 점수를 받은 작업자가 두 번째 작업에 ChatGPT를 사용함으로써 더 많은 혜택을 받았다는 것을 의미한다.
연구원들은 이러한 작업이 이러한 전문가가 실제 작업에서 보는 작업을 광범위하게 대표한다고 말하지만 많은 제한 사항을 지적했다. 익명의 참가자를 사용했기 때문에 연구원은 특정 회사나 고객에 대한 상황 정보를 요구할 수 없었다. 그들은 또한 각 과제에 대해 명시적인 지침을 제공해야 했지만 실제 작업은 더 개방적일 수 있다. 또한 연구원들은 결과의 정확성을 평가하기 위해 팩트 체커를 고용하는 것이 타당하지 않다고 생각했다. 정확도는 오늘날 생성 AI 기술의 주요 문제이다.
연구원들은 이러한 제한이 현실 세계에서 ChatGPT의 생산성 향상 잠재력을 감소시킬 수 있다고 말했다. 그럼에도 불구하고 그들은 결과가 기술의 가능성을 보여주고 있다고 믿고 있다. 연구 결과 중 또 다른 결과에 의해 뒷받침되는 아이디어이다. 실험 중에 ChatGPT에 노출된 근로자는 실험 2주 후 실제 업무에서 이를 사용한다고 보고할 가능성이 두 배 더 높았다.
Noy는 "실제 세계에서는 사실을 확인하고 프롬프트를 작성하는 데 시간을 소비해야 하기 때문에 속도 이점이 적더라도 실험을 통해 상당한 속도 이점을 제공한다는 것이 입증되었다."고 말한다.
매크로 보기
이 연구는 ChatGPT와 같은 도구가 특정 쓰기 작업에 미칠 수 있는 영향을 자세히 살펴보았다. 그러나 생성 AI가 경제에 미치는 영향을 이해하기 위해 그 영향을 추정하는 것은 더 어렵다. 그것이 연구원들이 다음에 작업하기를 희망하는 것이다.
Zhang은 "우리 논문에 없는 증거를 필요로 하는 임금, 고용, 부문 간 이동에 영향을 미칠 다른 요인이 너무 많다."고 말한다. "그러나 우리 논문에서는 절약된 시간의 크기와 품질 향상이 매우 크므로 적어도 특정 유형의 작업에 있어서는 상당히 혁명적인 것 같다."
두 연구원 모두 ChatGPT가 많은 근로자의 생산성을 높일 것이라는 사실이 받아들여지더라도 사회가 생성 AI의 확산에 어떻게 대응해야 하는지 파악하기 위해 해야 할 일이 많다는 데 동의한다.
"이러한 기술에 적응하는 데 필요한 정책은 향후 연구 결과에 따라 매우 다를 수 있다."라고 Zhang은 말한다. “저임금 근로자의 임금을 인상할 것이라고 생각한다면 이는 이미 고소득자의 임금을 인상하여 임금 불평등을 심화시키는 것과는 매우 다른 의미이다. 파악해야 할 중요한 하류의 경제적, 정치적 영향이 많이 있다고 생각한다.”
