세계 최대 학술지 출판사 중 일부는 저자가 고급 챗봇인 ChatGPT를 사용하는 것을 금지하거나 제한했다. 봇은 인터넷의 정보를 사용하여 질문에 대한 읽기 쉬운 답변을 생성하기 때문에 게시자는 부정확하거나 표절된 작업이 학술 문헌 페이지에 들어갈 수 있다고 걱정한다.

몇몇 연구자들은 이미 학술 연구의 공동 저자로 챗봇을 나열했으며 일부 게시자는 이러한 관행을 금지했다. 그러나 세계 최고의 과학 저널 중 하나인 Science의 편집장은 한 걸음 더 나아가 제출된 논문에 프로그램의 텍스트를 사용하는 것을 금지했다.

이러한 챗봇의 사용이 학술 출판사의 관심을 끄는 것은 놀라운 일이 아니다. Finance Research Letters에 발표된 우리의 최근 연구는 ChatGPT가 학술 저널에 게재될 재정 논문을 작성하는 데 사용될 수 있음을 보여주었다. 봇이 다른 영역보다 일부 영역에서 더 나은 성능을 보였음에도 불구하고 우리의 전문 지식을 추가함으로써 저널 리뷰어의 눈에 프로그램의 한계를 극복하는 데 도움이 되었다.

그러나 우리는 게시자와 연구자가 ChatGPT를 반드시 위협으로 간주해서는 안 되며 오히려 저비용 또는 무료 전자 비서와 같은 잠재적으로 중요한 연구 보조 수단으로 간주해야 한다고 주장한다.

우리의 생각은 ChatGPT를 사용하는 것만으로도 좋은 결과를 쉽게 얻을 수 있다면 이러한 좋은 결과를 훌륭한 결과로 바꾸기 위해 우리가 할 수 있는 추가 작업이 있을 수 있다는 것이었다.

우리는 먼저 ChatGPT에게 연구 아이디어, 문헌 검토(동일한 주제에 대한 이전 학술 연구 평가), 데이터 세트, 테스트 및 검사 제안이라는 연구 연구의 표준 네 부분을 생성하도록 요청했다. 우리는 광범위한 주제만 지정했고 결과는 "훌륭한 금융 저널"에 게시될 수 있어야 한다.

이것은 우리가 ChatGPT를 사용하기로 선택한 방법 중 하나의 버전이었다. 버전 2의 경우 관련 기존 연구 연구의 초록(요약) 200개 바로 아래에 ChatGPT 창에 붙여넣었다.

그런 다음 프로그램에서 네 가지 연구 단계를 만들 때 이를 고려하도록 요청했다. 마지막으로 버전 3의 경우 학술 연구원의 의견인 "도메인 전문 지식"을 추가했다. 우리는 컴퓨터 프로그램에서 생성된 답변을 읽고 개선을 위한 제안을 했다. 그렇게 함으로써 우리는 우리의 전문성을 ChatGPT의 전문성과 통합했다.

그런 다음 32명의 검토자로 구성된 패널에게 각각 ChatGPT를 사용하여 학술 연구를 생성하는 방법에 대한 한 가지 버전을 검토하도록 요청했다. 리뷰어들은 출력물이 충분히 포괄적이고 정확한지 여부와 "좋은" 학술 금융 저널에 게재될 만큼 충분히 참신한 기여를 했는지 평가하도록 요청받았다.

큰 교훈은 이러한 모든 연구가 전문 리뷰어에 의해 일반적으로 수용 가능한 것으로 간주되었다는 것이다. 이것은 다소 놀라운 일이다. 챗봇은 양질의 학술 연구 아이디어를 생성할 수 있는 것으로 간주되었다. 이것은 창의성의 의미와 창의적인 아이디어의 소유권에 대한 근본적인 질문을 제기한다. 아직 아무도 확실한 답을 가지고 있지 않은 질문이다.

강점과 약점

결과는 또한 ChatGPT의 몇 가지 잠재적인 강점과 약점을 강조한다. 우리는 다른 연구 섹션이 다르게 평가되었음을 발견했다. 연구 아이디어와 데이터 세트는 높은 평가를 받는 경향이 있었다. 문헌 검토 및 테스트 제안에 대해 더 낮았지만 여전히 허용 가능한 등급이 있었다.

ChatGPT가 외부 텍스트 집합을 가져와 연결(연구 아이디어의 본질)하거나 한 문서에서 쉽게 식별할 수 있는 섹션을 가져와 조정하는 데 특히 강하다는 것이다(예: 데이터 요약 — 쉽게 식별할 수 있는 대부분의 연구에서 "텍스트 청크").

플랫폼의 상대적 약점은 작업이 더 복잡할 때, 즉 개념 프로세스에 너무 많은 단계가 있을 때 명백해졌다. 문헌 검토 및 테스트가 이 범주에 속하는 경향이 있다. ChatGPT는 이러한 단계 중 일부는 잘하는 경향이 있지만 전부는 아니다. 이건 리뷰어들이 뽑은거 같다.

그러나 우리는 가장 진보된 버전(버전 3)에서 이러한 한계를 극복할 수 있었고, 여기에서 수용 가능한 결과를 얻기 위해 ChatGPT와 협력했다. 고급 연구의 모든 섹션은 검토자에 의해 높은 평가를 받았으며 이는 학술 연구원의 역할이 아직 죽지 않았음을 시사한다.

윤리적 영향

ChatGPT는 도구이다. 우리 연구에서 우리는 약간의 주의를 기울이면 수용 가능한 재무 연구를 생성하는 데 사용될 수 있음을 보여주었다. 신경 쓰지 않아도 그럴듯한 작업이 생성된다.

여기에는 몇 가지 분명한 윤리적 함의가 있다. 연구 무결성은 이미 학계에서 시급한 문제이며 RetractionWatch와 같은 웹 사이트는 가짜, 표절 및 완전히 잘못된 연구 연구를 꾸준히 전달한다. ChatGPT가 이 문제를 더욱 악화시킬 수 있을까?

짧은 대답일 수도 있다. 그러나 지니를 병에 다시 넣을 수는 없다. 이 기술은 또한 더 좋아질 것이다(빠르게). 우리가 연구에서 ChatGPT의 역할을 정확히 어떻게 인정하고 단속할 수 있는지는 앞으로 더 큰 문제가 될 것이다. 그러나 우리의 연구 결과는 이와 관련하여 유용하다. 연구자 전문 지식을 갖춘 ChatGPT 연구 버전이 우수하다는 사실을 발견함으로써 우리는 인간 연구자의 의견이 수용 가능한 연구에 여전히 중요하다는 것을 보여준다.

현재 우리는 연구자들이 ChatGPT를 위협이 아닌 보조자로 보아야 한다고 생각한다. 특히 전통적인 (인적) 연구 지원을 위한 재정 자원이 부족한 경향이 있는 연구 그룹, 즉 신흥 경제 연구원, 대학원생 및 신입 연구원을 위한 보좌관이 될 수 있다. ChatGPT(및 유사한 프로그램)가 연구 프로세스를 민주화하는 데 도움이 될 수 있다.

그러나 연구자들은 저널 논문을 준비하는 데 사용이 금지되어 있다는 사실을 인지할 필요가 있다. 이 기술에 대한 관점이 크게 다르기 때문에 주의해서 사용해야 한다.

Freethink