인공지능-사용자 상호작용에 미치는 사전 믿음의 영향

새로운 연구에 따르면, 챗봇과 같은 인공지능(AI) 에이전트에 대한 누군가의 사전 믿음은 해당 에이전트와의 상호작용과 신뢰성, 공감 및 효율성에 대한 인식에 중요한 영향을 미치는 것으로 나타났다.

연구는 200명의 참가자를 대상으로 했으며, 참가자들은 AI 챗봇과 일련의 대화를 나누었다. 대화는 AI가 공감적이거나 사악한 것으로 설정되었다.

연구 결과, AI가 공감적이라고 생각한 참가자들은 대화를 더 긍정적으로 평가하고, AI를 더 신뢰하고, AI가 더 효율적이라고 생각했다. 반면, AI가 사악하다고 생각한 참가자들은 대화를 더 부정적으로 평가하고, AI를 덜 신뢰하고, AI가 덜 효율적이라고 생각했다.

연구의 저자들은 이러한 결과가 AI 에이전트와의 상호 작용에 대한 사용자의 인식에 사전 믿음이 중요한 역할을 한다는 것을 보여준다고 말했다.

사전 믿음은 어떻게 영향을 미칠까?

사전 믿음은 AI 에이전트와의 상호 작용에 영향을 미치는 몇 가지 방법이 있다. 첫째, 사전 믿음은 AI 에이전트의 행동을 해석하는 방식에 영향을 미칠 수 있다. 예를 들어, AI가 공감적이라고 믿는 사람은 AI가 친절한 행동을 하면 이를 공감의 표시로 해석할 가능성이 더 높다. 반면, AI가 사악하다고 믿는 사람은 AI가 친절한 행동을 하면 이를 위선의 표시로 해석할 가능성이 더 높다.

둘째, 사전 믿음은 AI 에이전트로부터 기대하는 바에 영향을 미칠 수 있다. 예를 들어, AI가 공감적이라고 믿는 사람은 AI가 자신을 이해하고 지원해 줄 것으로 기대할 가능성이 더 높다. 반면, AI가 사악하다고 믿는 사람은 AI가 자신을 해칠 것으로 기대할 가능성이 더 높다.

셋째, 사전 믿음은 AI 에이전트와의 상호 작용에 대한 감정에 영향을 미칠 수 있다. 예를 들어, AI가 공감적이라고 믿는 사람은 AI와의 상호 작용을 더 즐겁고 만족스럽게 느낄 가능성이 더 높다. 반면, AI가 사악하다고 믿는 사람은 AI와의 상호 작용을 더 불쾌하고 불안하게 느낄 가능성이 더 높다.

AI 에이전트의 설계에 대한 시사점

이 연구는 AI 에이전트의 설계에 대한 몇 가지 시사점을 제공한다. 첫째, AI 에이전트는 사용자의 사전 믿음을 고려하여 설계되어야 한다. 예를 들어, AI 에이전트가 공감적이라고 보이도록 설계하면 사용자는 AI 에이전트와의 상호 작용을 더 긍정적으로 평가할 가능성이 높다.

둘째, AI 에이전트는 사용자의 기대를 충족하도록 설계되어야 한다. 예를 들어, AI 에이전트가 공감적이라고 기대되는 경우, AI 에이전트는 사용자의 감정을 이해하고 지원할 수 있는 기능을 제공해야 한다.

셋째, AI 에이전트는 사용자의 감정을 고려하여 설계되어야 한다. 예를 들어, AI 에이전트가 사악하다고 보이면, 사용자는 AI 에이전트와의 상호 작용을 피하거나 AI 에이전트와의 상호 작용에서 부정적인 감정을 경험할 가능성이 높다.

 

결론적으로, AI 에이전트와의 상호 작용에 대한 사용자의 인식은 사전 믿음에 의해 크게 영향을 받는다. AI 에이전트의 설계자는 이러한 사전 믿음을 고려하여 사용자에게 긍정적인 경험을 제공할 수 있도록 해야 한다.

MIT와 애리조나 주립 대학의 연구

 

또 최근 연구로 MIT와 애리조나 주립 대학의 연구원들은 정신 건강 지원을 위한 대화형 AI 에이전트가 공감적이거나 중립적이거나 조작적이라고 말함으로써 사용자를 프라이밍하는 것이 챗봇에 대한 인식에 영향을 미치고 의사소통 방식을 형성한다는 사실을 발견했다. 똑같은 챗봇과 대화하고 있었다.

 

AI 에이전트가 배려하고 있다는 말을 들은 대부분의 사용자는 그렇다고 믿었고, 조작적이라고 믿었던 사용자보다 더 높은 성능 등급을 부여했다. 동시에, 에이전트에게 조작적인 동기가 있다는 말을 들은 사용자 중 절반 미만이 챗봇이 실제로 악의적이라고 생각했다. 이는 사람들이 동료 인간과 마찬가지로 AI에서도 "좋은 점"을 보려고 시도할 수 있음을 나타낸다.

이 연구에서는 사용자의 정신 모델, 즉 AI 에이전트에 대한 인식과 해당 에이전트의 반응 사이의 피드백 루프가 밝혀졌다. 사용자가 AI가 공감한다고 믿을 경우 사용자-AI 대화의 감정은 시간이 지남에 따라 더욱 긍정적인 반면, AI가 사악하다고 생각한 사용자의 경우에는 그 반대였다.

 

MIT 미디어 랩의 유체 인터페이스 그룹 대학원생이자 이 연구를 설명하는 논문의 공동 저자인 팻 파타라누타폰(Pat Pataranutaporn)은 "이 연구를 통해 우리는 AI가 어느 정도 보는 사람의 AI라는 것을 알 수 있다."고 말한다. “사용자에게 AI 에이전트가 무엇인지 설명하면 정신 모델만 바뀌는 것이 아니라 행동도 바뀌게 된다. 그리고 AI가 사용자에게 반응하기 때문에 사용자가 행동을 바꾸면 AI도 바뀌게 된다.”

파타라누타폰은 공동 저자이자 동료 MIT 대학원생인 루비 리우(Ruby Liu)와 합류했다. 애리조나 주립대학교 과학 및 상상력 센터 부교수인 Ed Finn; MIT의 미디어 기술 교수이자 Fluid Interfaces 그룹의 책임자인 수석 저자 패티 매스(Pattie Maes)이다.

 

최근 네이쳐 머신 인텔리전스(Nature Machine Intelligence)에 발표된 이 연구는 미디어와 대중 문화가 우리의 정신 모델에 큰 영향을 미치기 때문에 AI가 사회에 어떻게 제시되는지 연구하는 것이 중요하다는 점을 강조한다. 저자들은 또한 이 연구에서 동일한 유형의 준비 진술이 AI의 동기나 능력에 대해 사람들을 속이는 데 사용될 수 있기 때문에 경고 신호를 제기한다.

“많은 사람들이 AI를 공학적 문제로만 생각하지만, AI의 성공은 인적 요인의 문제이기도 하다. 우리가 AI에 대해 이야기하는 방식, 심지어 처음에 AI에 부여하는 이름조차도 이러한 시스템을 사람들 앞에 놓을 때 그 효율성에 엄청난 영향을 미칠 수 있다. 우리는 이러한 문제에 대해 더 많이 생각해야 한다.”라고 매스는 말한다.

 

AI 친구인가, 적인가?

본 연구에서 연구자들은 사람들이 AI에서 보는 공감력과 효율성 중 얼마나 많은 부분이 주관적 인식에 기초한 것인지, 얼마나 많은 부분이 기술 자체에 기초한 것인지 알아보고자 했다. 그들은 또한 프라이밍을 통해 누군가의 주관적인 인식을 조작할 수 있는지 여부를 탐구하고 싶었다.

“AI는 블랙박스이기 때문에 우리는 그것을 우리가 이해할 수 있는 다른 것과 연관시키는 경향이 있다. 우리는 비유와 은유를 한다. 하지만 AI에 대해 생각할 때 사용할 수 있는 올바른 비유는 무엇일까? 대답은 간단하지 않다.”라고 파타라누타폰은 말한다.

그들은 인간이 대화형 AI 정신 건강 동반자와 약 30분 동안 상호 작용하여 친구에게 추천할지 여부를 결정한 다음 에이전트와 그들의 경험을 평가하는 연구를 설계했다. 연구자들은 310명의 참가자를 모집하여 무작위로 세 그룹으로 나누고 각 그룹에는 AI에 대한 프라이밍 설명을 제공했다.

한 그룹에는 에이전트에게 동기가 없다고 들었고, 두 번째 그룹에는 AI가 자비로운 의도가 있고 사용자의 안녕에 관심이 있다는 말을 들었고, 세 번째 그룹에는 에이전트가 악의적인 의도가 있어 사용자를 속이려고 한다고 들었다. 리우는 세 가지 입문서에만 만족하는 것이 어려웠지만 연구원들은 AI에 대한 가장 일반적인 인식에 적합하다고 생각되는 진술을 선택했다고 말했다.

각 그룹의 참가자 중 절반은 인간과 유사한 텍스트를 생성할 수 있는 강력한 딥 러닝 모델인 생성 언어 모델 GPT-3을 기반으로 하는 AI 에이전트와 상호 작용했다. 나머지 절반은 1960년대 MIT에서 개발된 덜 정교한 규칙 기반 자연어 처리 프로그램인 챗봇 ELIZA의 구현과 상호 작용했다.

 

정신 모델 형성

사후 조사 결과에 따르면 단순한 프라이밍 진술은 사용자의 AI 에이전트 정신 모델에 큰 영향을 미칠 수 있으며, 긍정적인 프라이머가 더 큰 영향을 미치는 것으로 나타났다. 음성 프라이머를 받은 사람들 중 44%만이 AI를 믿었고, 긍정적 그룹의 88%와 중립 그룹의 79%는 각각 AI가 공감적이거나 중립적이라고 믿었다.

“부정적 프라이밍 진술을 통해 우리는 그들이 무언가를 믿도록 프라이밍하기 보다는 그들이 자신의 의견을 형성하도록 프라이밍했다. 누군가에게 뭔가 의심하라고 말한다면 그 사람은 일반적으로 더 의심스러울 수도 있다.”라고 리우는 말한다.

그러나 기술의 기능은 더 정교한 GPT-3 기반 대화형 챗봇에 더 큰 영향을 미치기 때문에 중요한 역할을 한다.

 

연구자들은 사용자들이 프라이밍 진술에 따라 챗봇의 효율성을 다르게 평가한다는 사실에 놀랐다. 긍정적인 그룹의 사용자는 모든 상담원이 동일하다는 사실에도 불구하고 정신 건강 조언을 제공한 챗봇에 더 높은 점수를 부여했다.

흥미롭게도 그들은 사용자가 어떻게 준비되었는지에 따라 대화의 감정이 변한다는 것을 확인했다. AI가 돌보고 있다고 믿는 사람들은 AI와 더 긍정적인 방식으로 상호작용하는 경향이 있었고, 이는 에이전트의 반응을 더 긍정적으로 만들었다. 부정적인 프라이밍 진술은 반대 효과를 나타냈다. 매스는 대화가 진행됨에 따라 정서에 대한 이러한 영향이 증폭되었다고 덧붙였다.

 

연구 결과에 따르면 프라이밍 진술은 사용자의 정신 모델에 강력한 영향을 미칠 수 있기 때문에 이를 사용하여 AI 에이전트를 실제보다 더 유능해 보이도록 만들 수 있으며, 이는 사용자가 에이전트에 너무 많은 신뢰를 두게 만들 수 있음을 시사한다. 잘못된 조언을 따른다.

“아마도 우리는 AI 에이전트가 환각을 일으키고 편견을 가질 수 있다는 점을 사람들에게 더 주의하고 이해하도록 유도해야 할 것이다. 우리가 AI 시스템에 대해 어떻게 이야기하느냐는 궁극적으로 사람들이 AI 시스템에 반응하는 방식에 큰 영향을 미칠 것이다.”라고 매스는 말한다.

 

앞으로 연구원들은 에이전트가 일부 사용자 편견에 대응하도록 설계된 경우 AI-사용자 상호 작용이 어떻게 영향을 받는지 확인하려고 한다. 예를 들어, AI에 대해 매우 긍정적인 인식을 가진 사람에게는 중립적이거나 약간 부정적인 방식으로 응답하는 챗봇이 주어져 대화가 더욱 균형있게 유지될 수 있다.

또한 그들은 배운 내용을 사용하여 정신 건강 치료와 같은 특정 AI 응용 프로그램을 향상시켜 사용자가 AI가 공감한다고 믿는 데 도움이 될 수 있기를 원한다. 또한 그들은 AI 에이전트에 대한 사용자의 정신 모델이 시간이 지남에 따라 어떻게 변하는지 확인하기 위해 장기적인 연구를 수행하려고 한다.