챗봇 또는 대화형 인공지능(AI) 시스템은 웹 사이트, 소셜 네트워크 앱, 스마트 홈 장치 등에 챗봇을 내장하여 자연스럽고 사용하기 쉬운 방식으로 고객과 통신하기 위해 조직에서 점점 더 많이 사용되고 있다. 코로나19전염병은 의료 애플리케이션에서 챗봇의 채택을 가속화했다. 예를 들어, 세계보건기구와 질병통제센터는 코로나바이러스 정보 전파 및 증상 확인을 위해 챗봇을 배포했다. 

 

많은 정부와 의료 서비스 제공자도 마찬가지였다. 전염병 외에도 의료 애플리케이션에서 챗봇의 채택률은 액세스 및 비용 이점으로 인해 지속될 가능성이 높다. 새로운 기술, 특히 AI 기반 기술이 의료 분야에 도입되면 세심한 조사가 필요하며 챗봇도 예외는 아니다.

 

민감한 건강 정보를 챗봇과 교환하는 것은 의료 분야에서 챗봇의 책임 있는 사용을 촉진하기 위해 신중한 고려가 필요한 많은 거버넌스 과제 중 하나이다.

다른 과제에는 공정성 및 설명 가능성과 같은 고전적인 AI 과제 외에도 성능 보증, 환자 고려사항, 합법성, 개인 정보 보호 및 보안이 포함된다. 

 

이러한 거버넌스 문제를 해결하기 위해 올해 초 세계경제포럼은 여러 이해 관계자 커뮤니티를 구성했다. 의료 분야에서 챗봇의 책임 있는 사용을 관리하기위한 프레임 워크인 챗봇 리셋을 공동 제작했다.

 

챗봇 리셋 프레임 워크는 두 부분으로 구성된다. (1)의료 분야에서 AI 윤리 및 의료 윤리 원칙에서 신중하게 선택되고 챗봇 사용의 맥락에서 해석되는 10 가지 원칙 세트; (2) 의료 분야에서 챗봇 배포의 다양한 단계에서 구현하기위한 권장 사항 형태의 각 원칙에 대한 운영 작업. 

 

이 프레임 워크는 챗봇의 책임 있는 사용을 장려하기 위해 세 가지 이해 관계자 그룹이 의료 애플리케이션이다: 기술 개발자, 의료 제공자 및 정부 규제 기관.

 

챗봇 리셋 프레임 워크에서 챗봇 개발자는 보다 책임감 있는 챗봇 구현을 만들기 위해 프로젝트 개발 프로세스에 통합할 수 있는 작업을 찾을 수 있다. 

의료 제공자는 프레임 워크의 작업을 워크플로 내에서 통합하여 책임있는 배포를 촉진할 수 있다. 규제 기관은 챗봇 기술의 책임 있는 확장을 보장하기 위해 국가 전략에 공감하는 조치를 선택할 수 있다.

  

1.의료 분야의 챗봇

챗봇은 음성 인터페이스나 문자 메시지를 통해 사람들과 자연스럽게 대화하도록 설계된 AI 프로그램이다. 챗봇은 일반적으로 웹 사이트, 애플리케이션 또는 인스턴트 메시징에서 발견된다. 챗봇은 주로 기술 지원 및 리드 생성에 사용된다.  

 

의료 분야에서 챗봇은 자주 묻는 질문 탐색, 의사 또는 서비스 찾기, 약속 예약, 증상 확인 촉진, 응급 치료 분류 수행, 절차를 준비하고 퇴원 후 지침을 준수하도록 돕는다.

챗봇은 의사의 가상비서 역할을 하여 의사의 관리 부담을 줄이고 환자 건강기록을 관리한다.  의료 분야에서 이러한 챗봇을 사용하면 더 나은 치료 관리와 고객 참여를 얻을 수 있다. 

 

그러나 챗봇과 고객 간의 오해, 고객의 인식 감소 등 몇 가지 문제가 발생할 수 있다. 챗봇과 상호 작용할 때의 선택, 그리고 챗봇과 인간과 상호 작용할 때 고객 선호도를 무시한다.

 

더 심각한 문제에는 부정확한/불량한 안내, 잘못된 진단 또는 적시 개입 실패가 포함된다. 이러한 문제를 방지하고 신뢰, 투명성, 신뢰성 및 보안을 보장하기 위해 의료 분야의 챗봇 배포를 신중하게 관리하는 것이 중요하다.   

 

2. 챗봇 리셋 프로젝트

세계경제포럼의 챗봇 리셋 프로젝트의 목표는 챗봇의 책임 있는 사용을 위한 거버넌스 프레임 워크를 설계하는 것이다. 챗봇 개발자, 챗봇 플랫폼, 의료 커뮤니티, 시민 사회, 학계 및 의료 규제 기관을 한데 모아 의료 서비스를 제공한다.  

 

프레임 워크의 설계, 파일럿 및 확장을 통해 의료 분야에서 챗봇을 광범위하게 채택하여 유익한 사용을 극대화하는 동시에 부정적인 결과를 최소화하기 위해 노력한다.

챗봇 리셋 프로젝트는 2020년 1월에 시작되었으며, 거버넌스 조치에 대한 초기 생각이 단어로 암시되었다. 재설정 (공개, 에스컬레이션, 대체, 설명 및 추적). 

 

얼마 지나지 않아 챗봇의 중요성은 코로나19 및 코로나바이러스에 대한 선별된 정보를 전파하는 데 사용이 증가함에 따라 분명해졌다.

 

2020년 3월 포럼은 스타트 업, 플랫폼 제공업체 및 정부 전문가 패널의 심층 토론을 포함하는 "Chatbots for Coronavirus and Beyond"라는 제목의 패널 토론을 주최했다. 

 

이 토론은 기술의 유익한 사용과 의료에 긍정적인 영향을 미칠 수 있는 잠재력을 강조했다. 2020년 5월 포럼은 디자인 워크숍에서 글로벌 전문가를 모아 잠재적인 사용, 문제 및 이해 관계자의 행동을 브레인 스토밍하여 긍정적인 영향을 극대화하고 의료 분야에서 챗봇 사용으로 인한 부정적인 결과를 최소화했다.

 

5월 워크숍 이후, 다중 이해 관계자 프로젝트 커뮤니티는 일련의 가상회의를 통해 거버넌스 프레임 워크를 공동으로 만들기 시작했다. 이 작업의 결과인 챗봇 리셋 거버넌스 프레임 워크는 10가지 원칙과 75가지 권장 조치를 포함하며 이 백서의 주요 초점이다. 다양한 이해 관계자 커뮤니티의 파트너와 협력하여 실제 사용 사례에서 프레임 워크를 파일럿 화하고 있다. 파일럿의 결과는 후속 출판물에서 공유된다.  

 

3. 의료 분야에서 챗봇의 응용

챗봇은 의료분야에서 점점 더 많이 사용되고 있다. 최근 코로나19 대유행 관련 정보 보급 요구로 추진되었다. 많은 글로벌 및 국가 의료 기관이 바이러스 및 질병에 대해 구성원과 의사 소통하는 방법으로 챗봇을 채택했다. 예를 들어 질병통제센터는 코로나바이러스 자체 검사를 위해 웹 사이트에서 챗봇을 사용하고 세계보건기구는 코로나19 정보를 위한 WhatsApp 메신저 챗봇을 보유하고 있다. 

 

Microsoft Healthcare Bot 플랫폼은 전염병과 관련된 1,000개 이상의 챗봇 구현에 사용되었다. 코로나19 외에도 의료 분야에서 챗봇의 수많은 애플리케이션이 있다.

 

의료 시나리오에서 챗봇은 현재 및 잠재적으로 많이 사용된다. 환자 대면. 공급자 대면 챗봇은 오늘날 초기 단계에 있지만 가상환경에서 많은 백 오피스 기능을 처리하기 위해 확장될 가능성이 높다. 챗봇이 항상 완전히 자율적인 것은 아니다. 인간 운영자 또는 제공업체에 비해 챗봇의 역할 및 의사결정 권한이 증가함에 따라 자동화 수준이 다양한 자동화가 가능하다. 이러한 유형의 분류는 자율주행차에 사용되는 분류와 유사하다.  

 

코로나19 및 그 이후에 챗봇 채택

코로나19는 의료 분야에서 챗봇 채택을 촉진하는 도구이다.  

출처: 세계경제포럼 

 

4. 챗봇 리셋 프레임 워크

프레임 워크는 두 부분으로 구성된다. 

 

챗봇 리셋 프레임 워크 

1. 의료 분야에서 챗봇 사용을 관리하기 위해 다중 이해 관계자 커뮤니티가 선택한 일련의 원칙. 원칙은 AI 윤리 원칙 및 의료 윤리 원칙에서 도출되었으며 의료 애플리케이션에서 챗봇 사용을 위해 특별히 해석되었다.

 

2. 의료 분야에서 챗봇 사용의 다양한 단계에서 원칙을 운영하기 위해 이해 관계자가 취할 수 있는 조치. 각 원칙에 대해 프레임 워크는 다음과 같은 일련의 조치를 권장한다. 이해 관계자는 원칙을 구현하기 위해 취할 수 있다. 

 

챗봇 리셋 프레임 워크는 챗봇의 책임 있는 사용에 대한 원칙과 원칙을 운영하기위한 조치로 구성된다.

출처: 세계경제포럼 

 

5. 챗봇 리셋: 원칙

출처: 세계경제포럼 

 

프레임 워크의 원칙은 의료 분야에서 챗봇 사용을 위해 해석된 AI 및 의료 윤리 원칙에서 파생되었다. 챗봇 리셋 프로젝트의 다중 이해 관계자 커뮤니티에서 도출, 해석 및 선별 한 10가지 챗봇 리셋 원칙이 여기에 나와 있다. 이 섹션에서 "사용자"라는 단어는 챗봇과 직접 상호 작용하는 사람들을 의미한다.

 

안전/비유해성

– 챗봇의 행동은 인간에게 피할 수 있는 피해를 초래하거나 기만, 중독, 다양성 존중 부족 등의 의도하지 않은 결과를 초래해서는 안된다. 

 

효능

– 챗봇은 허용된 국제 표준에 따라 해당 서비스의 효능에 대해 완전히 검증되어야 한다. 

– 챗봇 출력은 전달되는 정보의 의학적 특성을 염두에 두고 의도한 사용자에 맞게 조정되어야 한다.

 

데이터 보호

– 개인 데이터의 의도 및 의도하지 않은 폭로와 동의 하에 수집된 데이터를 포함하여 모든 데이터 및 상호작용 기록은 해당 개인 정보 및 데이터 보호 규정/법을 준수하여 적절하게 보호되고 폐기되어야 한다. 

 

– 세션 중에 데이터가 기록되거나 세션 간에 사용되는 경우 챗봇 사용자 동의 및/또는 연구 및 데이터 수집 목적을 위한 해당 윤리 기관 승인이 필요하다.

 

– 챗봇 사용자는 개인 식별 정보의 소유권을 가질 권리와 액세스 권한을 갖는다. 

 

– 챗봇에 의해 수집된 데이터는 감시 또는 처벌 목적으로 사용되거나 사용자에 대한 의료 보장을 부당하고 불투명하게 거부하는 데 사용되지 않는다.

 

인간 기관

– 챗봇은 사용자의 대행사를 지원하고 기본 권리를 육성하며 인간의 감독을 허용해야 한다.  

 

– 챗봇은 환자가 의료 개입에 대해 스스로 결정을 내릴 수 있는 능력을 존중해야 한다.

 

– 운영 모델에 실시간 인간 감독이 포함된 챗봇은 사용자가 원할 때 언제든지 인간 에이전트와 상호 작용하려는 사용자의 욕구에 양보해야 한다.  

 

책임

– 조직의 실체 (개인 또는 그룹)는 챗봇의 거버넌스에 대해 책임을 져야한다.  

 

– 챗봇의 결론 및 권장 사항은 감사할 수 있어야 한다.

 

투명도

– 챗봇 사용자는 자신이 AI 또는 인간과 상호 작용하는지 또는 둘의 조합인지 항상 인식해야 한다.  

 

– 챗봇은 챗봇의 의도된 목적에 대해 알리지 않아도 되는 상황을 제외하고 사용자에게 시스템 성능의 한계를 명확하게 알려야 한다.

 

– 챗봇이 사용자를 이해하지 못하거나 확실하게 대응할 수 없는 경우 챗봇 사용자에게 즉시 알려야 한다. 단, 그러한 통신이 챗봇의 의도된 목적을 방해하는 경우는 예외이다.  

 

공평

– 챗봇은 민족, 지리, 언어, 연령, 성별, 종교 등에 대해 체계적으로 편견을 가지고 행동하지 않는다. 

 

– 챗봇이 데이터에서 "학습"하는 경우 교육 데이터 세트는 대상 모집단 설명 가능성을 나타내야 한다.

 

– 챗봇이 내린 결정 및 권장 사항은 의도한 사용자가 이해할 수 있는 방식으로 설명할 수 있어야한다.  

 

청렴

– 챗봇은 신뢰할 수 있는 고품질 증거/데이터, 윤리적으로 공급된 데이터 및 명확하게 정의된 목적을 위해 수집된 데이터를 기반으로 한 추론 및 응답을 제한해야 한다.  

 

– 잠재적으로 제외되거나 취약한 그룹에 대한 액세스를 식별하고 활성화하는 데 특별한 고려를 하여 의도된 모든 사용자가 챗봇에 액세스 할 수 있도록 모든 노력을 기울여야한다.

 

6. 챗봇 리셋: 운영화 

원칙은 이를 구현하기위한 조치를 필요로 한다. 이 섹션에서는 챗봇 리셋 프로젝트 커뮤니티에서 개발한 작업 모음을 공유한다.

 

이전 섹션의 각 원칙에 대해 페이지 당 하나의 원칙을 제시한다.  

 

원칙: 원칙의 이름.

해석: 이 원칙은 의료 분야에서 챗봇을 사용하는 것으로 해석된다. (이전 섹션에서 재현). 

운영 조치표: 원칙을 구현하기 위해 개발자, 공급자 및 규제 기관이 취할 수있는 조치이다.

이 표에는 구현 단계별로 각 작업에 대한 작업과 책임 있는 이해 관계자가 나열되어 있다. 표의 마지막 열은 해당하는 코드를 보여준다. 

 

다음 니모닉을 사용하여 네 가지 유형의 챗봇에 대한 각 작업의 적용 가능성: 녹색, 선택사항; 노란색, 제안 됨; 빨간색, 필수이다.

 

다음은 유형 I에 대해 선택 사항이고 유형 II에 제안되고 유형 III 및 IV에 필요한 조치에 대한 코드의 예이다.  

 

 

원칙을 가로 지르는 운영조치

특정 원칙에 대한 운영화 조치를 개발하는 동안 단일 원칙을 넘어서 광범위하게 적용할 수 있고 종종 모든 원칙에 적용되는 다음 조치를 식별했다. 

 

1. (개발자, 공급자, 규제자) 사용자가 제공할 수 있는 기능을 포함하되 이에 국한되지 않는 사용자를 위한 재조정 메커니즘을 만든다.

 

2. (규제자) 제공자가 결과 상황에서 도달 한 원인, 분석 및 결론을 공개적으로 공유할 수 있는 메커니즘을 만든다. 

 

3. (모두) 모든 단계에서 잘 정립된 포용성 기준을 따른다.

여기에 몇 가지 예가 제공된다. 

– 장애인 권리에 관한 유엔협약

– 귀하의 권리를 알기: 장애인을 보호하는 세 가지 중요한 연방법 

– ISO/IEC 30071-1: 2019 정보 기술

– 사용자 인터페이스 접근성 개발 

– 디지털 포용, 신원, 신뢰 및 대행사

 

안전/비유해성 

챗봇의 행동은 인간에게 피할 수 있는 피해를 초래하거나 기만, 중독, 다양성 존중 부족 등의 의도하지 않은 결과를 초래해서는 안된다. 환자/사용자 안전에 대한 초점은 원칙적인 목표를 가지고 임상 챗봇에서 가장 중요하다. 그러나 기술이 발전함에 따라 AI와 임상의가 함께 더 나은 정확성을 목표로 하고 인간과 기계 간의 안전하고 효과적인 의사 소통 문화를 조성하는 방법을 해결해야한다.

 

운영화 조치 

 

효능

챗봇은 허용된 국제 표준에 따라 해당 서비스의 효능에 대해 완전히 검증되어야 한다. 챗봇 출력은 전달되는 정보의 의학적 특성을 염두에두고 의도된 사용자에 맞게 조정되어야 한다.  

 

운영화 조치 

데이터 보호 

개인 데이터의 의도 및 의도하지 않은 폭로와 동의 하에 수집된 데이터를 포함하여 모든 데이터 및 상호 작용 기록은 해당 개인 정보 및 데이터 보호 규정/법을 준수하여 적절하게 보호되고 폐기되어야 한다.

 

세션 중에 데이터가 기록되거나 세션 간에 사용되는 경우, 챗봇 사용자 동의 및/또는 연구 및 데이터 수집 목적을 위한 해당 윤리 기관 승인이 필요하다. 

챗봇 사용자는 개인 식별 정보의 소유권을 가질 권리와 액세스 권한을 갖는다. 챗봇에 의해 수집된 데이터는 감시 또는 처벌 목적으로 사용되거나 사용자에 대한 의료 보장을 부당하고 불투명하게 거부하는 데 사용되지 않는다.

 

운영화 조치 

 

인간 기관 

챗봇은 사용자의 대행사를 지원하고 기본 권리를 육성하며 인간의 감독을 허용해야 한다. 챗봇은 환자가 의료 개입에 대해 스스로 결정을 내릴 수 있는 능력을 존중해야 한다.  운영 모델에 실시간 인간 감독이 포함된 챗봇은 사용자가 원할 때 언제든지 인간 에이전트와 상호 작용하려는 사용자의 욕구에 양보해야 한다.

 

운영화 조치

책임 

조직의 엔티티 (개인 또는 그룹)는 챗봇의 거버넌스에 대해 책임을 져야 한다. 챗봇의 결론 및 권장 사항은 감사할 수 있어야 한다.

 

운영화 조치 

투명도 

챗봇 사용자는 자신이 AI와 상호작용하는지 인간과 상호작용하는지 또는 둘의 조합인지 항상 인식해야 한다. 챗봇은 챗봇의 의도된 목적에 대해 알리지 않아도 되는 상황을 제외하고 사용자에게 시스템 성능의 한계에 대해 명확하게 알려야 한다. 챗봇 사용자는 챗봇이 사용자를 이해하지 못하거나 확실하게 응답할 수 없는 경우 즉시 알려야 한다. 단, 그러한 통신이 챗봇의 의도된 목적을 방해하는 경우는 예외이다.

 

운영화 조치 

공평 

챗봇은 민족, 지리, 언어, 연령, 성별, 종교 등에 대해 체계적으로 편견을 가지고 행동하지 않는다. 챗봇이 데이터에서 "학습"하는 경우 훈련 데이터 세트는 대상 집단을 대표해야 한다.

 

운영화 조치 

설명 가능성 

챗봇의 결정 및 권장 사항은 의도한 사용자가 이해할 수 있는 방식으로 설명할 수 있어야 한다.

 

운영화 조치 

청렴 

챗봇은 신뢰할 수 있는 고품질 증거/데이터, 윤리적으로 공급된 데이터 및 명확하게 정의된 목적으로 수집된 데이터를 기반으로 한 추론 및 응답을 제한해야 한다.

 

운영화 조치 

포용성 

잠재적으로 제외되거나 취약한 그룹에 대한 액세스를 식별하고 활성화하는 데 특별한 고려를 하여 의도된 모든 시스템 사용자가 챗봇에 액세스할 수 있도록 모든 노력을 기울여야 한다.

 

모든 삶에 대한 봉사는 모든 다양성과 함께 중요하다. 제약이 존재하고 노력 대 효능-깔때기 효과가 일부 삶에 대한 서비스를 객관적으로 제한하기 때문에 이것] 오늘날 도달할 수 없는 목표이다. 미래의 종합적인 1차 의료 서비스 제공업체 챗봇은 도달할 수 없는 상황에 도달하고, 오늘의 말로 표현할 수 없는 사람과 대화하고, 또 다른 제약 계층을 추가하지 않는 것을 목표로 해야 한다.  

 

결론적으로 이 백서에서는 의료 애플리케이션에서 챗봇의 책임 있는 사용을 관리하는 프레임 워크인 챗봇 리셋을 제시했다. 

 

이 프레임 워크는 스타트 업, 대기업, 학계, 정부 및 시민 사회를 대표하는 세계경제포럼의 다중 이해 관계자 프로젝트 커뮤니티에서 공동으로 만들어졌다.

 

프레임 워크를 만드는 동안 커뮤니티의 다양성과 건전한 토론은 신중하게 선별된 광범위한 호소의 원칙과 행동에 대한 프레임 워크의 초점을 날카롭게 했다. 

 

이로 인해 포럼 파트너가 프레임 워크를 파일럿 하는 데 큰 관심을 갖게 되었다. 파일럿은 프레임 워크의 유용성을 테스트하고 추가 개선을 위한 피드백을 수집하며 광범위한 조직 및 지역에서 그 유용성을 입증하도록 설계되었다.

 

파일럿을 통해 배우면서 교훈을 캡처하고 관련성을 유지하도록 프레임 워크를 업데이트 할 것이다. 앞으로 포럼의 발행물에서 이 진행중인 프로젝트에 대한 업데이트를 공유할 예정이다.  

 

우리는 우리의 프레임 워크를 강화하고 더 큰 영향력을 보장하기 위해이 여정에 정부 관료, 업계 선수, 시민 사회 대표 및 학계에 동참할 것을 권장한다.