연구원들은 테스트를 위한 대조군(아래 이미지의 왼쪽)과 정신 장애를 앓고 있는 환자(오른쪽)를 나타내는 합성 이미지를 제공했다. 여러 사람의 신원이 표현에 혼합되어 있으며 두 이미지 모두 특정 개인을 묘사하지 않는다.

 

 

Source: https://arxiv.org/pdf/2208.01369.pdf

 

정동 장애가 있는 사람들은 눈썹을 치켜들고, 찡그린 표정을 짓고, 얼굴이 부어오르고, 입이 떡 벌어지는 표정을 짓는 경향이 있다. 환자의 개인 정보를 보호하기 위해 이러한 합성 이미지는 새로운 작업을 지원하는 유일한 이미지이다.

 

지금까지 얼굴 감정 인식은 기본 진단을 위한 잠재적 도구로 주로 사용되었다. 대신 새로운 접근 방식은 치료 전반에 걸쳐 환자 진행 상황을 평가하거나 외래 환자 모니터링을 위해 가정 환경에서 (잠재적으로는 제안하지 않지만) 환자의 진행 상황을 평가할 수 있는 방법을 제공한다.

 

논문은 다음과 같이 진술한다.

 

'우리는 이전 연구에서 개발된 감성 컴퓨팅의 우울증에 대한 기계 진단을 넘어 컴퓨터 비전으로 추정된 측정 가능한 정서적 상태가 순수한 범주 분류보다 훨씬 더 많은 정보를 포함하고 있음을 보여준다.'

 

연구원들은 이 기술을 OEG(광전자뇌파검사 Opto Electronic Encephalography)라고 명명했으며, 국소 센서나 광선 기반 의료 영상 기술 대신 얼굴 이미지 분석을 통해 정신 상태를 추론하는 완전히 수동적인 방법이다.

 

저자들은 OEG가 잠재적으로 진단 및 치료에 대한 단순한 2차 보조원이 아니라 장기적으로 치료 파이프라인의 특정 평가 부분을 잠재적으로 대체하고 환자 모니터링 및 초기 진단에 필요한 시간을 줄일 수 있다. 그들은 참고한다:

 

전반적으로 기계로 예측한 결과는 순수한 임상 관찰자 평가 기반 설문지에 비해 더 나은 상관 관계를 보여주며 객관적이다. 컴퓨터 비전 접근 방식의 경우 몇 분이라는 비교적 짧은 측정 시간도 주목할 만하지만 임상 인터뷰에는 몇 시간이 필요할 때도 있다.'

 

그러나 저자들은 이 분야의 환자 치료가 얼굴 표정뿐만 아니라 환자 상태의 다른 많은 지표를 고려해야 하는 다중 모드 추구이며 그러한 시스템이 정신 장애에 대한 전통적인 접근 방식을 완전히 대체한다. 그럼에도 불구하고, 그들은 OEG를 특히 환자의 처방 요법에서 약물 치료의 효과를 등급화하는 방법으로 유망한 보조 기술로 간주한다.

 

이 논문의 제목은 정동 장애의 얼굴(Face of Affective Disorders)이며 민간 및 공공 의료 연구 부문의 광범위한 기관에 있는 8명의 연구원이 작성했다.

 

데이터

 

(신 논문은 현재 정신질환의 환자 진단에 널리 사용되는 다양한 이론과 방법을 주로 다루고 있으며, 검사와 다양한 실험에 사용되는 실제 기술과 과정에 대해서는 평소보다 덜 주의함)

 

데이터 수집은 아헨에 있는 대학 병원에서 100명의 성별 균형 환자와 50명의 영향을 받지 않은 사람들로 구성된 통제 그룹에서 이루어졌다. 환자에는 정신분열병 환자 35명과 우울증 환자 65명이 포함되었다.

 

시험군의 환자 부분은 1차 입원 당시 측정을 하고, 2차 측정은 퇴원 전 평균 12주 간격으로 측정하였다. 대조군 참가자는 실제 환자의 유도 및 '퇴원'을 반영하여 지역 인구에서 임의로 모집되었다.

 

실제로 그러한 실험을 위한 가장 중요한 '진실'은 승인되고 표준적인 방법으로 얻은 진단이어야 하며, 이는 OEG 시험의 경우였다.

 

그러나 데이터 수집 단계에서는 기계 해석에 더 적합한 추가 데이터를 얻었다. 평균 90분의 인터뷰는 25fps로 실행되는 Logitech c270 소비자 웹캠으로 3단계에 걸쳐 캡처되었다.

 

첫 번째 세션은 일반적으로 입학 시 제공되는 표준 해밀턴 인터뷰(1960년경에 시작된 연구를 기반으로 함)로 구성된다. 두 번째 단계에서는 비정상적으로 환자(및 대조군의 환자)에게 일련의 얼굴 표정을 담은 비디오를 보여주고 각각의 표정을 흉내내며 당시의 정신 상태에 대한 자신의 평가를 다음을 포함했다. 감정 상태와 강도. 이 단계는 약 10분 동안 지속되었다.

 

세 번째이자 마지막 단계에서 참가자들은 강렬한 감정적 경험을 설명하는 배우의 비디오 96개를 각각 10초 이상씩 시청했다. 그런 다음 참가자들은 비디오에 표현된 감정과 강도, 자신의 해당 감정을 평가하도록 요청했다. 이 단계는 약 15분 동안 지속되었다.

 

방법

 

캡처된 얼굴의 평균 평균에 도달하기 위해(위의 첫 번째 이미지 참조) EmoNet 프레임워크로 감정적 랜드마크를 캡처했다. 그 후, 조각별 아핀 변환을 통해 얼굴 모양과 평균(평균) 얼굴 모양 간의 일치를 결정했다.

 

이전 단계에서 식별된 각 랜드마크 세그먼트에 대해 차원 감정 인식 및 시선 예측을 수행했다. 이 시점에서 오디오 기반 감정 추론은 가르칠 수 있는 순간이 환자의 정신 상태에 도달했음을 나타내며 작업은 해당 얼굴 이미지를 캡처하고 감정 상태의 해당 차원과 영역을 개발하는 것이다.

 

데이터의 각 프레임에 대해 재료의 형상 측지선을 계산하고 SVD(특이값 분해 Singular Value Decomposition) 축소를 적용했다. 결과 시계열 데이터는 결국 VAR 프로세스로 모델링된 다음 MAP 적응 전에 SVD를 통해 추가로 축소되었다.

 

 

 

측지 감소 프로세스의 워크플로.

 

EmoNet 네트워크의 원자가 및 각성 값도 VAR 모델링 및 시퀀스 커널 계산으로 유사하게 처리되었다.

 

실험

 

앞서 설명했듯이 새로운 작업은 표준 컴퓨터 비전 제출이 아닌 주로 의학 연구 논문이며, 연구원이 실행하는 다양한 OEG 실험에 대한 심층적 인 적용을 위해 독자에게 논문 자체를 참조한다.

 

그럼에도 불구하고 그 선택을 요약하면 다음과 같다.

 

정동 장애 신호

 

여기에서 40명의 참가자(대조군 또는 환자 그룹이 아님)에게 데이터의 맥락에 대한 정보 없이 여러 질문에 대해 평가된 평균 얼굴(위 참조)을 평가하도록 요청했다. 질문은 다음과 같다.

 

두 얼굴의 성별은?

 

얼굴이 매력적인 외모를 가지고 있는가?

 

이 얼굴들은 믿을 수 있는 사람들인가?

 

이 사람들의 행동 능력을 어떻게 평가할까?

 

두 얼굴의 감정은?

 

두 얼굴의 피부 모습은?

 

시선의 인상은?

 

두 얼굴의 입꼬리가 처져 있을까?

 

두 얼굴의 눈이 갈색인가?

 

이 사람들은 임상 환자인가?

 

연구원들은 이러한 블라인드 평가가 처리된 데이터의 등록 상태와 상관관계가 있음을 발견했다.

 

 

'평균 얼굴' 설문조사에 대한 상자 그림 결과.

 

임상 평가

 

초기 평가에서 OEG의 유용성을 측정하기 위해 연구자들은 먼저 유도 단계와 두 번째 단계(환자가 일반적으로 약물 기반 치료를 받는 시간) 사이의 개선 수준을 측정하여 표준 임상 평가 자체가 얼마나 효과적인지 평가했다.

 

연구원들은 이 방법으로 상태와 증상의 심각성을 잘 평가할 수 있으며 0.82의 상관 관계를 달성할 수 있다고 결론지었다. 그러나 정신분열병이나 우울증의 정확한 진단은 이 초기 단계에서 표준 방법으로 -0.03의 점수만 얻었기 때문에 더 어려운 것으로 판명되었다.

 

저자는 다음과 같이 말한다.

 

'기본적으로 환자 상태는 일반적인 설문지를 사용하여 비교적 잘 결정할 수 있다. 그러나 그것이 본질적으로 그것으로부터 결론을 내릴 수 있는 전부이다. 누군가가 우울하거나 오히려 정신 분열증이 있는지 여부는 표시되지 않다. 치료 반응도 마찬가지이다.'

 

기계 프로세스의 결과는 이 문제 영역에서 더 높은 점수를 얻을 수 있었고 초기 환자 평가 측면에서 비슷한 점수를 얻을 수 있었다.

 

 

숫자가 높을수록 좋다. 왼쪽은 테스트 아키텍처의 4단계에 걸친 표준 인터뷰 기반 평가 정확도 결과이다. 오른쪽은 기계 기반 결과이다.

 

장애 진단

 

정적인 얼굴 이미지를 통해 정신분열증과 우울증을 구별하는 것은 사소한 문제가 아니다. 교차 검증된 기계 프로세스는 다양한 시도 단계에서 높은 정확도 점수를 얻을 수 있었다.

 

 

다른 실험에서 연구자들은 OEG가 약리학적 치료와 장애의 일반적인 치료를 통해 환자의 개선을 감지할 수 있다는 증거를 입증할 수 있었다.

 

'데이터 수집에 대한 경험적 사전 지식에 대한 인과적 추론은 안면 역학의 생리학적 조절로의 복귀를 관찰하기 위해 약리학적 치료를 조정했다. 이러한 반환은 임상 처방 중에는 관찰할 수 없었다.

 

'현재로서는 그러한 기계 기반 권장 사항이 실제로 치료의 훨씬 더 나은 성공을 가져올지 여부는 분명하지 않다. 특히 약물이 장기간에 걸쳐 나타날 수 있는 부작용이 알려져 있기 때문이다.

 

'그러나 [이러한 종류의] 환자 맞춤형 접근 방식은 여전히 일상 생활에서 지배적으로 사용되는 일반적인 범주 분류 도식의 장벽을 깨뜨릴 것이다.'