신체 언어를 기반으로 누군가가 다음에 무엇을 하려고 하는지 예측하는 것은 인간에게는 자연스럽지만 컴퓨터에게는 그렇지 않다. 우리가 다른 사람을 만날 때, 그들은 우리에게 인사, 악수, 심지어 주먹을 부딪히는 소리로 우리를 맞이할 수도 있다. 어떤 제스처가 사용될지 모를 수도 있지만 상황을 읽고 적절하게 대응할 수 있다.

새로운 연구에서 컬럼비아 엔지니어링(Columbia Engineering) 연구원은 사람, 동물 및 물체 간의 높은 수준의 연관성을 활용하여 기계에 다음에 일어날 일에 대한보다 직관적인 감각을 제공하는 컴퓨터 비전 기술을 공개했다.

컬럼비아의 컴퓨터 과학 조교수인 Carl Vondrick은 "우리의 알고리즘은 인간의 행동에 대해 더 나은 예측을 할 수 있는 기계를 향한 한 걸음이다.”고 했다. 그는 2021년 6월 24일 컴퓨터 비전 및 패턴 인식에 관한 국제 컨퍼런스에서 발표된 연구를 지휘했다. "우리의 결과는 인간-로봇 협업, 자율 주행 차량 및 보조 기술에 대한 많은 가능성을 열어준다."

연구진은 이것이 앞으로 몇 분 동안 비디오 액션 이벤트를 예측하는 가장 정확한 방법이라고 말한다. 수천 시간 분량의 영화, 스포츠 게임 및 "The Office"와 같은 프로그램을 분석한 후 시스템은 악수에서 주먹 부딪힘에 이르기까지 수백 가지 활동을 예측하는 방법을 학습한다. 특정 행동을 예측할 수 없는 경우 이를 연결하는 상위 개념 (이 경우 "인사"라는 단어)을 찾는다.

팀의 시도를 포함하여 예측 머신러닝에 대한 과거의 시도는 한 번에 하나의 작업만 예측하는 데 초점을 맞추었다. 알고리즘은 동작을 포옹, 하이 파이브, 악수 또는 "무시"와 같은 비 동작으로 분류할지 여부를 결정한다. 그러나 불확실성이 높으면 대부분의 머신러닝 모델은 가능한 옵션 간의 공통점을 찾을 수 없다.

컬럼비아 엔지니어링 박사 학생 Didac Suris와 Ruoshi Liu는 다른 각도에서 장거리 예측 문제를 보기로 결정했다. 이 논문의 공동 저자인 Suris는 "미래의 모든 것이 예측 가능한 것은 아니다. "사람이 어떤 일이 일어날 지 정확히 예측할 수 없을 때, 그들은 안전하게 플레이하고 더 높은 수준의 추상화에서 예측한다. 우리의 알고리즘은 미래의 사건에 대해 추상적으로 추론할 수 있는 이 능력을 가장 먼저 배우는 것이다."고 말했다.