매년 Game Developers Conference에서 소수의 경쟁 회사가 최신 모션 캡처 기술을 선보입니다. 이 기술은 인간의 동작을 게임 내 모델에 사용할 수 있는 3D 애니메이션으로 변환합니다. 일반적으로 이러한 기술 시연에는 성능 캡처를 위한 많은 특수 하드웨어와 많은 컴퓨터 처리 및 결과 데이터를 게임 준비 상태로 가져오기 위한 수동 아티스트 조정이 포함됩니다.
Epic의 곧 출시될 MetaHuman 얼굴 애니메이션 도구는 이러한 종류의 노동력과 시간 집약적인 워크플로우를 혁신할 것으로 보입니다. 수요일의 State of Unreal 무대 프레젠테이션 에서 인상적인 시연 에서 Epic은 새로운 머신 러닝 기반 시스템을 선보였습니다. 이 시스템은 간단한 정면 비디오에서 몇 분만에 인상적으로 사실적이고 기이한 계곡을 뛰어넘는 얼굴 애니메이션을 생성했습니다. 아이폰에서.
에픽의 Digital Humans Technology 블라디미르 마스틸로빅(Vladimir Mastilovic) 부사장은 수요일 패널 토론에서 이러한 종류의 기본 입력에서 빠르고 고급스러운 결과를 얻을 수 있는 가능성은 "[테스터]의 작업 방식이나 수행할 수 있는 작업의 종류를 문자 그대로 변경했습니다"라고 말했습니다. 오후.
멋진 데모
새로운 자동 애니메이션 기술은 Unreal Engine 5에서 매우 상세한 인간 모델을 수동으로 생성하는 방법으로 2021년에 출시된 Epic의 MetaHuman 모델링 도구를 기반으로 합니다. 그 출시 이후 백만 명 이상의 사용자가 수백만 개의 MetaHuman을 만들었다고 Epic은 말했습니다. 사람 얼굴 사진 3장을 처리하는 데 몇 분이면 충분합니다.
Mastilovic이 수요일 아침 무대에서 말했듯이 이러한 MetaHumans의 주요 문제는 "애니메이션을 만드는 것이 여전히 쉽지 않았다"는 것입니다. 숙련된 스튜디오조차도 게임에서 사용할 수 있는 애니메이션을 얻기 위해 특수 하드웨어의 상세한 "4D 캡처" 와 "처리 시간의 몇 주 또는 몇 달" 및 사람의 조정을 사용해야 하는 경우가 많다고 그는 말했습니다.
MetaHuman Animator는 이러한 프로세스를 대폭 간소화하도록 설계되었습니다. 이를 시연하기 위해 Epic은 2017년 Hellblade: Senua's Sacrifice 에서 Senua 역할로 알려진 Ninja Theory 퍼포먼스 아티스트 Melina Juergens에게 의존했습니다 .
Juergens의 15초 무대 공연은 그녀 앞에 있는 삼각대에 장착된 기본 iPhone으로 캡처되었습니다. 그런 다음 해당 성능의 결과 비디오는 고급 AMD 시스템에서 1분도 채 안 되어 처리되어 원본 비디오와 거의 구별할 수 없는 3D 애니메이션을 생성했습니다.
결과의 속도와 충실도는 Yerba Buena Center for the Arts에 모인 개발자들로부터 큰 박수를 받았고 실제로 보고 믿어야 했습니다 . Juergens의 연기에 대한 작은 손길(치아를 드러내는 것부터 작은 입 떨림, 옆으로 쳐다보는 것까지)은 모두 원본 비디오와 거의 구별할 수 없는 방식으로 애니메이션에 통합됩니다. Mastilovic은 "소리가 나는 것과 같은" "오디오에서 혀로" 알고리즘을 사용하여 캡처된 오디오에서 사실적인 혀 움직임도 추정한다고 말했습니다.
또한 Epic은 모든 안면 틱이 Juergens의 자체 MetaHuman 모델뿐만 아니라 동일한 MetaHuman 표준을 기반으로 구축된 모든 모델에 어떻게 적용될 수 있는지 보여주었습니다. Juergens의 동작과 고도로 양식화된 만화 캐릭터의 입에서 나오는 말을 그녀가 연기한 지 불과 몇 분 만에 보는 것은 아무리 줄잡아 말해도 충격적이었습니다.
프리젠테이션은 곧 출시될 Senua's Saga: Hellblade II의 성능 중심 예고편 의 데뷔로 마무리되었습니다 . 그 예고편은 Mastilovic이 Juergens의 전신 모션 캡처 성능이 "어떤 식으로든 다듬거나 편집하지 않았으며 MetaHuman 애니메이터가 처리하고 시작하고 끝내는 데 몇 분 밖에 걸리지 않았다"고 말함으로써 더욱 인상적입니다.
