- 개발 및 공급 : 에픽게임즈
- 주요 특징 : 아이폰 또는 스테레오 헤드 마운트 카메라로 얼굴을 캡처해 고퀄리티 페이셜 애니메이션으로 적용 가능, GPU 하드웨어를 사용해 빠르게 최종 애니메이션 완성, 4D 솔버를 사용해 비디오와 뎁스 데이터를 메타휴먼 캐릭터와 결합, 캡처한 애니메이션 데이터의 타임코드 지원 등
아이폰과 PC만으로 배우의 연기를 캡처해서 메타휴먼의 고퀄리티 페이셜 애니메이션을 단 몇 분 만에 만들 수 있을까?
게임 콘퍼런스인 GDC 2023(Game Developers Conference)에서 처음 선보인 메타휴먼 애니메이터(MetaHuman Animator)는 쉽고 빠른 디지털 휴먼 파이프라인으로 메타휴먼을 위한 고퀄리티 퍼포먼스 캡처 기능을 제공한다.
메타휴먼 애니메이터는 아이폰 또는 스테레오 헤드 마운트 카메라(Head-Mounted Camera : HMC) 시스템으로 배우의 연기를 캡처하고, 수작업 없이 모든 메타휴먼 캐릭터에 고퀄리티 페이셜 애니메이션으로 적용할 수 있는 새로운 기능이다.
▲ 이미지 출처 : 메타휴먼 애니메이터 출시 영상 캡처
이 새로운 기능은 사람 얼굴의 모든 미묘한 표정, 모습, 감정을 정확하게 캡처하여 디지털 휴먼으로 충실히 재현할 수 있다. 또한 사용법이 간단하고 직관적이기 때문에 누구나 손쉽게 멋진 결과물을 얻을 수 있다.
퍼포먼스 캡처를 처음 사용한다면 메타휴먼 애니메이터를 사용해 실제 연기를 기반으로 한 페이셜 애니메이션을 메타휴먼에 간편하게 적용할 수 있다. 이미 퍼포먼스 캡처 사용 경험이 있다면 이 새로운 기능으로 기존의 캡처 워크플로를 크게 개선하고, 시간과 노력을 줄이며, 보다 창의적으로 제어할 수 있다. 뿐만 아니라 메타휴먼 애니메이터를 기존의 버티컬 스테레오 헤드 마운트 카메라와 함께 사용하면 훨씬 뛰어난 퀄리티를 구현할 수 있다.
손쉽게 제작할 수 있는 고퀄리티 페이셜 애니메이션
기존에는 전문가로 구성된 팀이라도 배우의 연기에 담긴 모든 뉘앙스를 디지털 캐릭터에 충실히 재현하려면 수 개월이 걸렸다. 그러나 이제 메타휴먼 애니메이터가 훨씬 적은 노력과 시간으로 이 어려운 작업을 대신 처리할 수 있게 되었다.
이 새로운 기능은 4D 솔버를 사용해 비디오와 뎁스 데이터를 연기자의 메타휴먼 캐릭터와 결합한다. 애니메이션은 GPU 하드웨어를 사용하여 로컬에서 제작되며, 몇 분 만에 최종 애니메이션이 완성된다. 이 모든 과정은 내부적으로 진행되기 때문에, 사용자는 카메라를 배우에게 맞춰 녹화 버튼을 누르기만 하면 된다. 캡처가 완료되면 메타휴먼 애니메이터는 배우의 개성 있는 연기와 모습을 모든 메타휴먼 캐릭터에 정확하게 재현한다.
▲ 이미지 출처 : 언리얼 엔진 홈페이지(관련 영상)
또한 애니메이션 데이터는 적절한 릭 컨트롤을 사용해 정확하고 시간적으로 일관되며 컨트롤 전환이 부드럽기 때문에, 필요에 따라 애니메이션을 손쉽게 조정할 수 있다.
에픽게임즈는 이 메타휴먼 애니메이터로 어떤 작업을 할 수 있는지, 그 가능성이 어디까지인지를 보여줄 수 있는 쇼케이스 영상도 함께 선보였다. 에픽게임즈의 제품군 중 하나인 3Lateral 팀이 유명 배우 라디보예 부크빅(Radivoje Bukvić)을 비롯한 세르비아 현지 아티스트들과 협업하여 제작한 단편 영화 ‘Blue Dot’이다.
이 단편 영화에서 라디보예 부크빅은 미카 앤틱(Mika Antic)의 시를 바탕으로 한 독백을 선보였다. 이 연기는 테이크원(Take One) 스튜디오의 모캡 스테이지에서 촬영되었으며, 이반 시작(Ivan Šijak)이 촬영 감독을 맡았다.
이 단편 영화는 아티스트와 영화 제작자가 스테레오 헤드 마운트 카메라 시스템과 전통적인 영화 제작 기법을 메타휴먼 애니메이터와 함께 사용했을 때 기대할 수 있는 퀄리티를 보여준다. 팀은 최고의 메타휴먼 애니메이터 결과물에 최소한으로 개입하며 인상적인 수준의 애니메이션 퀄리티를 얻을 수 있었다.
▲ 이미지 출처 : Blue Dot: 3Lateral 메타휴먼 애니메이터 쇼케이스 영상 캡처
모든 메타휴먼을 위한 페이셜 애니메이션
메타휴먼 애니메이터로 캡처한 페이셜 애니메이션은 몇 번의 클릭만으로 모든 메타휴먼 캐릭터 또는 새로운 메타휴먼 페이셜 디스크립션 표준을 채택한 모든 캐릭터에 적용할 수 있다. 즉, 사용자가 원하는 방식으로 캐릭터를 디자인할 수 있다.
기술적인 측면을 살펴보면, 메시 투 메타 휴먼은 이제 단 3 프레임의 비디오와 아이폰으로 캡처하거나 버티컬 스테레오 헤드 마운트 카메라에서 얻은 데이터를 사용하여 재구성한 뎁스 데이터로 메타휴먼 아이덴티티를 생성할 수 있다.
이를 통해 솔버를 배우에 맞게 개인화하여 메타휴먼 애니메이터가 모든 메타휴먼 캐릭터에서 작동하는 애니메이션을 제작할 수 있다. 뿐만 아니라 오디오를 사용하여 사실적인 혀 애니메이션을 제작할 수도 있다.
아이폰으로 캡처하기
▲ 이미지 출처 : 언리얼 엔진 홈페이지
에픽게임즈는 고사양 캡처 시스템을 갖춘 전문가만이 할 수 있는 페이셜 퍼포먼스 캡처를 모든 크리에이터가 사용할 수 있도록 메타휴먼 애니메이터를 제작했기 때문에, 아이폰(12 이상)과 데스크톱 PC만 있으면 아주 간단하게 사용할 수 있다. 이는 업데이트된 Live Link Face iOS 앱으로 원본 비디오와 뎁스 데이터를 캡처한 다음 디바이스에서 언리얼 엔진으로 직접 수집하도록 처리하기 때문이다.
또한 메타휴먼 애니메이터와 함께 기존의 버티컬 스테레오 헤드 장착 카메라 시스템을 사용하면 훨씬 높은 퀄리티를 구현할 수 있다.
▲ 이미지 출처 : 언리얼 엔진 홈페이지
아이폰을 사용하든 스테레오 HMC를 사용하든 메타휴먼 애니메이터는 캡처 워크플로의 속도와 사용 편의성을 향상시킨다. 따라서 촬영 요건과 원하는 퀄리티에 맞춰 가장 적합한 하드웨어를 유연하게 선택할 수 있다. 캡처한 애니메이션 데이터는 타임코드를 지원하기 때문에, 페이셜 연기 애니메이션을 보디 모션캡처 및 오디오와 손쉽게 연동하여 완벽한 캐릭터 퍼포먼스를 구현할 수 있다.
▲ 이미지 출처 : 언리얼 엔진 홈페이지
촬영장에서 창의적 작업을 위한 솔루션
메타휴먼 애니메이터는 모든 메타휴먼 캐릭터에 페이셜 애니메이션을 빠르게 처리하고 적용할 수 있기 때문에, 촬영 중에 창의적인 반복 작업을 하는 데 특히 적합하다.
배우의 더 나은 연기를 이끌어내거나, 다른 감정에 몰입하게 하거나, 단순히 새로운 방향을 모색하고 싶다면 다시 촬영하기만 하면 된다. 커피 한 잔 마시는 짧은 시간에 결과물을 검토할 수 있다. 그리고 촬영하는 동안 언리얼 엔진에서 애니메이션 데이터를 바로 검토할 수 있어, 최종 캐릭터가 애니메이팅되기 전에 캡처의 퀄리티를 미리 평가할 수 있다.
또한 배우가 스테이지에 있는 동안 재촬영을 할 수 있어, 추후 모든 관계자를 다시 모으기 위해 시간과 비용을 들일 필요 없이 그 자리에서 최고의 장면을 얻을 수 있다.
▲ 이미지 출처 : 메타휴먼 애니메이터 활용에 관한 Aaron Sims Creative와 이반 시작의 인터뷰 영상 캡처
커스텀 캐릭터를 위한 새로운 메시 투 메타휴먼 워크플로
이번 출시 버전에서는 메타휴먼 애니메이터뿐만 아니라 메시 투 메타휴먼(Mesh to MetaHuman)도 확장하여 템플릿 메시 포인트 위치를 직접 설정할 수 있게 됐다.
메시 투 메타휴먼은 형태를 맞추는 작업을 수행할 때 어떠한 토폴로지라도 사용 가능하지만 이 경우 입력한 메시의 볼륨과 유사한 형태를 얻을 수밖에 없었는데, 이번 버전에서는 템플릿 메시를 설정할 수 있고 이 때 메타휴먼 토폴로지를 철저하게 준수하면 유사한 형태가 아닌 정확한 형태의 리깅된 메시를 얻을 수 있다. 또한 메시와 조인트에 대한 뉴트럴 포즈를 설정하는 DNA 캘리브레이션 기능과 함께 사용하면 커스텀 캐릭터에서 빠르게 집중할 수 있다.
새로운 메타휴먼 허브에서 메시 투 메타휴먼을 비롯한 메타휴먼 프레임워크의 모든 측면을 다룬 문서를 살펴볼 수 있다. 메타휴먼 허브는 에픽 툴에 대해 학습하고 다른 사람들과 정보를 교환할 수 있는 에픽 디벨로퍼 커뮤니티에 있으며, 커뮤니티에는 작품을 선보이거나 질문을 할 수 있는 포럼 섹션, 에픽 및 사용자가 만든 튜토리얼 콘텐츠로 구성된 튜토리얼 섹션도 마련돼 있다.
이제 모바일 기기 하나로 누구나 손쉽게 고퀄리티의 페이셜 애니메이션을 제작해 자신의 디지털 휴먼에 적용할 수 있게 됐다. 물론, 기존에 사용하던 스테레오 헤드 마운트 카메라 시스템이 있다면 더 뛰어난 퀄리티의 페이셜 애니메이션을 만들 수 있다. 이것이 에픽게임즈가 메타휴먼 애니메이터를 출시한 이유이다.
■ 기사 내용은 PDF로도 제공됩니다.
