간편하게 제작하는 초고품질의 디지털 휴먼

자연스러운 디지털 휴먼을 제작하는 것은 매우 까다롭다. 고비용의 장비와 인력 그리고 엄청난 시간과 노력, 기술이 필요하다. 자연스러운 디지털 휴먼 제작을 위해 오래전부터 노력해온 에픽게임즈는 지난 몇 년 동안 가상의 캐릭터부터 실제 사람의 디지털 카피까지 사실적인 퀄리티의 리얼타임 디지털 휴먼을 언리얼 엔진으로 제작했다. ■ 자료제공 : 에픽게임즈

▲ Hellblade Live Performance & Real-Time Animation, GDC 2016 Event Coverage

에픽게임즈는 2016년 게임개발자 콘퍼런스인 ‘GDC 2016’에서 3래터럴과 큐빅 모션, 아이키네마(Ikinema), 엑스센스(Xsens)와 협업하여 닌자 시어리의 출시 게임인 ‘헬블레이드: 세누아의 희생’의 캐릭터 세누아(Senua)로 라이브 퍼포먼스를 시연했는데, 매우 복잡한 표정 연기와 신 연출, 촬영, 편집 후 바로 라이브로 렌더링하는 작업을 단 몇 분 만에 끝내는 모습을 보여줬다.

2017년에는 컴퓨터 그래픽스 콘퍼런스인 SIGGRAPH(시그라프)에서 fxguide의 공동설립자이자 연구원인 마이크 세이무어가 자신의 디지털 더블을 제작해 공개했다. 다른 연구원들과 대학 그리고 기술자로 구성된 폭넓은 팀과 함께 만든 MEETMIKE 프로젝트는 마이크 세이무어의 VR 버전을 실시간으로 퍼포먼스 캡처하여 언리얼 엔진에서 90FPS로 렌더링됐다.

▲ ‘MEETMIKE’ Digital Human Showcase, Real-time in VR

2018년에는 실시간 캡처 디지털 휴먼을 한 단계 더 발전시킨 사이렌(Siren)을 선보였다. 사이렌은 중국 여배우 빙지에 장(Bingjie Jiang)을 재현한 고퀄리티 리얼타임 디지털 캐릭터로, 에픽게임즈가 3래터럴, 큐빅 모션, 텐센트 및 비콘(Vicon)과 협업하여 제작했으며, 언리얼 엔진을 활용해 라이브 캡처한 디지털 휴먼의 수준을 끌어올렸다고 평가받았다.

▲ 사이렌 라이브 퍼포먼스/프로젝트 집중탐구/언리얼 엔진

또한 GDC 2018에서 공개된 앤디 서키스(Andy Serkis)의 디지털 버전은 리얼타임 디지털 휴먼의 비약적인 도약이었다. 앤디 서키스가 셰익스피어의 명작인 맥베스의 명대사를 낭독한 이 퍼포먼스는 언리얼 엔진의 리얼타임 렌더링 및 3래터럴의 휴먼 프레임워크 볼류메트릭 캡처, 재설계 및 압축 기술을 통해 생생하게 구현되었다.

▲ Next-Gen Digital Human Performance by Andy Serkis/Project Spotlight/Unreal Engine

이 볼류메트릭 데이터는 통제된 라이트하에서 앤디 서키스의 높은 충실도의 실시간 이미지를 다양한 각도에서 캡처하여 생성된 것이다. 3래터럴의 프로세스에는 다양한 캡처 시나리오가 포함되어 있으며, 이 중 일부는 지오메트리에, 일부는 생김새에, 그리고 나머지는 모션에 집중되어 있다. 이 모든 입력들은 앤디 서키스의 얼굴을 디지털 재현으로 생성해내는데 적용되며, 또한 이 얼굴을 생동감 있게 만들어줄 안면 근육의 움직임을 재현하는 전체 안면을 추출하는 데에도 적용된다. 

그 결과물로 높은 충실도의 실시간 영상으로 만들어진 앤디 서키스의 디지털 카피는 맥베스의 대사들을 읊으면서, 실제 연기와도 거의 구분할 수 없는 영상 및 표현의 퀄리티를 보여주었다. 맥베스 연기 데이터는 3래터럴이 창조해낸 상상 속 디지털 생물, 오시리스 블랙(Osiris Black)에도 그대로 적용되어, 똑같은 캡처 데이터를 두 개의 완전히 다른 인물들에 활용할 수 있다는 것도 시연해 보였다. 

이처럼 에픽게임즈는 지난 몇 년간 언리얼 엔진으로 디지털 휴먼 제작에 있어 선도적인 역할을 해왔다. 또한 3래터널, 큐빅 모션 등 퍼포먼스 캡처 기반 4D 애니메이션 제작 분야를 선도하는 두 회사를 에픽게임즈의 제품군으로 포함시켜 디지털 휴먼 제작 기술을 대중화시키고자 노력해 왔다. 하나의 고퀄리티 디지털 휴먼을 제작하는 것은 어렵고 많은 시간이 소요되며, 차세대 플랫폼과 하이엔드 버추얼 프로덕션에 필요한 품질의 다양한 디지털 휴먼을 제작하는 것은 더욱 어마어마한 작업을 필요로 한다. 바로 이런 이유에서 에픽게임즈는 누구나 손쉽게 고퀄리티의 디지털 휴먼을 제작할 수 있도록 메타휴먼 크리에이터를 선보이게 됐다. 

▲ 메타휴먼 크리에이터 - 간편하게 제작하는 초고품질의 디지털 휴먼/언리얼 엔진

메타휴먼 크리에이터는 클라우드 스트리밍 애플리케이션으로 몇 주 혹은 몇 개월이 소요되던 리얼타임 디지털 휴먼 제작을 퀄리티의 변동없이 한 시간 이내로 제작할 수 있다.

지속적으로 업데이트되는 라이브러리에서 다양한 외형과 동작을 선택할 수 있으며, 직관적인 워크플로를 통해 사실적인 새로운 캐릭터를 원하는 대로 만들 수 있다. 캐릭터를 변경하면 라이브러리의 실제 샘플들이 데이터에 맞게 자연스럽게 블렌딩된다. 폭넓은 데이터베이스에서 휴먼 제작에 사용할 얼굴 프리셋을 선택하여 베이스를 설정할 수 있다.

또한, 언리얼 엔진의 스트랜드 기반으로 제작된 약 30개의 헤어 스타일 또는 저사양 플랫폼을 위한 헤어 카드를 선택할 수 있으며, 다양한 의상 샘플뿐만 아니라 18가지의 비율이 다른 체형도 선택 가능하다. 

▲ 이미지 출처 : 언리얼 엔진 홈페이지

만들어진 작업물이 만족스럽다면, 퀵셀 브리지를 통해 애셋을 다운로드할 수 있으며 완전히 리깅되고, LOD가 포함되어 언리얼 엔진에서 애니메이션과 모션 캡처를 바로 적용할 수 있다. 여기에는 메시, 스켈레톤, 페이셜 릭, 애니메이션 컨트롤, 머티리얼 등이 포함된 마야(Maya) 파일 형식으로 소스 데이터가 제공된다.

애셋을 받았다면 퍼포먼스 캡처 툴을 사용하거나 키프레임 수작업으로 애니메이팅할 수 있다. 언리얼 엔진의 라이브 링크 페이스 iOS 앱을 사용할 수 있다. 에픽게임즈는 ARKit, DI4D, Digital Domain, Dynamixyz, Faceware, JALI, Speech Graphics, 큐빅 모션 등 퍼포먼스 캡처 툴 지원을 제공하기 위해 공급 업체와 협력하고 있다. 하나의 메타휴먼을 위해 제작된 애니메이션은 다른 메타휴먼에도 적용할 수 있어 다양한 프로젝트에 걸쳐 재사용이 가능하다.

메타휴먼 크리에이터는 앞으로 몇 달 안에 얼리 엑세스가 준비될 예정으로, 디지털 휴먼의 퀄리티를 어느 수준까지 구현할 수 있는지 미리 보여주기 위해 완성된 휴먼 샘플 2개를 제공한다. 이 샘플은 직접 살펴보며 변경할 수 있고, 언리얼 엔진 4.26.1과 그 후속 버전에 사용할 수 있다. 샘플은 에픽게임즈 런처의 학습 탭이나 홈페이지에서 다운로드받을 수 있다.

▲ 메타휴먼을 만나보세요 - 무료 샘플 공개/언리얼 엔진

■ 기사 내용은 PDF로도 제공됩니다.