[케이스 스터디] 언리얼 엔진으로 개발한 디지털 휴먼 ‘빈센트’

5명의 아티스트로 사실적인 리얼타임 디지털 휴먼 제작

자이언트스텝의 R&D 그룹인 GxLab에서 진행한 빈센트 프로젝트는 리얼타임 엔진을 활용하여 극사실적인 디지털 휴먼을 만드는 프로젝트다. 빈센트는 에픽게임즈나 쓰리레터럴, 큐빅 모션과 같은 글로벌 기업들과 어깨를 나란히 할 수 있음을 증명하자는 목표로 시작되었다. ■ 자료 제공 : 자이언트스텝(Giantstep)

리얼타임 렌더링 활용한 디지털 휴먼, 빈센트

이미 오래 전부터 영화와 미디어, 엔터테인먼트 분야에서는 사실적인 디지털 휴먼을 만들고자 하는 시도가 있어 왔고 아바타, 알리타 등 성공사례도 많이 있었다. 하지만 이들 모두가 오랜 렌더링 시간을 요구하는 오프라인 렌더링 방식을 사용했으며 많은 애니메이션 후처리 작업이 필연적이었다.

수년 전만 해도 이런 사실적인 디지털 휴먼을 게임에서 쓰던 리얼타임 렌더링을 통해 액터의 액팅을 바로 적용해 결과물을 볼 수 있게 만든다는 것은 거의 불가능으로 여겨졌다. 하지만 그래픽 하드웨어와 소프트웨어의 발전이 거듭되면서 사실적인 디지털 휴먼 제작 가능성이 제기되어 왔고, 에픽게임즈는 2016년 헬블레이드 : 세누아의 희생, 2017년 미트 마이크(Meet Mike), 2018년 앤디 서키스(Andy Serkis)가 연기한 오시리스 블랙(Osiris Black) 및 사이렌(Siren) 데모를 발표하며 언리얼 엔진의 리얼타임 렌더링을 활용한 사실적인 디지털 휴먼 개발과 이에 필요한 리얼타임 모션 및 페이셜 캡처 기술 구현이 가능하다는 것이 증명하기도 했다.

프로젝트 빈센트는 에픽게임즈나 쓰리레터럴(3Lateral), 큐빅 모션(Cubic Motion)과 같은 글로벌 기업과 어깨를 나란히 할 수 있음을 증명하자는 목표로 시작된 프로젝트였다.

개발 초기에는 이미 기술을 갖춘 기업들과 함께 개발하며 그들의 기술을 배울 수 있는 가능성을 타진했지만, 당시만 해도 대부분의 기술이 기술 데모만 완성된 상태라 상품으로 서비스를 하기에는 준비가 부족한 상황이었다. 또 이런 회사들은 이미 글로벌 기업들과 협업을 진행하고 있는 등 당시 자이언트스텝으로서는 그들과 협업할 기회를 잡는 것이 쉽지 않았다.

프로젝트를 포기할지 관련 기술개발에 도전해볼지 고심 끝에 내부 기술 개발을 선택하게 되었다.

사실 매우 큰 비용과 노력이 필요한 R&D 프로젝트인 만큼 이런 결정은 대기업이라 해도 쉽지 않다. 하지만 자이언트스텝의 고유 기술에 대한 중요성을 강조하는 기업 문화는 이런 모험적인 프로젝트를 가능하게 했다.

VFX 아티스트인 이스케 사카모토 실장을 포함한 5명의 아티스트로 빈센트 개발이 진행되었다. 5명에 불과한 아티스트들이 빈센트를 제작했다는 점은 아티스트들이 얼마나 많은 노력을 기울였는지, 개발자들은 아티스트들의 효율적인 작업을 위한 파이프라인 개발에 얼마나 많은 노력을 했는지, 그리고 언리얼 엔진이 이렇게 적은 인원으로도 무슨 일을 할 수 있는지 보여주는 중요한 사례다.

▲ 언리얼 엔진의 강력한 피부표현 기능을 통해 빈센트의 피부를 오프라인 렌더링 수준으로 끌어올렸다.

언리얼 엔진의 렌더링 기술, 애셋, 그리고 내부 R&D를 통한 해결

사실적인 디지털 휴먼 개발을 위해 필요한 기술을 파악하고 관련 개발 스케줄을 짜고, 아트 능력을 확보하는 등의 기술 외적인 준비를 마치고 직면한 세 가지의 기술적인 이슈가 있었다.

첫 번째 기술 이슈는 바로 셰이더를 포함한 비주얼과 관련한 기술들을 확보하는 것이었다. 이 부분이 언리얼 엔진을 선택한 여러 가지 중요한 이유 중 하나였다. 언리얼 엔진의 머티리얼 에디터와 스킨 라이팅 모델의 투과(Transmission), 듀얼 로브 스페큘러(Dual lobe specular) 등 강력한 피부 표현 기능들은 특별한 추가 개발 없이 빈센트의 피부를 오프라인 렌더링 수준으로 끌어올리는데 큰 역할을 하였다. 만일 이런 기능을 지원하지 않아 개발사가 직접 이런 부분을 모두 개발해야 했다면 추가 시간과 인력, 비용이 필요했을 것이다. 하지만 언리얼 엔진은 이런 부분에 대한 높은 퀄리티는 물론, 완성된 기능을 제공하고 있었기에 유용하게 이들을 활용할 수 있었다.

▲ 언리얼 엔진 에티터 상에서 빈센트를 개발하고 있는 스크린샷

또한 언리얼 엔진은 높은 수준의 문서화와 온라인 동영상 강좌 등을 통해 기능의 구현 방식과 특징을 모두 공개하고 있고, 필요한 경우 소스코드 접근을 통해 그 기능이 정확히 어떤 역할을 하는지, 어떤 공식을 사용하는지 그래서 어떤 특징을 가지는지 파악할 수 있었으므로 단순히 기능을 사용하는 것만이 아닌 기술의 기본을 파악할 수 있었다. 그 덕분에 실제로 어떤 파라미터의 변화가 어떤 결과로 이어지리라는 것을 명확히 파악하고 사용할 수 있었다. 여기에 머티리얼 인스턴싱을 활용한 즉각적인 파라미터 수정 및 결과 확인은 매우 유용했으며, 특히 마지막 파인 튜닝(Fine Tuning) 단계에서의 시간을 극적으로 줄여주었다.

또한 언리얼 엔진이 제공하는 미트 마이크 무료 애셋 샘플은 빈센트의 비주얼을 만드는데 필요한 많은 기술들에 대한 힌트와 예제를 제공해 주었다. 예를 들어 미트 마이크에 포함된 애셋을 통해 얼굴의 잔털 표현 방법이나 헤어의 최종적인 형태와 가져야 하는 데이터가 어떤 것들이 있는지 알 수 있었다. 특히 데이터의 형태가 마야(Maya)나 3ds 맥스(3ds Max)같은 DCC 툴들의 기본 데이터 외에 추가 데이터를 요구한다는 것을 알 수 있었고, 그것들이 어떤 것들인지, 어떻게 해야 더 효과적으로 데이터를 구성할 수 있는지 미리 파악할 수 있는 큰 단서를 주었다. 덕분에 관련하여 어떤 마야 플러그인과 스크립트를 만들어야 하는지 개발 목표를 뚜렷하게 정할 수 있어 개발 기간을 크게 단축할 수 있었다.

예를 들어 마야 헤어 익스포트 툴을 만들었을 때, 기본적으로 미트 마이크에 포함된 것과 같은 데이터를 가진 애셋을 만들 수 있게 툴을 제작한다면 최소한의 기능이 확보된다는 확신을 가질 수 있었고, 이는 곧 툴의 1차 개발 목표가 되었다. 그리고 이 툴이 완성된 이후, 단계적으로 빈센트만의 추가 데이터를 애셋에 포함시킬 수 있는 형태로 툴 확장을 진행했기에, 심리적으로 안정된 형태의 툴 개발이 가능했다. 만일 이런 부분이 확실하지 않았다면, 여러 가지 경우의 수에 대한 모든 R&D를 먼저 진행해야 했을 것이고, 그럼에도 완성하기 전까지 선택된 방식이 맞는지에 대한 끝없는 의심으로 개발 과정은 훨씬 불안정하고 느렸을 것이다.

또 다른 예로는, 미트 마이크의 스킨 셰이더에는 투과, 듀얼 로브 스페큘러 등 사실적인 피부 표현에 대한 힌트만이 아닌, 주름맵을 위한 얼굴의 파트를 어떻게 나누고 어떻게 블렌딩하는 것이 효율적인지에 대한 매우 유용한 힌트들도 함께 있다. 이런 정보를 활용해 마야에서 페이셜 영역 정보를 세팅하고 익스포트하는 툴 제작을 할 수 있었고, 이 툴에 어떤 기능이 최소한으로 갖추어져야 하는지, 영역의 계층 구조는 어떻게 구성되어야 하는지에 대한 확신을 가질 수 있었기 때문에 마야 페이셜 툴 설계 및 제작 과정에서 큰 시간을 아낄 수 있었다. 이렇게 언리얼 엔진의 뛰어난 기능과 샘플을 십분 활용하여 빈센트의 바탕을 만들 수 있었고, 이를 통해 추가 요구 사항에 부합하도록 추가 기능을 개발하여 현재의 빈센트 룩을 만들 수 있었다.

두 번째 기술 이슈는 효과적인 표정 표현을 위해 어떤 기술들을 선택하고 구현하는지에 대한 것이었고 당시 존재했던 많은 솔루션을 검토했다. 하지만 당시의 페이셜 캡처 및 구현 솔루션들은 대부분 오프라인 렌더링을 기본으로 생각하고 구현되어서, 리얼타임으로 구현하는 솔루션들은 그 퀄리티가 게임 수준에 머무르거나 아이폰의 페이셜 캡처 기능을 활용하는 등 디테일이나 커스터마이징에 한계가 있었다. 그래서 관련 솔루션을 직접 개발하여 기초 기술을 확보하고자 내부 연구를 통해 직접 개발하기로 방향을 잡았다.

이에 내부 개발을 위한 기초를 먼저 오프라인용 솔루션 중 정확한 3차원 위치 데이터를 얻을 수 있으면서, 데이터 형태에 대한 자유도가 높은 솔루션이 무엇인지 검토했고, 가장 부합하는 솔루션인 바이콘 카라(Vicon Cara)를 페이셜 애니메이션 캡처 시스템으로 결정했다.

바이콘 카라는 전면에 글로벌 셔터를 장착한 카메라 4개를 이용해 마커의 위치를 트래킹하는 헤드마운트 카메라 장비로, 마커의 위치를 자유롭게 설정할 수 있고 그 마커들의 위치를 극도로 높은 정확도를 가진 3차원 데이터로 가져올 수 있다는 장점이 있었다. 당시 다른 솔루션들 대부분이 페이셜 랜드 마크의 2차원 위치 정보 데이터만을 얻어오는데 그쳤기 때문에 카라를 선택하게 되었다. 하지만 카라는 오프라인 렌더링을 위한 솔루션으로, 리얼타임으로 데이터 전송이 불가능하다. 이를 해결하기 위해 딥러닝을 활용해 2D 이미지에서 3D 마커 위치를 유추하는 뉴럴 네트워크를 제작하기로 했다.

먼저 카라에 카메라를 하나 더 추가하고, 액터의 페이셜 캡처 시, 이 추가 카메라의 영상을 따로 저장한 후, 이 영상과 계산된 3차원 마커 위치 값을 대응하여 학습 데이터로 사용하는 방식으로, 이후 2D 이미지를 입력으로 넣으면, 3D 마커 위치를 높은 정확도로 유추해 내는 인공지능이 구현되었다. 이외에도 표정의 강조나 블렌드 셰이프 웨이트 구성 등 가능한 많은 분야에 머신러닝을 적극적으로 활용했고, 지속적으로 적용하고 있다. 이를 통해 머신러닝에 대한 많은 경험을 쌓을 수 있었고, 특히 규모가 작은 팀의 한계를 효율적인 머신 러닝 사용으로 돌파할 수 있다는 것을 확인했다는 점이 고무적이다.

마지막 기술 이슈는 바로 파이프라인 최적화를 위한 기술 확보였다. 매우 적은 수의 아티스트만 갖춘 만큼 극단적으로 효율적인 파이프라인이 필요했고 이에 가장 중요하게 생각한 부분은 반복 작업의 양을 줄이고 최대한 자동화하는 것이었다. 이 부분은 언리얼 엔진을 선택한 또 다른 큰 이유 중 하나였다.

언리얼 엔진의 파이썬(Python) 지원과 플러그인 제작 편의성은 많은 부분에 존재하는 디자이너의 반복 작업 이슈를 쉽게 처리하고 관련 툴의 개발을 매우 쉽게 할 수 있도록 도와주었다. 예를 들어 얼굴을 나누는 영역의 형태와 개수는 가능한 한 여러 가지 조합으로 바꿔보며 되도록 빨리 그 결과를 확인하는 것이 사실적인 페이셜의 표현을 위해 필수적인 과정이었다. 하지만 얼굴 영역이 바뀌게 되면 텍스처를 새로 조합하고, 많은 애셋의 임포트를 다시 진행해야 함은 물론, 머티리얼 구성 내용까지 그 설정에 따라 달라져야 했다. 이 과정을 일일이 손으로 진행하면 아티스트 한 명이 온종일 단순 작업을 해야만 그 결과의 확인이 가능하다.

하지만 언리얼 엔진의 파이썬 스크립트는 애셋의 임포트 등 관리의 자동화에 매우 유용했고, 특히 머티리얼 구성 자동화 플러그인의 경우 얼굴 영역 정보가 바뀔 때마다 수작업으로 페이셜 머티리얼 노드를 수정할 필요 없이 텍스처 조합과 생성은 물론 머티리얼 구성까지 자동으로 진행할 수 있었다. 이를 통해 데이터가 바뀔 때마다 하루를 꼬박 사용했던 일이 단 몇 분 만에 자동으로 진행될 수 있었다. 이외에도 다양한 마야 플러그인과 스크립트, 언리얼 엔진 플러그인 개발을 통해 최대한 자동화를 진행한 결과, 적은 수의 인원으로도 빈센트 프로젝트를 빠른 시간 안에 수행할 수 있었다.

▲ 빈센트를 통해 보여준 리얼타임 디지털 휴먼 기술은 영화, 미디어 등 엔터테인먼트 산업뿐 아니라 다양한 산업을 혁신할 것으로 기대된다.

리얼타임 디지털 휴먼, 다양한 산업에서의 혁신 기대

프로젝트 빈센트를 시작할 때쯤에는 리얼타임이면서 극사실적인 퀄리티를 가진 리얼타임 디지털 휴먼은 세계적으로도 에픽게임즈, 쓰리레터럴, 큐빅 모션 등이 공동으로 제작한 사이렌이나 앤디 서키스가 연기한 오시리스 블랙 미트 마이트 등이 전부였다. 언리얼 엔진을 사용한 대부분의 리얼타임 디지털 휴먼들은 에픽게임즈와 공동으로 만든 것이다. 하지만 빈센트의 경우는 에픽게임즈와의 공동 개발이 아닌 완전 자체 개발로 만들어진 케이스다. 에픽게임즈는 언리얼 엔진을 사용하면 작은 팀이라도 이런 사실적인 리얼타임 디지털 휴먼 개발이 가능하다는 것을 증명해준 매우 좋은 케이스라고 빈센트를 평가했다.

자이언트스텝은 빈센트 공개 직후 CGRecord에서 피처를 받았고, 여러 유력 기업들로부터 함께 일하고 싶다는 러브콜을 받았다. 빈센트를 통해 보여준 사실적인 리얼타임 디지털 휴먼 제작 기술은 전통적인 오프라인 렌더링 기술을 활용하던 영화, 미디어 등 엔터테인먼트 분야에서의 제작 방식을 완전히 뒤바꿀 것이고, 또한 다양한 산업에서 의미 있게 활용될 것으로 기대된다. 가령 인공지능(AI) 스피커나 비서와 연동해 이용자들이 더 직관적인 AI 서비스를 경험할 수도 있다. 또 다양한 기업에서 수준 높은 극사실적인 고유 캐릭터 제작 등에 활용, 효과적인 첨단 마케팅 및 홍보 등에 활용할 수 있다.

자이언트스텝은 앞으로 리얼타임 디지털 휴먼이 더욱 중요한 분야가 될 것이라 예상했다. 실제로 빈센트 발표 후 자이언트스텝이 받은 많은 관심과 제안들을 통해 예상이 아닌 현실이라 믿게 됐다. 다만 이런 기회를 잡고 더 크게 발전하려면, 추가적인 노력과 투자를 통해 기술을 개발하고 유지하는 것이 중요하다. 이에 자이언트스텝은 지금도 관련 기술들을 더욱 발전시키고 있으며, 최대한 빨리 다음 결과물을 공개할 계획이다. 프로젝트 빈센트를 통해 공격적으로 개발한 기초 기술과 여기서 얻어진 기술들을 특허 출원하는 등 기술력을 인정받기 위한 노력도 멈추지 않고 있다.

기사 내용은 PDF로도 제공됩니다.