스튜디오이온의 ‘아머드 사우루스’

▲ 출처 : 언리얼 엔진 홈페이지

‘아머드 사우루스(Armored Saurus)’는 지상파뿐만 아니라 넷플릭스, 왓챠 등의 OTT를 통해 방영되고 있는 실사풍의 VFX TV 특촬물 드라마이다. 이번 호에서는 아동용 애니메이션으로 기획되었던 ‘아머드 사우루스. 가 어떻게 언리얼 엔진의 실시간 렌더링 및 버추얼 프로덕션과 만나 실사풍의 VFX TV 특촬물 드라마로 탄생하게 되었는지 알아본다. 또 스튜디오이온이 언리얼 엔진으로 최종 렌더링까지 진행하면서 어떤 혁신적인 제작 환경과 파이프라인을 구축하게 되었는지도 살펴본다. ■ 자료 제공 : 에픽게임즈

공룡, 로봇 그리고 합체, 이 세 개의 요소가 모두 들어간 작품이 만들어진다면? 대부분은 어린이들에게 인기를 얻을 만한 조합이라 생각할 것이다. 하지만 여기에 진보된 리얼타임 3D 엔진으로 높은 그래픽 퀄리티와 사실감까지 더해진다면 어떨까? 어린아이는 물론 성인의 눈높이까지 만족시킬 수 있는 작품이 탄생하지 않을까? 사실 이것은 실제로 트레일러 영상이 공개되자마자 아이, 어른 할 것 없이, 아니 특히나 성인들의 폭발적인 반응을 얻었던 그리고 현재는 인기리에 방영 중인 스튜디오이온(Studio EON)이 만든 ‘아머드 사우루스’의 이야기다.

▲ Armored Saurus Official Teaser #3

‘아머드 사우루스’를 제작한 스튜디오이온

스튜디오이온은 미국 지상파 시청률 1위를 기록했던 ‘아이언키드(Eon Kid)’와 유튜브에서 어린이들의 인기를 얻은 애니메이션 ‘콩순이’ 등을 기획, 연출, 제작한 아티스트들이 모여 2013년 창업한 버추얼 프로덕션 스튜디오다. 현재 50명 이상의 언리얼 엔진 아티스트를 포함해 국내 최고 영상 전문가들의 제작 경험을 바탕으로 영상 제작 방식의 혁신을 보여주고 있다.

‘아머드 사우루스’는 스튜디오이온이 3년간 기획하여 2017년부터 프리 프로덕션을 시작한 작품이다. 대원미디어 유튜브 채널(현재 아머드 사우루스 별도 유튜브 채널 개설)에서 트레일러와 메이킹 필름을 처음으로 공개했을 때, 3주 만에 100만 명을 넘는 조회수를 기록하면서 아동용 콘텐츠로는 이례적으로 20~40대로부터 폭발적인 반응을 얻었고, 각종 언론에서 뉴스로 다뤄질 정도로 화제가 되었다.

또한, 언리얼 엔진의 버추얼 프로덕션을 이용하여 배우들을 CG 배경과 실시간으로 합성하면서 현장 세트 및 로케이션 없이 제작되었다는 점 역시 큰 주목을 받았다. 이를 통해 스튜디오이온은 언리얼 엔진의 기술이 퀄리티나 프로세스의 효율성 등의 제작 측면과 아울러 예산과 타깃층 형성 등의 사업적인 측면에도 긍정적으로 작용한다는 사실을 직접 경험했다.

▲ 출처 : 언리얼 엔진 홈페이지

▲ 출처 : 언리얼 엔진 홈페이지

▲ 출처 : 언리얼 엔진 홈페이지

스튜디오이온이 언리얼 엔진을 선택한 이유

2014년에 처음 언리얼 엔진의 가능성을 접하면서 다양한 테스트를 진행한 스튜디오이온은 2016년 영상 작업에 본격적으로 언리얼 엔진을 도입했다. 다른 리얼타임 렌더링 엔진도 고려했으나 초기 진입은 조금 어려울지라도 작품의 퀄리티에는 언리얼 엔진이 훨씬 유리할 것으로 판단했는데, 트레일러 첫 공개 당시 열광적인 반응으로 선택이 틀리지 않았음을 확인할 수 있었다. 또한, 요즘 OTT, 지상파 등 다양한 플랫폼에서 영화, 애니메이션 등의 다양한 형태로 언리얼 엔진을 활용한 작품들이 선보여지고 있는 시대의 트렌드와도 일맥상통하는 선택이었다고 판단하고 있다.

물론 시행착오도 있었다. 언리얼 엔진을 테스트하던 초기에는 언리얼 엔진에 상대적으로 익숙한 게임 분야 출신 인력 위주로 팀을 구성해 영상을 제작했는데, 생각보다 성과가 나지 않았다.

여러 시행착오를 거치며 깨달은 것은, 게임의 경우 보통 TV나 모니터 크기의 화면에서 실시간으로 렌더링되어야 하기 때문에 비교적 적은 폴리곤에 표면의 노멀 벡터를 수정하거나 렌더링 색상을 부드럽게 변경하는 방식으로 보완하지만, 거대한 스크린에서 보여지는 영상에서는 애셋들이 높은 퀄리티로 렌더링되어야 한다는 점에서 각각의 제작 방식에 차이가 있다는 것이었다. 그리하여 기존의 영상 제작 방식에 익숙한 영상 분야 아티스트에게 언리얼 엔진을 익히게 하는 것이 훨씬 효율적이라고 판단하게 되었고, 지난 몇 년간 양질의 언리얼 엔진 아티스트를 50명 이상 확보해 왔다.

▲ 스튜디오이온의 제작 파이프라인(출처 : 언리얼 엔진 홈페이지)

언리얼 엔진을 선택하면서 얻은 이점

스튜디오이온은 제작 파이프라인에 언리얼 엔진을 도입하기 위해 많은 투자를 했는데, 이를 통해 얻은 이점은 세 가지다.

첫째, 언리얼 엔진으로 강력한 파이프라인을 구축했다는 것 자체가 회사의 큰 자산이 되었다. 아머드 사우루스는 아동용 콘텐츠로 기획됐기 때문에 예산은 적었지만, 엄청난 양의 풀 CG 신이 요구되는 프로젝트였다. 스튜디오이온은 언리얼 엔진 아티스트를 육성하여 각 파이프라인 단계별로 이들을 적절히 배치시켜 효율적인 파이프라인을 구축하였고, 이렇게 구축된 파이프라인을 통해서 프로젝트를 성공적으로 마무리할 수 있었다.

둘째, 물리 기반 실시간 렌더링 기술이다. 언리얼 엔진의 물리 기반 렌더링은 다양한 라이팅 환경에서 현실 세계와 가장 가까운 음영을 보여줄 수 있기 때문에, 가상의 배경과 현실의 캐릭터를 한 화면에서 이질감 없이 보여줘야 하는 버추얼 프로덕션에 적합한 툴이었다. 언리얼 엔진의 실시간 렌더링은 풀 CG 애니메이션 신 제작에서 더욱 빛을 발했는데, 레이아웃에서 키 애니메이션만 추가하여 해당 레이아웃을 최종 영상으로 사용하기도 했으며, 적절하게 애니메이션 사이클을 사용하거나 기존의 완성된 키애니메이션을 재활용하여 작업한 레이아웃을 최종 영상으로 활용할 수도 있었다. 레이아웃을 최종 영상과 동일한 퀄리티로 작업할 수 있다는 부분은 풀 CG 애니메이션 제작 파이프라인을 획기적으로 단축시켜 주었다.

마지막으로, 언리얼 엔진은 새로운 버전이 출시될 때마다 사용자가 원하는 기능들이 대폭 추가되어 손쉽게 제작 파이프라인을 개선할 수 있었다. 작업하면서 필요한 기능이 추가되더라도 언리얼 엔진은 풀 소스 코드를 무료로 제공하기 때문에, 필요한 기능 또는 플러그인 개발이 매우 유연해 파이프라인을 구축하는 데에 큰 도움이 되었다.

▲ 출처 : 언리얼 엔진 홈페이지

언리얼 엔진과 함께 사용한 자체 개발 플러그인

스튜디오이온은 ‘아머드 사우루스’를 제작하면서 자체적으로 다양한 플러그인을 제작해 언리얼 엔진과 함께 사용했다.

레이어 익스포터(Layer Exporter) 플러그인은 아티스트들이 필요한 이미지 버퍼를 손쉽게 출력할 수 있도록 커스텀 스텐실(Custom Stencil) 버퍼나 스텐실(Stencil) 버퍼를 이용한 플러그인이다. 언리얼 엔진은 기본적으로 디퍼드 렌더링(Deferred Rendering) 방식을 사용하기 때문에, 언리얼 에디터의 버퍼 시각화 메뉴를 통해서 많은 수의 이미지 버퍼를 볼 수 있고 출력할 수 있다.

▲ 레이어 익스포터 플러그인과 그 출력 예시(출처 : 언리얼 엔진 홈페이지)

하지만 그레이스케일(grayscale) 뎁스 버퍼나 알파 버퍼 등과 같이 영상 제작 시 합성 작업 등에서 많이 사용하는 이미지 버퍼를 한두 번의 클릭으로 간단히 출력하는 기능이 없었고, 언리얼 엔진 4.26부터 지원된 크립토매트 출력 기능 또한 ‘아머드 사우루스’ 제작 당시 지원되지 않았다. 스튜디오이온은 누구나 원하는 버퍼를 간단히 출력할 수 있는 레이어 익스포터 플러그인을 이용해 작업 효율을 높일 수 있었다.

또한, 언리얼 엔진으로 프로젝트의 대다수 영상을 렌더링하다 보니 엄청나게 많은 수의 시퀀서 파일을 만들고 렌더링해야 했는데, 이를 위해 여러 시퀀서 파일을 배치(Batch)로 렌더링하면서 원하는 렌더 레이어만 선택적으로 출력할 수 있는 배치 렌더 매니저를 언리얼 파이썬과 외부 PyQt 패키지를 이용하여 자체 개발했다. 많은 수의 시퀀서를 렌더링하는 경우 시퀀서 파일들을 열고 렌더링하는 작업에만도 많은 시간이 소요되기 때문에, 이 과정을 줄여주는 배치 렌더 매니저 기능은 아티스트들의 작업 효율 향상에 큰 도움이 되었다.

▲ 배치 렌더 매니저 구동 예시(출처 : 언리얼 엔진 홈페이지)

이외에도, UDIM 텍스처 지원을 위해 자체적으로 UDIM 지원 기능을 개발했는데, 현재 언리얼 엔진에서 UDIM을 기본 지원하기 때문에 지금은 이 솔루션은 사용하지 않는다.

▲ UDIM 세터(Setter) 솔루션이 사용하는 UDIM 머티리얼 템플릿(Material Template) 예시(이미지 출처 : 언리얼 엔진 홈페이지)

가장 유용했던 언리얼 엔진 기능

스튜디오이온은 프로그래밍을 모르는 아티스트도 필요한 기능을 스스로 만들어 사용할 수 있게 도와준 블루프린트, 영화와 같은 카메라를 표현할 수 있게 만들어준 시네마틱 툴의 카메라 액터, 카메라 퀵레일 등의 언리얼 엔진 기능들을 유용하게 사용했다.

그중에서도 시퀀서가 제일 유용한 기능이었다. 시퀀서에 포함돼 있는 전문화된 멀티 트랙 에디터를 통해 인게임 시네마틱을 만들 수 있게 되었고, 이는 풀 CG 애니메이션 작업의 돌파구가 되었기 때문이다. 그 외에도 모션 블러를 실시간으로 적용할 수 있기 때문에 아머드 사우루스 프로젝트의 하이라이트인 ‘아머를 입은 공룡들의 전투 신’에서 모션 블러를 실시간으로 확인하며 즉석에서 카메라의 움직임을 수정할 수 있어서 역동적인 연출이 가능했으며, 실시간 포커스 이동이 가능한 점 또한 큰 도움이 되었다.

▲ 출처 : 언리얼 엔진 홈페이지

▲ 출처 : 언리얼 엔진 홈페이지

또한, 언리얼 엔진 4.22의 리얼타임 레이트레이싱은 영상의 완성도를 위해 부득이하게 마야(Maya)를 통해서 추가 작업을 해야만 했던 많은 단계를 언리얼 엔진으로 가져와 엔진 내에서 일괄 작업이 가능하도록 도움을 주었다. 섬세한 실사 영상을 필요로 했던 프로젝트였기에 세밀한 그림자와 반사 같은 사실적인 묘사가 필수적이었는데, 반사되는 빛의 경로를 추적하여 색을 수집하는 레이트레이싱 기능 덕분에 영상의 퀄리티를 높일 수 있었다.

마지막으로, 라이브 링크를 이용하여 실제 카메라의 위치와 회전 값을 실시간으로 VCam에 적용하고, 이를 통해 실제 카메라의 움직임에 맞추어 실시간으로 렌더링되는 배경을 함께 촬영할 수 있었던 것도 큰 도움이 되었다.

이렇게 촬영된 CG 배경 영상은 최종 결과물에 쓰일 CG 배경 영상과 모든 촬영 데이터 값이 일치하기 때문에 포스트 프로덕션 단계에서의 작업을 최소화할 수 있었던 것은 물론, 거의 모든 촬영 장면을 실제 세트를 제작하거나 로케이션을 방문하지 않고도 버추얼 프로덕션 방식으로 제작할 수 있었다. 스튜디오이온은 추후 LED월을 추가로 활용하게 되면 더욱 혁신적인 파이프라인을 완성시킬 수 있을 것으로 기대하고 있다.

▲ 출처 : 언리얼 엔진 홈페이지

스튜디오이온의 향후 목표와 언리얼 엔진에 대한 비전

언리얼 엔진은 영상 제작에 필요한 다양하고 강력한 기능들을 지속적으로 업데이트하면서 실시간 렌더링을 통한 버추얼 프로덕션의 핵심 툴로 자리 잡고 있다.

언리얼 엔진과 카메라 트래킹 장비를 연동하면 CG 배경을 직접 눈으로 확인하면서 촬영을 진행할 수 있는 것은 물론 수정 사항도 바로 반영할 수 있기 때문에, 촬영감독과 연출자, 배우들 모두에게 효율적인 새로운 제작 환경을 제공하면서 전통적인 영상 제작 패러다임을 변화시키고 있다. 또한, 대략적인 화면 레이아웃만 확인할 수 있었던 기존 프리비즈와 달리 언리얼 엔진은 실시간으로 최종 결과물에 가까운 영상을 촬영 현장에서 바로 확인할 수 있는 혁신적인 변화를 제공하고 있다.

덕분에 스튜디오이온은 기존 방식으로는 상상조차 어려웠던 52부작의 대규모 영상 프로젝트를 성공적으로 마칠 수 있었고, 그 과정에서 지속적인 R&D와 수많은 시행착오를 거쳐 언리얼 엔진 중심의 제작 경험을 얻을 수 있었다. 그리고 이런 경험과 노하우를 기반으로 언리얼 엔진을 접목한 다양한 작품을 진행하고 있다.

▲ 출처 : 언리얼 엔진 홈페이지

한편, 스튜디오이온은 다가오는 메타버스 세상을 준비하면서 CJ ENM 컨벤션 라이브 사업부와 버추얼 콘서트 VDIUM(Virtual Stadium) 프로젝트의 공연 무대 및 스타디움 전체를 언리얼 엔진으로 제작해 가상 콘서트 분야를 함께 발전시켜 나가고 있다. 더불어 인터랙티브 VR/XR 콘텐츠 및 ‘버추얼 인플루언서’를 개발하여 디지털 캐릭터, 실사 배우, 디지털 세트, 실제 로케이션 등을 혼용한 새로운 방식의 하이브리드 IP를 기획하고 있다.

스튜디오이온은 언리얼 엔진이 현재 그리고 앞으로도 M&E 분야에서 필수적인 툴로 자리매김할 것이며, 언리얼 엔진 작업 경험과 노하우를 통해 스튜디오이온 역시 핵심 버추얼 스튜디오로 거듭날 수 있을 것이라 확신하고 있다.

▲ 출처 : 언리얼 엔진 홈페이지

■ 기사 내용은 PDF로도 제공됩니다.