[케이스 스터디] 언리얼 엔진으로 만든 버추얼 아이돌 플레이브
통합 시각화 파이프라인으로 새로운 경험 제공
리얼타임 3D 콘텐츠 제작 기술이 날로 진화함에 따라 버추얼 아티스트, 유튜버 등 디지털 휴먼 시장도 함께 성장하고 있는 가운데, 대한민국에는 데뷔 1년여 만에 실제 아이돌 못지 않은 인기를 누리고 있는 버추얼 아이돌이 있다. 바로 플레이브(PLAVE)다. ■ 자료 제공 : 에픽게임즈
▲ 이미지 출처 : ‘언리얼 엔진으로 전례 없는 경험을 제공하는 PLAVE’ 영상 캡처
플레이브는 예준, 노아, 밤비, 은호, 하민 등 다섯 명의 멤버가 작사, 작곡 그리고 안무까지 직접 제작하는 버추얼 보이 그룹이다. 2023년 3월 12일 데뷔 이후 버추얼 아이돌 최초로 지상파 음악방송에서 1위를 차지한 것은 물론, 최근에는 잠실 실내체육관에서 양일간 오프라인 단독 라이브 콘서트를 개최해 전석이 매진되는 등 인기를 누리고 있다.
플레이브의 인기 비결에는 여러 요소가 있겠지만 언리얼 엔진의 리얼타임 기술로 자연스러운 비주얼 퀄리티뿐만 아니라, 매주 라이브 방송을 통해 팬들과 소통하며 아티스트의 진면목을 전할 수 있던 점을 꼽을 수 있다. 시네마틱 영상, 라이브 방송 그리고 오프라인 라이브 콘서트까지 어떻게 언리얼 엔진으로 통합 제작 파이프라인을 구축해 아티스트의 본질을 전달할 수 있었는지 살펴보기로 하자.
시네마틱 콘텐츠를 위한 리얼타임 통합 파이프라인
▲ DCC 툴을 병합한 기존의 시네마틱 콘텐츠 제작 파이프라인(이미지 제공 : 블래스트)
▲ 언리얼 엔진과 통합한 시네마틱 콘텐츠 제작 파이프라인(이미지 제공 : 블래스트)
플레이브의 소속사인 블래스트는 설립 초창기부터 여러 작품을 통해서 언리얼 엔진의 가능성을 확인했기 때문에, 버추얼 IP 파이프라인이라는 회사의 비전을 바탕으로 시네마틱과 라이브 콘텐츠를 모두 제작할 수 있는 언리얼 엔진 통합 파이프라인을 구축하고자 했다.
플레이브의 첫 뮤직비디오인 ‘기다릴게’를 제작하던 때만 해도 언리얼 엔진 제작 경험이 제한적이었기 때문에 레벨 디자인, 라이팅, 렌더링은 언리얼 엔진으로, 이펙트 및 의상 시뮬레이션, 합성 등은 기존의 DCC 툴을 사용하는 방식을 채택했다. 그렇지만 이러한 제작 방식은 언리얼 엔진의 리얼타임 렌더링의 장점을 극대화하지 못하고 전체적인 콘텐츠 제작 속도를 저하시켰다. 또한, 본래 언리얼 엔진 중심의 통합 파이프라인을 구축하려고 했던 블래스트의 비전과 맞지 않는다는 판단 하에, 파이프라인을 언리얼 엔진으로 완전히 대체하기로 결정했다.
▲ 플레이브 ‘WAY 4 LUV’ 뮤직비디오 영상
의상 및 헤어 시뮬레이션을 언리얼 엔진의 실시간 시뮬레이션으로 완전히 전환하면서, 이제는 애니메이션이 수정될 때마다 라이브 방송처럼 실시간으로 시뮬레이션되어 임포트 과정이 간소화되었다. 렌더링을 위해 라이브 시뮬레이션을 베이크해야 하는 경우 역시 언리얼 엔진의 테이크 레코더를 사용하면 바로 결과를 확인할 수 있어, 전체적인 작업 과정이 효율적으로 향상되었다.
또한, 이펙트 제작에는 언리얼 엔진의 나이아가라 시스템을 전면 도입하여 룩뎁 아티스트들은 모든 최종 연출 요소를 실시간으로 확인하며 함께 작업할 수 있게 되었다. 애니메이션, 시뮬레이션, 이펙트 등의 모든 최종 연출 요소가 엔진으로 통합되면서, 언리얼 엔진을 컴포지터로까지 활용할 수 있었다.
그 결과 ‘WAY 4 LUV’의 시네마틱 영상부터는 모델링, 애니메이션, 룩뎁 등 각 제작 요소가 통합된 최종 결과물을 언리얼 엔진에서 실시간으로 렌더링할 수 있게 되어, 작업의 효율과 퀄리티를 향상시킬 수 있었다.
고도화된 리얼타임 모션 캡처로 아티스트의 진심을 전한 라이브 방송
▲ 플레이브의 첫 라이브 방송(이미지 제공 : 블래스트)
▲ 플레이브의 최근 라이브 방송(이미지 제공 : 블래스트)
라이브 방송은 플레이브의 강력한 팬덤을 구축하는 데 있어 매우 중요한 역할을 하고 있는 만큼, 블래스트는 아티스트의 매력과 진심을 잘 전할 수 있도록 많은 노력을 기울여 왔다.
특히 아티스트의 모든 모션이 자연스럽게 보이도록 하기 위해 언리얼 엔진의 라이브 링크로 스트리밍한 모션 캡처 원시 데이터를 실시간으로 가공할 수 있는 다양한 설루션을 개발하는데 많은 정성을 들였다.
▲ 실시간 간섭 회피 설루션 전후 비교(이미지 제공 : 블래스트)
개발된 설루션은 다양한 체형 사이에 애니메이션을 이질감 없이 자연스럽게 전환할 수 있는 리타기팅 설루션, 매 촬영 때마다 발생하는 마커의 위치 오차를 모션으로 측정하여 보정하는 캘리브레이션 설루션, 신체 비율 또는 외형 차이에 따른 메시 간섭 문제를 실시간으로 해결하는 간섭 회피 설루션, 정확한 포즈와 자연스러운 주변 환경과의 인터랙션 사이를 상황에 따라 적절하게 전환할 수 있는 Dynamic FK/ IK 설루션, 골반 너비와 신발 밑창 및 볼 너비까지 보정해 지면과 발의 접지를 정교하게 표현하는 Foot IK 설루션 등이다.
이를 통해 기존에는 실시간으로 처리하기 어려워서 라이브 콘텐츠에서 적용할 수 없었던 모션 캡처 데이터의 실시간 가공 기술을 자체적으로 개발하여 언리얼 엔진에 통합했다. 이러한 기술 투자 덕분에 버추얼 아이돌임에도 아티스트의 진심을 잘 전할 수 있는 기술적 기반을 갖추게 되었다.
리얼타임 통합 파이프라인의 화룡점정, 오프라인 라이브 콘서트
플레이브는 시네마틱 영상을 매 앨범 발매 시 제작하고 라이브 방송을 지난 1년 반 동안 매주 4시간씩 진행하면서, 언리얼 엔진 중심의 리얼타임 파이프라인을 고도화할 수 있었다. 그리고 그 과정에서 블래스트가 깨달은 점은 두 파이프라인을 서로 구분할 필요가 없다는 점이었다. 아티스트의 퍼포먼스를 실시간으로 보여 줄 지, 녹화해 두고 퀄리티를 올린 후에 보여 줄 지의 차이만 있을 뿐, 두 파이프라인은 모두 라이브 모션 캡처에서 시작한다는 점에서 근본적으로 동일했기 때문이다.
이러한 깨달음을 바탕으로 블래스트는 모든 콘텐츠가 라이브 모션 캡처로부터 시작되는 통합 파이프라인을 개발하였고, 이를 통해 제작 흐름이 간소화되고 직관적으로 개선되어 작업의 효율을 높일 수 있었다. 무엇보다도 큰 이점은 통합된 파이프라인을 통해 콘서트 제작 및 연출에 필요한 역량을 미리 내재화할 수 있었다는 점이다.
▲ 시네마틱과 라이브 콘텐츠 제작 파이프라인이 통합된 전체 파이프라인(이미지 제공 : 블래스트)
콘서트는 연출뿐만 아니라 제작 파이프라인에서도 시네마틱과 라이브 콘텐츠의 특성을 모두 가지고 있는 특별한 무대다. 수많은 무대의 동선을 사전에 미리 짜맞추며 연출을 확정해 놓으면서도 리허설 때마다 라이브로 전환해야 하므로, 콘서트 작업에는 녹화와 라이브를 수시로 전환할 수 있는 파이프라인이 필수적이다.
이를 위해서 메타휴먼의 캐릭터 설계에 힌트를 얻어 시네마틱 퀄리티와 라이브 퍼포먼스를 모두 만족하는 유연하고 모듈화된 통합 캐릭터 시스템을 개발했다. 이 시스템은 콘서트에 필요한 모든 상황을 지원하기 위해 스켈레탈 메시를 분리해서 적절한 계층구조로 설계하고, 각각의 스켈레탈 메시 컴포넌트는 시퀀서의 애니메이션 트랙을 재생하는 모드와 라이브 링크 모션 캡처 및 실시간 시뮬레이션을 적용하는 모드 사이를 자유롭게 전환할 수 있도록 구현했다.
또한, 라이브 캐릭터 전용 기능은 모두 별도의 컴포넌트로 모듈화시켜 필요한 기능만 라이브 방송 시나리오에 맞춰 적용할 수 있도록 설계했으며, 추가로 룩뎁 아티스트가 일관적인 퀄리티로 작업할 수 있도록 캐릭터 클래스의 모든 기능이 프리뷰 모드와 플레이 모드에서 동일하게 동작하도록 개발했다. 이런 통합 캐릭터 클래스 설계 덕분에 언제든지 시네마틱과 라이브를 간단하게 전환하면서 작업 효율도 높일 수 있게 되었다.
▲ 스켈레탈 메시의 계층 구조 및 모듈화된 컴포넌트(왼쪽), 컴포넌트 단위로 두 가지 모드를 자유롭게 전환 가능(오른쪽)(이미지 제공 : 블래스트)
통합 캐릭터 클래스와 더불어 좀 더 파이프라인을 단순화하기 위해 언리얼 엔진의 테이크 레코더 기능을 활용한 새로운 모션 캡처 녹화 파이프라인을 구축했으며, 그 덕분에 이제는 모션 캡처부터 시네마틱까지 모든 과정을 언리얼 엔진 내에서 진행할 수 있게 되었다. 이로써 시네마틱용 애니메이션을 제작하기 위해 여러 소프트웨어를 오갈 필요 없이 언리얼 엔진 하나로 모든 작업이 가능해졌다.
또한, 이 새로운 파이프라인을 사용해 자체적으로 개발한 신체 간섭 회피, 캘리브레이션, 리타기팅 기능을 언리얼 엔진 안에서 바로 녹화할 수 있어, 평소 라이브 방송과 동일한 수준의 모션 캡처 퀄리티를 얻을 수 있게 되었다. 이렇게 테이크 레코더의 기능을 통해 녹화 직후 바로 결과를 확인할 수 있어 작업의 효율이 크게 향상되었고, 특히 현장에서 실시간으로 피드백을 주고받을 수 있게 되면서 기획과 디렉팅 측면에서도 큰 발전을 이룰 수 있었다.
▲ 기존의 모션 캡처 녹화 파이프라인(이미지 제공 : 블래스트)
▲ 언리얼 엔진으로 통합 후 테이크 레코더를 활용한 모션 캡처 녹화 파이프라인(이미지 제공 : 블래스트)
시네마틱과 라이브 파이프라인의 통합이 더욱 높은 효과를 내기 위해서는 앞서 언급된 기능의 개발과 함께 현장 오퍼레이팅에 대한 지원도 필요했다. 버추얼 파이프라인에서는 여러 소프트웨어를 함께 사용해야 했기 때문에 언리얼 엔진 설정, 녹화 설정, 심지어 단순한 녹음 작업까지 모두 오퍼레이터와 소통해야 했다. 그래서 작업 과정을 단순화하고 자동화하기 위해 언리얼 엔진 기반의 ‘버추얼 슬레이트’라는 태블릿 애플리케이션을 개발했다.
이 애플리케이션은 스튜디오 내 여러 장치와 소프트웨어를 연결하여 원격으로 동시 제어할 수 있고, 녹화 버튼 하나로 언리얼 엔진의 녹화 기능, 모션 캡처 소프트웨어, 여러 채널의 비디오 및 오디오를 동시에 녹화할 수 있다. 그리고 녹화가 끝나면 자동으로 모든 파일의 이름과 저장 위치를 정리하고, 미리보기 장면을 만들어 준다. 이제는 오퍼레이터가 초기 설정만 도와주면, 콘텐츠 제작자들이 직접 모션 캡처 녹화를 할 수 있어 제작자와 아티스트는 서로 의견을 주고받으며 촬영을 진행할 수 있게 되었다.
▲ 기존의 오퍼레이팅 소통 방식(이미지 제공 : 블래스트)
▲ 향상된 오퍼레이팅 소통 방식(이미지 제공 : 블래스트)
한편, 시네마틱과 라이브를 결합한 오프라인 라이브 콘서트는 관객에게 높은 몰입감을 전달하는 것이 매우 중요하다. 그렇기 때문에 현실의 무대에 실존하는 아티스트를 보는 것과 같은 스케일과 원근감을 현실감 있게 잘 반영하는 것도 중요한 과제였다.
이 과제를 풀기 위해서는 LED 스크린에 투사된 결과를 미리 예측할 수 있어야 했는데, 이를 위해 언리얼 엔진 내에 실제 공연장과 동일한 크기의 디지털 트윈 레벨을 제작하고 가상 공연장의 LED 스크린에 최종 이미지를 투사했다. 그런 뒤에 관객의 시점에서 VR로 이를 감상하는 방식으로 관객의 시점을 미리 시뮬레이션하며 스케일과 원근감을 조정해 나갔다. 이러한 방법으로 플레이브의 콘서트는 대형 콘서트장의 어떤 좌석에서도 눈앞의 무대에 멤버들이 실존한다는 현실감을 관객에게 전달할 수 있었다.
▲ 가상에서의 VR 시뮬레이션(이미지 제공 : 블래스트)
▲ 실제 무대 연출 장면(이미지 제공 : 블래스트)
LED 그 이상의 무한한 상상력을 담게 해 준 언리얼 엔진
블래스트는 2차원의 LED 스크린 평면을 넘어 공연장 전체라는 3차원의 경험으로 관객의 경험을 확장시켜, 플레이브 콘서트에서만 느낄 수 있는 새로운 경험을 만들어나가기 위해 고민했다.
이러한 고민의 결과로 실존하는 아티스트의 콘서트에서는 불가능한 아이디어와 연출, 예를 들면 탑의 꼭대기처럼 다양한 공간을 이동하며 노래 부르기, 바이크를 탄 채로 무대로 등장하고 연출의 단절 없이 공연 시작하기, 등장이나 퇴장 시에 꽃잎을 흩뿌리면서 나타나고 사라지기 등 그야말로 버추얼 아이돌이기에 가능한 연출을 실현할 수 있었다. 이러한 시각적 효과에서 더 나아가 연기와 같은 실제 무대 장치를 결합하여 일반적인 콘서트에서는 불가능한 특별한 연출을 시도할 수 있었다. 그 중에서도 플레이브의 세계관에 등장하는 큐브로 가득찬 ‘아스테룸’이라는 공간에서 세계관 속 빌런과 벌인 박진감 넘치는 격투 액션 신은 버추얼이 아니었다면 불가능한 무대였을 것이다.
또한, 언리얼 엔진은 LED 스크린 너머의 공간에 원하는 환경을 효율적으로 제작하고 다양한 연출들을 자유롭게 시도할 수 있게 해 주었다.
물리적인 시공간의 제약 속에서 짧은 기간 내에 다수의 조직이 동시 협업해야 하기 때문에 작업 충돌을 피하면서도 변경 사항들을 실시간으로 동기화할 수 있는 파이프라인이 매우 중요한데, 여기에 언리얼 엔진의 레벨 스트리밍과 서브 시퀀스 기능이 큰 도움이 되었다. 레벨 스트리밍 덕분에 레벨 디자인, 애니메이션, 룩뎁 작업을 분리하여 하나의 퍼시스턴트 레벨에 스트리밍하는 방식으로 각 팀의 작업 공간을 분리하면서도 동시에 협업이 가능했다. 또한, 룩뎁 레벨 시퀀스 안에 애니메이션 서브 시퀀스를 적용하여 애니메이터와 룩뎁 아티스트의 작업 시퀀스를 분리하면서도 서로의 변경 사항을 함께 업데이트할 수 있었다.
▲ 레벨과 시퀀스 구조(이미지 제공 : 블래스트)
콘서트 현장의 분위기를 고조시키는 현란한 DMX 조명 연출 역시 언리얼 엔진의 뛰어난 DMX 연동 지원 덕분에 가능했다. 언리얼 엔진 공연 조명을 전문으로 다루는 메타로켓과 협업하여 언리얼 엔진 내에서 실제 콘서트 현장 조명을 시뮬레이션하면서 현실과 가상의 무대 조명을 완성했다.
▲ 메타로켓과의 협업으로 완성된 공연장 무대 조명(이미지 제공 : 블래스트)
무엇보다 비주얼 퀄리티까지 보장된 리얼타임 렌더링이라는 언리얼 엔진의 강점이 가장 큰 도움이 되었다. 덕분에 콘서트 2~3일 전까지도 끊임없이 수정하며 퀄리티를 끌어올릴 수 있었고, 콘서트 직전의 리허설까지도 이슈를 확인하고 해결할 수 있었기 때문에 촉박한 시간임에도 완성도 높은 콘서트를 제작할 수 있었다.
■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2025-01-06
