[케이스 스터디] 언리얼 엔진과 메타휴먼으로 디지털 휴먼 구현
차별화된 콘텐츠 선보이는 버추얼 아이돌 그룹, 메이브
메이브(MAVE:)는 2023년 1월 말 첫 뮤직비디오 공개를 시작으로 음악 프로그램인 ‘쇼! 음악중심’에서 데뷔 무대를 가지며 K-POP 버추얼 아이돌 그룹이라는 분야에서 새로운 물결을 일으키고 있다. 메이브는 사실적인 캐릭터 비주얼과 자연스러운 애니메이션은 물론 중독성 있는 음악으로 데뷔 1개월 만에 뮤직비디오 1800만 뷰, 데뷔 생방송 무대 영상 300만 뷰를 기록하고 있으며, TV쇼와 SNS 등을 통해 팬들과 다양한 방식으로 소통하고 있다.
이번 호에서는 언리얼 엔진과 메타휴먼으로 탄생한 버추얼 아이돌 그룹 메이브의 사실적이고 자연스러운 디지털 휴먼을 구현하기 위해, 제작사인 메타버스엔터테인먼트가 언리얼 엔진과 메타휴먼 기술을 어떻게 활용하였고, 단시간 내에 다양한 플랫폼을 위한 콘텐츠를 어떻게 제작할 수 있었는지 자세히 알아보자. ■ 자료 제공 : 에픽게임즈
▲ 언리얼 엔진과 메타휴먼으로 탄생한 버추얼 아이돌 그룹 MAVE: 프로젝트(이미지 출처 : 메타버스엔터테인먼트)
메타버스엔터테인먼트는 넷마블에프앤씨의 기술과 카카오엔터테인먼트의 감성이 더해져 영화, 드라마 제작뿐만 아니라 VFX, 버추얼 휴먼 등 다양한 콘텐츠를 창작하고, 그 IP를 다양한 콘텐츠로 확장시킬 수 있는 역량과 인프라를 보유한 종합 미디어 콘텐츠 제작사이다.
디지털 캐릭터 제작 이유
메이브는 4인조 버추얼 그룹으로, 세상 어디에도 없는 완전히 새로운 외형을 가지는 것은 물론 멤버 각자가 매력을 보유한 캐릭터를 제작하는 것이 목표였다. 매력적인 캐릭터란 기본 외형뿐만 아니라 여러 상황에 맞는 다양한 표정과 디테일을 표현하는 것이 핵심이었기 때문에, 메이브의 제작사인 메타버스엔터테인먼트는 이것을 위한 파이프라인과 기술을 구축하고 개발하는 데 초점을 두었다.
매력적인 캐릭터를 제작하기 위한 메타휴먼 기술 활용
매력적인 캐릭터는 기본 외형과 함께 상황에 맞는 다양한 표정을 세밀하게 표현하는 것이 매우 중요하다. 이러한 표정을 제작하거나 수정하는 것은 항상 리깅과 모델링 작업이 동반되어야 하고, 반복적인 수정과 확인을 요하기 때문에 많은 시간과 비용이 요구된다. 그런 이유로 수십 년간의 디지털 휴먼 제작 기술의 노하우가 적용된 ‘메타휴먼’은 좋은 선택이었고, 메타버스엔터테인먼트의 캐릭터 파이프라인 구축에 있어 매우 중요한 부분을 차지했다.
메타버스엔터테인먼트는 메타휴먼의 페이셜 컨트롤을 통해 원하는 표정을 제작하거나, 캐릭터 간의 애니메이션을 손쉽게 공유할 수 있었다. 또한 에픽게임즈에서 공개한 ‘릭 로직 : 메타휴먼 페이스 릭의 런타임 평가 백서’를 참고하여 릭의 컨트롤 방식을 개선하는 등 연구개발에 집중할 수 있었다. 또한, 엔비디아의 Audio2Face, iPhone, Faceware, FACEGOOD 등 외부 툴과의 높은 호환성 덕분에 메타휴먼의 애니메이션을 적용할 수 있었는데, 기본적인 메시의 토폴로지, UV, 조인트 구조, 컨트롤 등을 그대로 공유할 수 있어 실제 제작 시간을 크게 단축할 수 있었다.
▲ 릭의 컨트롤 방식을 개선하기 위한 R&D 결과물(이미지 출처 : 메타버스엔터테인먼트,)
메타휴먼과 함께 언리얼 엔진을 채택한 이유
메타버스엔터테인먼트는 메이브의 기획 단계에서 어떤 포지셔닝과 활동을 해야 할 지에 대한 고민이 컸고, 이런 고민에 있어 가장 중요한 고려 사항은 콘텐츠의 생산성이었다. 많은 활동은 많은 양의 콘텐츠 생산을 의미하고, 이는 제작의 효율성이 뒷받침되어야 한다. 그렇지 않은 경우에는 시각적 퀄리티를 포기해야 할 수도 있기 때문이다. 이 때문에 작업의 효율성뿐만 아니라 오프라인 렌더링과 견줄 만한 렌더링 퀄리티를 실시간으로 제공하는 언리얼 엔진을 선택했고, 언리얼 엔진을 활용하여 트랜스미디어의 형태로 단시간 내에 뮤직비디오 제작, SNS 활동 그리고 추후 출연할 TV쇼, CF 등 다양한 영역에서 메이브의 활동을 이어 나갈 수 있었다.
특히 SNS는 아이돌이 팬들과 언제든지 소통할 수 있는 매우 중요한 채널이다. SNS 채널 운영을 위해서는 그만큼 고퀄리티의 콘텐츠가 다양한 형태로 많이 필요한데, 언리얼 엔진 덕분에 사실적인 이미지는 물론 일반 영상, 쇼츠 폼 영상 등 다양한 플랫폼에서 팬들과 소통할 수 있는 여러 형태의 콘텐츠 제작이 가능했다. 그 결과, 콘텐츠 제작의 효율성과 퀄리티라는 두 마리 토끼를 모두 잡을 수 있었다.
메이브 각 캐릭터의 제작 파이프라인
메이브 제작팀은 게임, 영화 등 다양한 산업 분야의 인재들로 구성되어, 산업별로 각각 다른 DCC 툴을 사용해 왔다. 예를 들어, 게임 산업 출신의 팀원은 리얼타임 렌더링에 대한 이해도가 높고 M&E 산업의 인재들은 영상 미디어 제작에 대한 전문성을 지니고 있어, 각 팀원들의 시너지 효과를 극대화하기 위한 특별한 파이프라인을 구축했다.
▲ 이미지 출처 : 메타버스엔터테인먼트
파이프라인은 크게 캐릭터 기획과 캐릭터 제작으로 나누어지고, 캐릭터 제작은 다시 모델링, 표정 생성 및 리깅, 헤어 제작, 보디 보정 등의 단계로 나눠진다.
캐릭터 기획은 각 캐릭터의 외형을 계획하는 단계로, 메타버스엔터테인먼트는 성공적인 아이돌 기획 경험을 다수 보유한 카카오 엔터테인먼트의 전문가들과 긴밀하게 협업하여 진행했다. 다만, 기존의 아이돌 그룹의 경우 이미 존재하는 연습생이라는 집단 구성원 내에서 알맞은 구성원을 선택해 메이크업과 스타일링으로 외형의 특성을 완성시키는데 비해, 버추얼 아이돌 그룹은 기본 외형뿐만 아니라 세밀한 표정, 움직임, 말투 등의 다양한 매력을 지닌 완전히 새로운 사람을 창조해 내야 하는 큰 차이가 있다.
이런 차이를 줄이고 기획팀의 기존 방식과 최대한 비슷한 작업 환경을 제공하기 위해, 개발팀은 GAN 네트워크를 사용해 타깃 이미지를 자동으로 생성하고 직접 아이겐 벡터를 수정하거나 조합할 수 있는 파이프라인을 구축했다. 덕분에 기획 의도에 맞는 캐릭터의 외형을 처음부터 하나하나 설정할 필요 없이, 기획팀에서 다년간 구축해 온 성공적인 아이돌 그룹의 공식에 맞는 비슷한 외형의 캐릭터를 선택하고 파라미터를 수정해 가며 기획 의도를 맞춰 갈 수 있었다.
▲ GAN 네트워크를 활용한 이미지 합성 영상 캡처(이미지 출처 : 메타버스엔터테인먼트, 관련 영상)
얼굴을 정하는 단계에서는 스타일링에 따라 모델링이 달라지기 때문에, K-POP 아이돌의 의상과 헤어를 담당했던 전문 스타일리스트들과 함께 K-POP 아이돌 공식에 맞는 스타일링을 결정한 후 모델링을 진행했다. 실제 사람을 스캔한 후 제작한다면 훨씬 빠르게 사실적인 외형을 만들 수 있었겠지만, 그 과정에는 기획된 얼굴과 똑같은 외형의 사람을 찾는 어려움, 초상권 문제와 같은 예상되는 이슈가 많았기 때문에 모델링을 통해 얼굴을 제작했다.
▲ 메이브의 3D 모델링 영상 캡처(이미지 출처 : 메타버스엔터테인먼트, 관련 영상)
표정을 생성 및 수정하는 단계에서는 모델을 분석하고 각 영역의 위치와 크기, 근육의 흐름 등을 고려해 약 800여 개의 표정을 자동으로 생성하는 자체 제작 툴을 활용했는데, 메타휴먼의 ‘메시 투 메타휴먼 플러그인’과 같이 기본 형태의 메시를 넣으면 표정을 자동으로 생성해 주는 기능과 비슷하다. 이 기능을 개발했던 당시에는 메시 투 메타휴먼 플러그인이 출시되지 않았기 때문에 자체적으로 개발했지만, 필요에 따라 알고리즘을 수정하고 자동화된 파이프라인을 구축하는 데 많은 도움이 됐다.
또한, 일반적인 표정 외에 캐릭터의 성격이 반영된 고유의 표정을 커스터마이징할 수 있는 기능도 제작했는데, 이렇게 기존에 없던 표정이 추가된 경우에는 그에 맞는 리깅이 필요하기 때문에 언리얼 엔진의 컨트롤 릭을 통해 자동으로 생성하고 캐릭터에 맞게 구성했다.
▲ 눈썹을 들고 눈을 감은 상태에서 눈동자를 아래로 내리면 생기는 주름을 제거하는 과정(이미지 출처 : 메타버스엔터테인먼트)
헤어는 기본적으로 마야의 XGen을 이용해 제작됐다. 메타버스엔터테인먼트는 “그룸을 통한 언리얼 엔진의 헤어 렌더링은 리얼타임이라 믿을 수 없는 수준의 엄청난 퀄리티를 보여줬으며, 그 덕분에 많은 작업 시간을 아낄 수 있었다”고 전했다. 경우에 따라 더 높은 퍼포먼스를 위해 그룸을 쓸 수 없는 경우가 있었는데, 이런 경우에는 그룸 기반의 헤어를 카드로 바꿔주는 툴을 제작하여 사용했다. 헤어를 교체하는 과정에서 바인딩 애셋이 없는 경우 수동으로 생성해야 하는 것과 같이 헤어를 수정하고 적용하는 데 발생하는 번거로움은 자동화를 통해 작업 공정을 최적화했다.
보디를 보정하는 단계에서도 자동화를 적용하여, 수십 개의 보정 셰이프를 활용해 포즈에 따라 형태가 수정되도록 설정했다. 디테일한 설정을 적용하면 의도하지 않은 형태의 보디가 나올 확률이 높아진다거나 보간에 계층구조를 적용할 수 없는 등 RBF 솔버를 사용하면 발생할 수 있는 문제들은 새로운 솔빙 알고리즘을 개발하여 피할 수 있었다.
이외에도 옷이나 액세서리의 자연스러운 반응을 위해 언리얼 엔진의 피직스, 클로스 시뮬레이션, 애님 다이내믹 노드와 함께 다양한 솔루션을 상황에 맞게 활용했으며, 언리얼 엔진의 DMX로 화려한 무대를 성공적으로 연출할 수 있었다.
▲ 손의 형태를 보간하는 보정 셰이프 적용 전(왼쪽)과 보정 셰이프 적용 후(오른쪽) 영상 캡처(이미지 출처 : 메타버스엔터테인먼트, 관련 영상)
자연스러운 무대를 구성하고 연출한 비결
K-POP의 감성이 잘 녹아있는 뮤직비디오를 만들기 위해 실제 K-POP 뮤직비디오를 연출해 온 감독과 카메라 감독, 그랩 팀과 지미집 그리고 실제 K-POP 댄스팀과 함께 작업했다. 메타버스엔터테인먼트는 새로운 환경 속에서도 K-POP 제작팀의 감각이 발휘될 수 있도록 기존 작업 방식 및 환경과 최대한 비슷한 환경을 조성하려고 노력했다. 그 일환으로 20m×20m×8m 크기의 대형 VFX 센터를 마련해 실제 뮤직비디오 촬영장만큼이나 큰 공간에서 모션 캡처를 진행했으며, 배우의 액션뿐만 아니라 실제 촬영 장비의 움직임도 캡처하여 뮤직비디오의 현란한 카메라 워크까지 구현할 수 있도록 공간을 구성했다.
녹화도 실제 K-POP 뮤직비디오와 동일한 방식으로 진행했는데, 모션 캡처를 진행했던 현장을 촬영한 카메라의 녹화본으로 먼저 컷편집을 진행하고 이를 기반으로 모션 캡처의 클리닝을 진행했다. 따라서 최종본에서 실제 사용되는 부분에 집중하여 클리닝 작업이 가능했고, 실제 사람의 움직임을 참고하여 작업했기 때문에 더욱 자연스러운 움직임을 담을 수 있었다.
▲ 이미지 출처 : [4K STAGE] MAVE:(메이브) - PANDORA(판도라) | Show! MusicCore 영상 캡처(MBC 2023년 2월 18일 방송)
메이브가 준비하고 있는 콘텐츠 및 향후 방향
언리얼 엔진을 활용한 버추얼 셀럽으로서 메이브는 기존 아이돌과 차별화할 수 있는, 전혀 다른 차원의 콘텐츠를 준비하고 있다. 이외에도 직.간접적으로 엔터테인먼트와 관련된 사업을 진행하면서 생산된 IP로 파트너들과의 협업을 통해 트랜스미디어 프로젝트를 성공적으로 진행하고 있다.
메타버스엔터테인먼트는 앞으로 영화, 드라마, 게임 등 기존 IP를 활용한 사업뿐만 아니라 전문 분야인 버추얼 휴먼, 메타버스 등을 통해 사업 영역을 더욱 확대해 나갈 예정인데, 이러한 과정에서 필요한 실시간 팬덤 콘텐츠, 인터랙티브 콘텐츠, 뉴미디어 등 다양한 콘텐츠를 제작하는데 언리얼 엔진이 강력한 기반이 될 것이라고 밝혔다.
관련 영상 참고
■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2023-06-01
