[케이스 스터디] 해외 소장 문화재의 ‘디지털 귀향’ 프로젝트

언리얼 엔진과 에픽 에코시스템으로 이뤄낸 문화유산 디지털 경험

문화유산은 우리의 과거를 이해하고, 현재와 미래의 역사와 정체성을 보존하고 전해질 수 있도록 하는 중요한 자산이다. 이러한 대한민국의 문화유산 중 약 23만 점은 합법 또는 부당하게 반출되어, 이를 아카이빙하여 관리하고 가능한 경우 국내에 환수하려는 다양한 노력들이 이어지고 있다.

이런 노력의 일환으로 대한민국 정부는 최근 디지털 기술과 장비들의 발전에 힘입어 복잡하고 어려운 물리적 환수를 대체할 수 있는 ‘디지털 공유’라는 개념을 생각해 냈다. ■ 자료 제공 : 에픽게임즈

‘디지털 공유’의 개념은 해외 박물관에 소장되어 있는 한국 예술품의 디지털 원형 데이터를 매우 정밀하게 구축하고, 이를 기반으로 실물 예술품을 감상하는 것과 같이 디지털로 실감 나는 콘텐츠를 개발하고 한국과 현지에 동시에 전시해 그 가치를 함께 공유하는 것이다. 이 개념을 처음으로 구체화한 프로젝트가 바로 ‘클리블랜드미술관(CMA) 소장 한국문화재 디지털 귀향 프로젝트’이다.

TRIC 및 CMA 소장 한국문화재 디지털 귀향 프로젝트 소개

이 프로젝트를 수행한 TRIC(문화유산기술연구소)는 문화와 유산을 위한 디지털 기술 R&D와 그 활용 사업을 통해 새로운 가치를 창출하는 기업으로, 지난 10년 동안 인도네시아, 라오스, 튀르키예, 카자흐스탄, 일본, 이집트 등 전 세계의 주요 유산을 대상으로 디지털 아카이빙 및 콘텐츠를 개발해 모두가 누릴 수 있도록 서비스하고 있다. 최근에는 리얼타임 콘텐츠의 발전 덕분에 언리얼 엔진을 중심으로 파이프라인을 구축하며 클리블랜드 미술관의 프로젝트를 진행하고 있다.

▲ TRIC가 진행한 다양한 프로젝트(이미지 출처 : 언리얼 엔진 홈페이지)

CMA 소장 한국문화재 디지털 귀향 프로젝트는 미국 클리블랜드 미술관이 소장하고 있는 한국 문화유산의 디지털 원형 데이터를 구축하고 디지털 실감 콘텐츠를 제작하여 올 3월부터 한미 양국에서 동시에 전시하는 국제 협력 프로젝트다. 총 3년에 걸쳐 진행되고 있는 이 프로젝트는 1차년도인 2022년에 클리블랜드 미술관이 소장하고 있는 한국 유물 대표 13점을 디지털 아카이빙했고, 2차년도인 2023년에는 13점의 유물 중 대규모 전시 연출에 가장 적합한 칠보산도를 선정해 몰입적인 실감 콘텐츠로 제작했다. 그리고 3차년도인 올해 3월에는 한미 양국에 그 결과물을 선보이는 공동전시를 개최했다.

▲ CMA 소장 한국문화재 디지털 귀향 프로젝트 : 칠보산도(이미지 출처 : 언리얼 엔진 홈페이지)

언리얼 엔진을 작업 파이프라인에 도입한 이유

예술품 데이터를 활용한 콘텐츠 구축 프로젝트는 디지털 버전의 예술품을 얼마나 실제와 동일하게 구현하는지 그 사실성이 가장 중요하다. 하지만 메시와 텍스처가 정밀할수록, 그리고 단일 예술품이 아닌 건축물을 구현할수록 데이터가 무거워지는 것은 필연적이기 때문에 기존에는 데이터 경량 및 최적화 작업에 많은 리소스를 투입했다.

TRIC는 설립 초창기부터 다양한 미디어 기술을 통한 관람객과 예술 사이의 상호작용(인터랙션)을 중요하게 생각해 왔고, 물리적 센싱 기반의 콘텐츠나 VR 및 AR 등 실시간 인터랙티브 콘텐츠 개발을 주로 해 왔기 때문에 이러한 최적화 작업이 반드시 필요했다. 이 때문에 퀄리티를 그대로 보존하면서도 최소한의 작업으로 실시간 구동이 가능한 언리얼 엔진을 도입했다.

▲ 언리얼 엔진으로 구현한 높은 정밀도의 디지털 유물(이미지 출처 : 언리얼 엔진 홈페이지)

언리얼 엔진 5의 루멘과 나나이트를 활용하면 데이터의 디테일을 높은 비주얼 퀄리티로 구현할 수 있을 뿐만 아니라 리얼타임 제작에 필수였던 장시간의 최적화 작업에 대한 부담을 줄여 주었기 때문에, 적은 인원으로도 목표한 퀄리티의 결과물을 빠르게 도출할 수 있었다. 또한, 언리얼 엔진을 도입한 덕분에 기본 영상부터 복잡한 계산과 시뮬레이션을 요구하는 몰입형 다면 영상, 아나몰픽 영상 등 새로운 출력 방식의 콘텐츠 제작을 위한 작업 파이프라인까지 TRIC가 진행하고 있는 프로젝트 전반의 파이프라인을 단축할 수 있었다.

▲ TRIC가 제작한 아나몰픽 영상(이미지 출처 : 언리얼 엔진 홈페이지)

최근에 진행한 프로젝트의 파이프라인

CMA 소장 한국문화재 디지털 귀향 프로젝트는 크게 13점의 유물을 스캔하여 디지털화하고, 칠보산도 실감 콘텐츠를 제작하는 2가지 작업으로 진행되었다. 이를 위해 스캔 작업에서는 리얼리티캡처를 전면적으로 활용하였고, 칠보산도 실감 콘텐츠 제작에서는 언리얼 엔진 중심의 파이프라인을 구축했다.

먼저 프로젝트 1차 연도에 진행한 디지털 데이터 구축 작업의 경우, 칠보산도를 포함하여 클리블랜드 박물관이 소장하고 있는 한국 유물 13점에 대한 초정밀 디지털 데이터를 구축했다. 일반적으로 정밀한 3D 스캔은 라이다 또는 구조광 스캐너 등의 전문 장비를 활용해 진행하는 경우가 많은데, 이번에는 유물이 해외에 있어 장비의 반입과 적절한 환경을 조성하기가 어렵다는 점 때문에 사진 측량 기반의 데이터를 생성하는 방식으로 제작했다.

그리고 이를 위해 TRIC가 예술품 데이터 구축 사업에서 대부분의 공간 및 오브젝트의 3D 데이터를 구축할 때 사용하는 리얼리티캡처를 사용했다. 유물마다 수천 장의 사진을 촬영한 후 리얼리티캡처로 메시를 생성했는데, 덕분에 높은 정밀도의 텍스처와 메시가 적용된 애셋을 구축할 수 있었다. 리얼리티캡처는 코로나19 팬데믹으로 독일 국경이 봉쇄된 상황에서 베를린의 건축사진가와 협업을 통해 샤를로텐부르크성 도자기 방 프로젝트를 성공적으로 마무리할 수 있게 해 주었던 핵심 툴이기도 하다.

▲ 스캔된 13점의 실제 유물(위)과 디지털 버전(아래)(이미지 출처 : 언리얼 엔진 홈페이지)

프로젝트 2차 연도에 진행한 실감 콘텐츠 제작 작업에서는 길게 펼쳐진 병풍 속에 그려진 칠보산을 3면으로 구성된 몰입형 스크린으로 옮겨, 전통 회화의 느낌을 그대로 살리면서 입체적인 공간감을 더하고자 했다. 이를 위해 먼저 카메라 로데이터를 활용해 폭당 수천 장의 이미지를 연결하여 방대한 기가픽셀 데이터를 구축했다. 모든 요소들을 객체별, 색역별, 층별로 분리해 별도의 레이어로 제작하고, 여기에 언리얼 엔진을 활용해 3차원 공간에 재배치한 후 촬영하는 방식을 통해 평면의 전통 회화 유물인 칠보산도에 입체감과 역동감을 부여하여 3D 콘텐츠로 재탄생시켰다.

▲ 2D 병풍화를 레이어화하여 언리얼 엔진에서 3D 공간에 재배치(이미지 출처 : 언리얼 엔진 홈페이지)

입체감 표현에 무엇보다 중요했던 것은 캐릭터의 윤곽선을 따라 붓 선의 느낌이 나도록 표현하는 것이었다. TRIC는 언리얼 엔진의 머티리얼 에디터를 통해 셰이더를 제작했고, 그 위에 종이 질감의 고퀄리티 텍스처를 메가스캔에서 다운로드 후 가공하여 캐릭터에 포스트 프로세싱 재질을 입혀주는 방식으로 제작했다. 그리고 역동감을 살리기 위해서 필요했던 포그는 언리얼 엔진의 나이아가라 플루이드로 제작했다. 덕분에 다른 오브젝트와 실시간으로 반응하는 시뮬레이션이 가능했고, 원하는 타이밍에 시퀀서를 통해 제어할 수 있었다. 또한, Open VDB를 활용했던 기존 방식보다 가볍고 필요한 수정을 즉시 작업할 수도 있었다.

이렇게 잘 만들어진 캐릭터와 이펙트를 3면으로 구성된 스크린으로 보여주기 위해 세 개의 카메라를 하나로 묶은 카메라 리그를 사용해 애니메이션을 효과적으로 한 번에 처리했고, 렌더링 역시 시퀀서에 배치된 세 개의 카메라를 동시에 렌더링할 수 있는 무비 렌더 큐로 개별 영상을 한 번에 출력했다.

▲ 3개의 카메라로 동시에 렌더링하는 장면(이미지 출처 : 언리얼 엔진 홈페이지)

언리얼 엔진과 에픽 에코시스템의 역할

칠보산도 실감 콘텐츠처럼 전통 회화 리소스를 활용한 콘텐츠에서는 동양 회화 특유의 심미적 감각과 화풍이 모든 요소와 장면에 일관적으로 유지되어야 하기 때문에, 모든 과정에서 정밀하게 컨트롤할 수 있는 제작 툴이 필요하다. 언리얼 엔진은 퍼포먼스의 제약 없이 콘텐츠 자체의 비주얼 퀄리티를 최대한 올리면서 나이아가라, 시퀀서 등으로 그 구성 애셋을 세밀하면서도 정확하게 컨트롤할 수 있는 환경을 제공했다. 또한, 언리얼 엔진 마켓플레이스와 메가스캔의 라이브러리에서 구름, 달, 안개, 바람, 비 등 다양한 자연 현상을 구현할 때 적합한 리소스를 빠르게 확보할 수 있었고, 리깅된 애니메이션 캐릭터를 전통 회화 스타일로 완전히 새롭게 입체화하는데 반드시 필요한 원화의 캐릭터 질감을 구현하는 데 적합한 고퀄리티의 셰이더, 텍스처 등도 제공하여 작업 시간을 줄일 수 있었다.

▲ 전통 회화의 붓 선 셰이더 적용 여부 비교. 투명도 0.2(위), 투명도 0.8(아래)(이미지 출처 : 언리얼 엔진 홈페이지)

무엇보다 언리얼 엔진의 리얼타임 렌더링이 프로젝트에 반드시 필요한 핵심 기술이었다. 이번 프로젝트의 경우, 콘텐츠 제작 기간이 2개월도 주어지지 않아 시간이 촉박했다. 그에 반해 3개의 스크린이 사다리꼴 모양으로 배치된 몰입형 스크린에서 콘텐츠를 구현하기 위해 3개의 버추얼 카메라로 촬영하여 매우 높은 해상도로 렌더링해야 했다. 이런 경우 관람객의 위치 및 화각에 따라 몰입도가 확연히 달라지기 때문에, 다양한 변수에 대응하며 반복적이고 섬세한 조정이 필요했다.

특히, 한국과 미국이라는 지구 정 반대편에 있는 양국 전문가들이 참여하다 보니 실시간 컨퍼런스 콜을 통해 세부 의견을 주고받아야 하는 상황이었는데, 언리얼 엔진을 통해 실시간으로 확인하고 조정할 수 있었기 때문에 소통 시간을 줄일 수 있었다. 또한, 최종 결과물의 퀄리티도 이미 제작 과정에서 미리 확인할 수 있었기 때문에 커뮤니케이션의 오류나 재작업 리스크가 거의 없었다. 만약 전통적인 방식으로 제작했다면 회의만 하다 정해진 프로젝트 기간이 다 되거나, 겨우 합의에 이르렀다 해도 퀄리티는 물론 기간 내에 제작하는 것조차 불가능했을 것이다.

▲ TRIC가 해외 전문가들과 컨퍼런스 콜을 진행하는 모습(이미지 출처 : 언리얼 엔진 홈페이지)

문화유산기술연구소의 향후 목표 및 나아갈 방향

단기적으로는 현재 수행하고 있는 CMA 소장 한국문화재 디지털 귀향 프로젝트와 이집트 문화유산 ODA(공적개발원조) 프로젝트를 성공적으로 마치는 것이 TRIC의 목표다. 장기적으로는 이러한 성과를 바탕으로 확보된 수많은 데이터와 리얼타임 콘텐츠를 연결하는 메타버스와 유사한 개념의 시대별 리얼타임 월드를 구축하는 것을 목표로 하고 있다. 이를 위해서 언리얼 엔진과 에픽 에코시스템을 더욱 적극적으로 활용해 역사적으로 보존할 가치가 높은 도시의 시대별 모습을 입체적으로 복원해 나갈 계획이다.

그 일환으로, 우선 8세기 서라벌 전체를 리얼타임 월드로 구축하는 프로젝트를 언리얼 엔진을 활용하여 진행하고 있다. 신라의 왕경인 서라벌의 지형, 식생 등이 복원된 환경에서 건축, 도로, 사람, 역사적 사건 및 사회 등의 방대한 데이터를 하나의 플랫폼에서 마주하고, 발굴 및 연구 결과를 업데이트할 수 있다. 뿐만 아니라 이를 체험하며 교류할 수 있는 하나의 콘텐츠로서, 실사 수준의 퀄리티로 영화나 다큐멘터리 속의 장면도 그 자리에서 바로 만들어 낼 수 있다.