[케이스 스터디] 아프리카 유적지를 디지털로 보존한 자마니 프로젝트
트윈모션 및 리얼리티캡처로 고품질 디지털 복제본 구현
케이프타운 대학교(University of Cape Town)의 하인즈 뤼터(Heinz Ruther) 교수는 2004년 자마니 프로젝트(Zamani Project)를 구상했다. 자마니 프로젝트는 아프리카를 중심으로 유적지의 정확한 고퀄리티 디지털 복제본을 전 세계에서 접근할 수 있도록 제공하는 비영리 이니셔티브다. 이 이니셔티브는 대중에게 유산 보존의 중요성을 교육하는 데도 핵심적인 역할을 할 것으로 기대된다. ■ 자료 제공 : 에픽게임즈
유산은 과거를 들여다보고, 현재를 이해하고, 미래를 계획하도록 도와준다. 우리는 유산에 대한 인식을 통해 문화적 정체성을 발전시키고, 타인에 대한 관용과 수용의 자세를 기를 수 있다. 그러나 전 세계 수많은 유적지의 기록 자원은 제한적인 경우가 많으며, 아예 없는 경우도 있다. 또한 유적지는 자연재해, 해수면 상승, 문화·예술 및 공공 시설을 파괴하는 반달리즘, 문화적 테러, 대중 관광 등 다양한 위협에 노출되기도 한다.
지난 17년간 하인즈 뤼터 교수가 주요 투자자로서 이끌어 온 자마니 프로젝트 팀은 유네스코(UNESCO)와 세계 기념물 기금(World Monuments Fund)을 비롯한 유산 관련 주요 기구와 협력하여 18개국의 65곳이 넘는 유적지를 디지털로 기록했다. 이러한 디지털 기록물은 트윈모션(Twinmotion) 및 리얼리티캡처(RealityCapture)의 도움으로 아름답고 매력적인 3D 애니메이션의 형태로 구현돼 몰입감 있는 경험을 제공한다.
뤼터의 팀원으로는 프로젝트의 첫해부터 함께한 최고 과학 책임자 로샨 버타(Roshan Bhurtha)와 랄프 슈뢰더(Ralph Schroeder), 5년 전에 합류한 브루스 맥도널드(Bruce McDonald)가 있다.
▲ 유적지를 3D 모델로 전환하기 위해 데이터를 수집하는 모습
리얼리티캡처를 통한 유적지 재현
유적지를 캡처하고 디지털로 재구성하기 위해 팀은 사진측량 기술 소프트웨어인 리얼리티캡처를 사용했다. 리얼리티캡처를 사용하면 여러 장의 이미지나 레이저 스캔본을 통해 사실적인 3D 모델을 제작할 수 있다. 2021년 3월, 이 제품을 개발한 ‘캡처링 리얼리티’가 에픽게임즈에 합류하면서 리얼리티캡처는 트윈모션을 비롯한 언리얼 엔진 생태계의 일부가 됐다.
팀은 유적지에서 Z+F 레이저 스캐너와 DSLR 카메라 및 드론을 함께 사용해 방대한 양의 포인트 클라우드 및 사진 데이터를 수집했다. 이러한 데이터는 리얼리티캡처를 통해 처리 및 병합되어 고해상도 단일 3D 모델로 재탄생한다.
그 후 모델의 트라이앵글 수를 관리 가능한 수준으로 줄여 간소화한 뒤 리얼리티캡처를 통해 노멀 맵 및 텍스처를 원본 데이터에서 추출하고 메시에 적용한다. 결과물은 트윈모션에 임포트할 준비가 된 고퀄리티의 텍스처 모델이다. 언리얼 엔진 익스포트 프리셋을 리얼리티캡처에서 사용하여 트윈모션에서 사용하기에 적절한 스케일의 OBJ 메시를 제작함으로써 최적의 결과를 얻을 수 있다.
이와 같은 작업 경험에 대해 브루스 맥도널드는 “리얼리티캡처로 제작한 3D 모델의 퀄리티는 탁월하다. 트윈모션에 임포트하면 아주 근사하다”고 밝혔다.
▲ 자마니 프로젝트로 남아프리카의 마풍구브웨를 구현한 모습
사실적이고 몰입감 있는 경험으로 재탄생한 3D 모델
텍스처를 갖춘 고해상도 애셋을 임포트해도 끄떡없는 트윈모션에 3D 모델을 가져오고, 여기에 팀이 마무리 배경 작업을 하고 나면, 자마니 프로젝트가 스토리텔링을 시작할 차례다.
브루스 맥도널드는 “트윈모션은 실제로 방문할 수 없는 사람들을 위해 유적지에 생명을 불어넣는다. 우리는 단순히 3D 모델을 보여주는 데에서 그치지 않고, 최대한 현실과 유사한 배경에서 모델을 선보이는 애니메이션 및 경험을 만들고자 노력하고 있다”고 말했다.
▲ 트윈모션에서 남아프리카 마풍구브웨의 일출 및 일몰의 모습을 재현
트윈모션은 다양한 포토리얼 시각화 기능을 통해 한층 발전된 리얼리즘을 구현하도록 도와준다. 예를 들어, 트윈모션에 포함된 퀵셀 메가스캔 라이브러리로 고퀄리티 스캔 애셋 및 머티리얼에 액세스하여 사실적인 배경을 제작할 수 있으며, 하이트맵 데이터를 임포트하여 컨텍스트 랜드스케이프를 제작할 수도 있다. 두 가지 기능 모두 브루스 맥도널드가 높이 평가하는 것들이다.
게다가 유적지의 실제 지리학적 위치에 기반해 일출 및 일몰 시 태양의 위치도 올바르게 설정할 수 있다. 이처럼 사소한 디테일에 시간을 들여 섬세하게 처리하는 일은 사실적인 최종 결과물을 얻는 데 필수적이다.
브루스 맥도널드는 “신 세트 덕분에 트윈모션에서 애니메이션을 제작하는 것이 수월하다”고 말하며, 고퀄리티 디폴트 라이팅, 손쉬운 카메라 제어를 통한 비디오 클립 제작, 카메라가 접근하면 문이 자동으로 열리는 기능 등을 예로 들었다.
▲ 트윈모션을 통해 마풍구브웨가 담긴 애니메이션을 손쉽게 만들 수 있었다.(참고 영상)
또한, 팀은 트윈모션 덕분에 가상현실(VR) 헤드셋을 사용하여 신을 편집하면서 신에 몰입할 수 있었으며, 이를 통해 예전에는 불가능했던 수준의 사실성을 구현할 수 있었다.
신이 완성되면 팀은 동일한 프로젝트에서 고해상도 스틸 이미지, 표준 또는 360° 비디오, 파노라마 및 링크된 파노라마 세트뿐만 아니라 완전한 인터랙티브 3D 프레젠테이션까지 익스포트할 수 있다. 트윈모션 클라우드를 사용하면 URL 하나로 전 세계 어디에서든 누구에게나 파노라마 세트와 프레젠테이션을 공유할 수 있다. 공유 받은 사람은 고사양 하드웨어를 갖추거나 파일을 다운로드할 필요가 없으며, 스마트폰, 태블릿 또는 컴퓨터의 웹 브라우저에서 액세스할 수 있다. 로컬 프레젠테이션은 VR로도 볼 수 있다.
트윈모션은 강력한 기능을 갖추면서도 손쉽게 사용할 수 있고 학습 곡선이 완만하다. 이는 높은 생산성과 빠른 결과물 도출로 이어진다. 브루스 맥도널드는 “트윈모션을 사용하면 아름다운 고퀄리티 애니메이션을 매우 빠르게 제작할 수 있다. 예전에 다른 소프트웨어를 사용할 때는 오랜 시간이 걸렸다”고 전했다.
▲ 자마니 프로젝트로 구현한 시에라리온 번스 섬의 노예 요새
시에라리온의 번스 섬 요새
2021년 자마니 프로젝트는 프리타운의 구 푸라 베이 대학(Old Fourah Bay College)을 기록하려는 세계 기념물 기금 프로젝트를 위해 시에라리온을 방문했다. 그 후 팀은 번스 섬의 노예 요새를 캡처 및 재현하기 위해 시에라리온강으로 이동했다.
약 488m 길이의 무인도인 번스 섬은 1670년 노예 무역 기지가 세워진 바 있다. 요새는 1808년에 폐기되었으며, 번스 섬은 1840년에 버려졌다. 이후 1948년 번스 섬은 국가 기념물로 지정됐다.
2022년 자마니 프로젝트 팀은 하루 반나절 만에 유적지 대부분을 기록했다. 니콘 D7200 DSLR 카메라로 약 4500장의 사진을 촬영하고, Z+F 5010X 스캐너로 70장이 넘는 컬러 레이저 스캔본을 확보했다. 이후 리얼리티캡처 및 트윈모션으로 이 데이터를 3D 모델, 파노라마, 스틸 이미지, 애니메이션 등 다양한 머티리얼로 변환했다.
▲ 자마니 프로젝트로 구현한 시에라리온 번스 섬의 노예 요새
남아프리카공화국의 마풍구브웨
자마니 프로젝트의 또 다른 유적지로는 마풍구브웨가 있다. 남아프리카공화국 북부의 국경 지대에 위치한 마풍구브웨는 짐바브웨, 보츠와나와 인접해 있으며 림포포강과 샤슈강이 만나는 곳에 위치해 있다. 마풍구브웨 왕국은 14세기에 멸망하기 전까지 아프리카 아대륙 최대의 왕국이었던 것으로 여겨졌다.
대부분 훼손 없이 잘 보존된 마풍구브웨 유적지에는 수 세기 전의 궁터와 정착지 전체가 고스란히 남아 있다. 초기 수도로 파악되는 두 개 지역도 거의 훼손되지 않은 상태였다. 이 희귀한 발견 덕분에 400여 년에 걸쳐 발전을 이룬 사회를 엿볼 수 있었다.
▲ 카메라와 드론으로 마풍구브웨의 모습을 사진으로 기록하는 모습
마풍구브웨의 캡처 작업은 남아프리카 공화국의 유적지를 기록하는 대규모 프로젝트의 일부로, 남아프리카 공화국 유산 자원청(South African Heritage Resource Agency, SAHRA)이 운영하고 있다. 프로젝트의 궁극적인 목표는 2020년 두바이 엑스포의 남아프리카 공화국 부스에서 선보일 애니메이션을 제작하는 것이었다.
자마니 프로젝트 팀은 사자, 코끼리 등 공원 내 야생동물로부터의 안전을 위해 무장한 파크 레인저와 항상 동행했다. 니콘 D7200 DSLR 카메라와 팬텀(Phantom) 3 Pro 및 4 Pro 드론을 사용하여 마풍구브웨 지역을 사진으로 기록했으며, 그 수는 총 1만 장 가량에 달했다. 촬영한 사진은 리얼리티캡처에 업로드한 뒤 하나의 좌표계에 병합하여 텍스처 3D 모델로 제작했으며, 마지막으로 트윈모션으로 가져와 디테일을 완성했다. 이 과정에서 단일 스캔본을 복제하여 만든 바오밥나무로 배경을 장식하고, 수조에 넣을 시뮬레이션된 물을 제작하고, 드론으로 촬영한 원본 영상에서 얻은 멋진 파노라마 배경을 추가하기도 했다.
▲ 리얼리티캡처와 트윈모션을 활용해 마풍구브웨의 모습을 3D 모델로 구현했다.
다음 목표는 페트라
자마니 프로젝트 팀은 리얼리티캡처와 트윈모션을 팀의 워크플로에 확고히 자리매김시켰고, 언리얼 엔진과 더불어 향후의 모험적인 프로젝트를 위한 필수적인 요소로 간주하고 있다. 에픽 메가그랜트 지원으로 가능하게 된 이 최신 프로젝트는 요르단의 페트라에서 펼쳐질 예정이다.
페트라의 지형은 그 방대한 규모로 인해 기록 작업에만 10년이 넘게 걸렸다. 자마니 프로젝트 팀은 2011년과 2014년 사이에 페트라에 대한 초기 측량 조사를 진행한 바가 있다. 메가그랜트 지원금과 최신 캡처 기술로 무장한 자마니 프로젝트 팀은 2022년 3월에 페트라를 재방문했고, 약 10만 장의 사진을 비롯한 테라바이트 단위의 데이터를 가지고 돌아왔다.
이때 확보한 데이터는 현재 리얼리티캡처에서 처리 중이며, 이후 언리얼 엔진 5에서 3D 경험으로 제작될 것이다. 팀은 엔진의 나나이트 가상화 지오메트리 시스템을 사용해 대용량 메시를 실시간으로 처리할 예정이다.
■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2023-01-31