AR 콘텐츠를 활용한 문화재 복원 프로젝트

황룡사는 경주시에 있던 사찰로 불국사와 함께 신라를 대표하던 사찰이다. 그러나 안타깝게도 건물 전체가 소실되어 황룡사가 있던 터만이 남게 되었다. 웅장한 신라시대의 유물이 사라져버린 것을 안타까워하던 국립문화재연구원은 고심 끝에 황룡사를 복원하기로 결심했다. AR(증강현실)로 문화재를 복원한다는 것은 결코 쉬운 작업이 아니었기 때문에 VR(가상현실)과 AR 콘텐츠를 능숙하게 다룰 수 있는 기업인 버넥트와의 협업이 필요했다.

수많은 고증과 연구를 통해 증강현실로 복원된 황룡사 중문과 남회랑 AR 콘텐츠는 ‘2021 Korean MWU(Made With Unity) Best Visualization 부문’을 수상하며 퀄리티를 인정받았다. 이번 호에서는 버넥트의 최주곤 PM과 강현석 개발자를 만나 문화재 복원 과정에 대해 들어보았다. ■ 자료 제공 : 유니티코리아

문화재 복원이라는 새로운 시도

최주곤 PM은 국립문화재연구원으로부터 문화재 복원에 대한 협업을 제안 받고 반가운 마음이 앞섰다. 새로운 시도에 대한 설렘과 차별화된 결과물에 대한 기대감을 숨길 수 없었기 때문이다. 증강현실이라는 기술이 단순히 미래지향적인 것에 머무는 것이 아니라 과거와 현재, 그리고 미래를 연결할 줄 수 있는 콘텐츠로 발전해야 한다고 생각했던 최주곤 PM에게 문화재 복원이라는 프로젝트는 매력적으로 느껴졌다.

문화재 복원 제안을 받았을 당시에는 국립 문화재연구원 내부용 프로젝트였다. 최초의 목적은 문화재연구원의 학술 연구 결과를 시각화하는 것이었지만, 최주곤 PM과 강현석 개발자의 적극적인 참여로 일반인에게 서비스할 수 있는 형태의 콘텐츠로 프로젝트가 확장되었다. 증강현실로 복원된 황룡사의 중문과 남회랑의 모습은 기대 이상의 고증으로 실감나는 증강현실 구현에 성공했다. 버넥트 최주곤 PM은 “새로운 도전에는 늘 열려 있다”면서 “기술력이 담보되어 있으니까 한계를 설정해 두지 않는 것”이라고 강조했다.

피할 수 없었던 시행착오

XR 체험 콘텐츠로 재탄생한 황룡사 중문과 남회랑은 1층짜리 단층 내부와 2층짜리 중층 내부가 실제 크기로 구현되었다. 사용자는 현장을 실제로 거닐면서 구조물 곳곳을 즐기며 촬영할 수 있고 방문 시점에 따른 계절감도 느낄 수 있다. 특히 중층 내부의 경우는 실제로 2층에 올라갔다는 느낌을 받을 수 있도록 제작되었다. 덕분에 1년 정도의 시연 기간 동안 일반인과 언론에게 높은 평가를 받았다.

하지만 그 과정은 결코 쉽지 않았다. 문화재 복원 콘텐츠인 만큼 철저한 고증이 매우 중요한 이슈였는데, 황룡사에 대한 사료가 부족한 상황이었기 때문에 같은 시기의 다양한 자료들을 비교 분석하고 연구해야 했다. 기본적인 자료들은 연구원 측에서 받았지만 고증 분야의 전문 교수들을 직접 찾아다니며 자문을 구하는 일도 많았다. 또한, 도면으로 제작되어 있던 황룡사를 입체적인 3D로 복원하는 과정에서 반복되는 시행착오를 겪어야 했다. 최주곤 PM은 “서까래, 살창, 기단, 치미 등 단어부터 생소했다”면서 ”익숙해지는데 시간이 필요했고 시행착오도 많을 수밖에 없었다”고 말했다.

3D 모델링을 할 때마다 간격이나 높이 등 2D 도면에서는 확인할 수 없었던 구조적 결함이 발견되었던 것이다. 이러한 결함이 발견될 때마다 다른 연구 사례를 찾아보면서 다시 연구하고, 수정하고, 반영하는 작업이 반복되면서 많은 시간이 소요되었다. 매번 만나서 회의를 할 수 없다는 물리적 한계도 존재했는데, 유니티를 활용하여 3D 모델 뷰어를 만들어서 실시간으로 피드백을 확인하고 소통하면서 효율적으로 시간을 절약하고 오차 범위를 줄여 나갈 수 있었다.

발품으로 구현한 퀄리티

버넥트 강현석 개발자는 개발을 하면서 이렇게 많이 걸어 본 적은 처음인 것 같다며 말문을 열었다. 증강현실 콘텐츠에서 가장 중요한 것은 사용자가 얼마나 실감나게, 얼마나 진짜처럼 느낄 수 있는가 하는 부분일 텐데, 실감나는 구현을 위해서는 실제 위치와 콘텐츠 상의 위치의 오차 범위의 간극을 줄이는 것이 중요했다.

강현석 개발자는 중문에서 남회랑까지 270여 미터나 되는 엄청난 거리의 오차 범위를 어떻게 줄일 수 있을지 고민했다. 270미터는 실로 엄청난 거리이기 때문에 단순히 성능 좋은 태블릿이나 AR 코어만으로는 부족했다. GPS를 붙여 보기도 했지만 그조차도 오차 범위가 컸기 때문에 마커를 중간중간 여러 개 두는 형태로 추진했다. 그리고 일일이 발품을 팔면서 마커와 마커 사이 최적의 거리 확인을 위한 수많은 테스트를 진행했다. 270미터의 건물이 조금만 틀어져도 수십 미터가 틀어지는 결과가 나오기 때문에 정확한 측정을 위해 엄청난 공을 들였다.

실감나는 체험을 위해 강현석 개발자가 각별히 신경 쓴 부분은 또 있었는데, 빛과 그림자의 사실적인 구현이었다. 실제 환경의 그림자 방향과 디지털 객체의 그림자 방향을 일치시켜서 현실적인 몰입감을 증대하였다.

몰입감의 완성은 유니티

강현석 개발자는 유니티 사용은 선택이 아닌 필수였다고 하는데, 여러 측면에서 유니티가 유용했기 때문이다. 유니티는 모바일을 포함한 다양한 플랫폼을 동시에 지원하며, 또한 각각의 해상도가 다른 여러 개의 태블릿을 지원해야 하는 상황에서 UI를 공통으로 가지고 갈 수 있는 방법도 유니티 안에서 찾을 수 있었다. 유니티에서 제공하는 프리셋이라는 기능을 활용한 것인데, 해상도가 변경될 때마다 프리셋에 저장된 각각의 UI 정보를 불러오는 형태로 작업하여 UI를 공통으로 사용할 수 있었다.

더불어, 체험형 콘텐츠인 만큼 사용자가 재미를 느낄 수 있는 설정을 하는 데에도 유니티를 적극적으로 활용했다. 대표적으로 사용자가 황룡사를 배경으로 사진을 찍는 기능을 꼽을 수 있는데, 카메라로 찍은 이미지 위에 3D를 표시하면 3D 오브젝트가 카메라 배경 위로 떠서 사람이 3D에 가려지게 되는 문제가 발생한다. 이때, 유니티의 오클루전이라는 기술을 활용하여 3D 오브젝트가 사람 뒤에 나올 수 있도록 만들었고 덕분에 황룡상 중문에서 기념사진을 찍는 것이 가능해졌다. 강현석 개발자는 “결국 몰입감을 완성하는 건 기술이다. 그 기술을 구현하기 위해서는 유니티 말고 대안이 없었다”고 말했다.

핵심은 인터랙션

최주곤 PM과 강현석 개발자는 증강현실 콘텐츠의 핵심도 결국은 사람과 사람이 소통하는 인터렉션에 있다고 입을 모았다. 메타버스가 주목받고 있는 이유 역시 그 안에서 다양한 상호작용이 가능하기 때문이다. 버넥트 또한 사람과 사람 간의 활발한 소통 안에서 의미를 만들어 가는 것에 집중하면서 프로젝트를 확장시켜 나갈 계획이라고 밝혔다.

■ 기사 내용은 PDF로도 제공됩니다.