자갈치시장은 부산을 대표하는 국내 최대의 수산 시장으로서 시장 상인, 시민과 관광객들을 위한 각종 사고를 예방하고 시장 내외부의 시설 운영 환경 또한 획기적으로 개선하고자 새로운 재난 대응 시뮬레이션 및 안전관리 플랫폼을 필요로 했다.
이에 따라 부산정보산업진흥원은 XR(확장현실) 솔루션 전문 기업인 삼우이머션과의 협업을 통해, 언리얼 엔진 기반의 실시간 안전관리 플랫폼인 ‘VARLOS 건물 관제 모니터링 디지털 트윈 시스템’을 자갈치 시장에 적용했다.
이번 호에서는 이 프로젝트의 개발 과정을 중심으로 언리얼 엔진을 활용한 디지털 트윈 시스템 개발 파이프라인의 주요 내용을 소개하고자 한다. ■ 자료 제공 : 에픽게임즈
▲ VARLOS 건물 관제 모니터링 디지털 트윈 시스템
자갈치시장 안전관리 플랫폼을 개발한 삼우이머션은 산업 직무훈련 및 다양한 교육 분야의 XR 기술 기반 솔루션을 개발 및 공급하고 있다. 자갈치시장 외에도 항만 및 터미널, 조선소와 같은 다양한 분야의 대형 시설물에 대해 디지털 트윈 기반의 안전관리 체계 솔루션을 제공하고 있다.
디지털 트윈의 핵심, 언리얼 엔진
자갈치시장 실시간 안전관리 플랫폼은 삼우이머션의 언리얼 엔진 기반 VARLOS 건물 관제 모니터링 디지털 트윈 시스템이 적용되었고 ▲해수 수질 측정을 통한 수산시장 수질 관리 서비스 ▲침수 감지 서비스 ▲공기질 측정을 통한 유해 물질 탐지 및 공기질 관리 서비스 ▲화재 감지 및 탈출 경로 유도 서비스 등 총 4개의 핵심 기능을 선정해 적용하고 실증을 통해 서비스 모델로 검증했다.
모니터링, 시뮬레이션 및 원격 제어 등이 요구되는 4개의 핵심 기능을 위해서는 디지털 트윈 기술이 핵심이었다. 이를 구현하기 위해서는 실제 물리적인 환경의 방대한 데이터를 사실적인 3D로 실시간으로 시각화하는 것이 무엇보다 중요했기 때문에, 리얼타임 3D 제작 툴인 언리얼 엔진을 채택했다.
언리얼 엔진은 PBR(Physically Based Rendering) 머티리얼, 포스트 프로세스 및 라이팅 효과, HLOD(Hierarchical Level of Detail) 등을 통한 사실적인 렌더링을 실시간으로 제공한다. 또한, 최근 추가된 완전한 다이내믹 글로벌 일루미네이션 기술인 루멘(Lumen)과 가상화된 마이크로폴리곤 지오메트리 시스템인 나나이트(Ninite) 기술을 통해 엄청난 양의 디테일을 더욱 사실적으로 시각화할 수 있어, 디지털 트윈 구축에 있어 핵심 역할을 수행했다.
▲ 자갈치시장 안전관리 모니터링 시스템 구축 화면
CityGML 표준 데이터로 도시 형상 제작
자갈치시장의 공기질과 수질 등 외부 센서를 모니터링하기 위해서는 자갈치시장 건물뿐만 아니라 주변 건물의 규모와 형상이 실제와 유사한지가 굉장히 중요하다. 이를 위해 삼우이머션은 주변 건물의 크기와 스카이라인을 실제와 유사하게 만들기 위해 CityGML(City Geographic Markup Language) 기술을 도입했다.
관제 모니터링을 위한 디지털 트윈은 관제 건물을 비롯하여 주변 형상에 대한 정보까지 실제와 유사하게 제작함으로써 건물에 대한 직관성을 높였다. 또한 추후 소방 안전과 관련한 확장성에 대한 요구를 만족할 수 있도록 지형지물에 대한 형상을 구현하였다.
이외에도 삼우이머션은 건물 공간 정보와 건축행정 시스템의 건축물대장 속성정보를 건물 단위로 통합해 구축한 토지 기반의 지리 공간 벡터 데이터 파일(shapefile)을 이용했고 기하(geometry), 위상(topology), 의미(semantics) 및 모습(appearance) 등의 속성에 맞는 3D 형상을 표현했다. 즉, 실제 건물의 면적 형상, 건물의 높이, 건물 및 도로의 위경도 좌표 등의 shapefile 데이터가 건물의 용도에 맞춰 자동으로 3D 형상으로 생성되도록 했다.
▲ 지리 공간 벡터 데이터 파일 편집
▲ 지리 공간 벡터 데이터의 3D 형상화
주변 지형 고도까지 실제와 유사하게 지형 제작
자갈치시장의 안전관리 플랫폼은 현실감 있는 모니터링을 위해 도시의 형상뿐만 아니라 자갈치시장 주변 지형의 고도 또한 실제와 유사하게 제작됐다. DEM(수치표고모델) 데이터를 3D 형상으로 변환하는 과정에서는 데이터의 좌표계 값과 정규화돼 있는 고도 데이터의 최고 높이와 최저 높이를 실제 고도 범위(elevation span)로 측정하는 것이 중요하다.
삼우이머션은 CityGML 데이터를 지형 형상 위에 정확히 정렬하기 위해서 shp 데이터를 3차원적으로 수정하는 기술 및 건물 단위의 CityGML 데이터가 자동으로 지형의 높이를 확인하여 알맞은 위치에 배치하는 기능을 이용해 정확도를 높였다.
▲ CityGML 데이터를 지형 데이터에 정렬
▲ CityGML 데이터를 지형 데이터에 정렬
3D 스캐닝 데이터를 이용한 정밀 모델링 구현
디지털 트윈 모니터링 시스템을 성공적으로 구현하기 위해 사용된 또 다른 주요 기술로는, 지리 공간 벡터 데이터를 활용한 주위 건물의 사실적 형상 구현과 고도데이터(DEM)를 활용해 지형 제작 건물 내부를 사실적으로 묘사하는 정밀한 모델링 기술이 있다.
자갈치시장의 내부에서는 해수를 끌어오는 펌프 시설에 대한 모니터링이 필요했고, 특히 많은 관광객이 방문하는 시설이기 때문에 안전에 대한 모니터링과 재난 대응 방안에 대한 기술적 검증 및 구현도 중요했다. 이러한 요구에 맞춰 삼우이머션은 공조, 소방, 배수, 배관 등 설비 시설물의 시뮬레이션을 위해 자갈치시장 건물의 형상과 장비를 가상환경에서 실제와 같이 제작하는 디지털 트윈화 작업을 진행했다.
디지털 트윈을 구현할 때는 대상 시설물의 설계도 상에 명시되지 않는 장비와 물품을 실제와 같이 구현하는 것도 필요한데, 이 단계에서 모든 사물의 형태 및 위치 정보를 개별적으로 측정하고 기록하는 방식에는 한계가 있었다. 삼우이머션은 이러한 한계를 극복하기 위해 3D 스캐닝을 통해 얻은 포인트 클라우드 데이터를 리토폴로징(retopologizing)하여 타깃 디바이스가 필요로 하는 폴리곤 최적화 디지털 트윈 구현을 빠르고 정확하게 작업할 수 있었다.
▲ 3D 스캐닝 데이터를 이용한 3D 형상 제작
▲ 3D 스캐닝 데이터를 이용한 3D 형상 제작
언리얼 엔진의 확장성을 통한 데이터 통합
자갈치시장 디지털 트윈 모니터링 시스템 구현을 위해서 표준화된 장치 간의 데이터 통합을 위한 oneM2M의 IoT(사물인터넷) 서비스 플랫폼 지침을 준용해야 하는데, 이를 위해 삼우이머션은 분산 운영되고 있던 레거시(legacy) 장치에 대한 통합 제어 기술을 적용했다.
이 과정에서 언리얼 엔진의 플러그인 확장 기능은 통신과 감시, 제어 등 확장 솔루션 제공에 큰 역할을 했다. 언리얼 엔진은 많은 기본 기능뿐 아니라 기능을 쉽게 확장할 수 있는 플러그인 확장 기능을 제공한다. 서버-클라이언트 통신, 클라우드 서비스 연동 등 일반적으로 게임 개발에 사용되는 통신 기법 이외에도 IoT 디바이스 감시 및 제어에 주로 활용되는 MQTT, KAFKA 등의 프로토콜이나 인터페이스를 지원하는 다양한 플러그인이 전 세계 개발자들에 의해 개발돼 있으며 활용 가능하다.
삼우이머션은 언리얼 엔진의 확장성 덕분에 oneM2M 기반 클라우드 서버와 MQTT 프로토콜을 이용해 데이터를 취합하고 가시화할 수 있었다. 신규 도입된 IoT 장비는 5G 통신망을 통해 oneM2M 서버와 직결했으나, 기존에 운용 중인 레거시 장비의 경우 통신 규격과 프로토콜이 파편화된 탓에 다수의 프로토콜을 지원하는 에지(edge) 서버를 제작하여 장비 데이터를 취합했다. 이후에는 프로토콜 초기화 시의 호출에 의한 정적 데이터와 실시간으로 수신되는 동적 데이터를 기반으로 언리얼 엔진을 통해 가시화하는 방식으로 제작했다.
▲ 데이터 가시화를 위한 시스템 구성
▲ 블루프린트 스크립트를 통한 개발
삼우이머션의 다음 목표와 언리얼 엔진 활용 계획
삼우이머션은 5G 기반의 디지털 트윈을 적용한 이번 자갈치시장 가상화 솔루션에 언리얼 엔진을 적극적으로 활용함으로써 몰입도 높은 경험을 선보일 수 있었다. 언리얼 엔진 적용 노하우를 비롯해 지금까지 쌓아온 디지털 트윈 기반의 지형 시각화 기법을 앞으로도 다양한 XR 통합 솔루션 환경을 구축하는 데 사용할 예정이며, 여러 산업 분야에서 디지털 트윈 모니터링 솔루션을 서비스해 나갈 계획이다.
앞으로 삼우이머션은 VARLOS 건물 관제 모니터링 디지털 트윈 시스템, VARLOS 터미널 모니터링 디지털 트윈 시스템, VARLOS 스마트 건설 기술 해상공사 안전 모니터링 디지털 트윈 시스템 등 현재까지 개발된 여러 디지털 트윈 시스템에 대한 고도화를 진행하는 한편, 수요가 높은 산업 현장에 대한 신규 디지털 트윈 시스템을 구축하고 관련 서비스를 제공함으로써 시장을 확대해 나갈 계획이다.
◼︎ 기사 내용은 PDF로도 제공됩니다.