[케이스 스터디] 로보틱스 시뮬레이션의 핵심 플랫폼, 언리얼 엔진

포토리얼리즘과 합성 데이터로 피지컬 AI의 진화를 이끌다

시뮬레이션 산업은 인간을 훈련시키는 툴에서 기계를 훈련시키는 툴로 크게 전환되고 있다. 이를 위해서는 현실 세계에서 직접 작동하고 인식하며 상호작용하는 AI 시스템이 필요하다. 바로 피지컬 AI(physical AI)다. AI 모델을 센서, 카메라, 액추에 이터와 결합함으로써 로봇, 자율 주행 차량, 드론과 같은 시스템은 실시간으로 상황을 이해하고 판단하며 행동하고, 예측할 수 없는 환경에도 적응한다.

언리얼 엔진은 이제 시뮬레이터를 넘어 합성 데이터 팩토리이자 차세대 로보틱스 시스템을 구동하는 실시간 자율 플랫폼으로도 활용되며, 로보틱스 산업의 핵심 플랫폼으로 자리매김하고 있다. ■ 자료 제공 : 에픽게임즈

기술 요구사항으로 평가되는 포토리얼리즘

현실 세계에서 작동하는 로봇을 훈련하려면 방대한 데이터가 필요하다. 이러한 데이터를 현실 세계에서 수집하는 일은 느리고 비용이 많이 들며 위험할 뿐만 아니라 근본적인 한계를 갖고 있다. 예를 들어, 수천 번의 차량 충돌이나 수술 합병증을 실제로 반복 재현하는 것은 불가능하다.

이러한 이유로 시뮬레이션은 현대 피지컬 AI 개발의 핵심 기반이 되고 있다. 이에 따라 로보틱스 팀에게 언리얼 엔진은 비용·성능·속도 모든 면에서 핵심 해답으로 자리잡고 있다. 로보틱스 시뮬 레이션에서 포토리얼리즘은 단순한 선택 사항이 아니라 기술적으 로 반드시 필요한 요건이기 때문이다.

언리얼 엔진의 그래픽 성능은 ‘시뮬레이션과 현실 간 격차(sim-to-real gap)’, 즉 시뮬레이션에서 모델이 인식하는 것과 실제 로봇 환경에서 마주하는 것 사이의 차이를 줄이는 데 적합하다. 핵심 원리는 합성 이미지가 실제 사진에 가까울수록, 모델이 시뮬레이션에서 현실로 일반화하는 데 필요한 추가 작업이 줄어든다는 점이다.

언리얼 엔진 5는 이 분야의 판도를 근본적으로 바꾸기 위한 세 가지 기술을 선보였다. 포토리얼리즘을 구현하는 데 그치지 않고, 이를 실시간으로 구현할 수 있게 한 것이다. 언리얼 엔진 5의 나나이트(실시간 초고해상도 지오메트리), 루멘(다이내믹 글로벌 일루 미네이션), 하드웨어 레이 트레이싱은 물리적으로 정확한 포토리얼 환경을 실시간으로 구현하는 핵심 기술이다.

제너럴 로보틱스(General Robotics)는 언리얼 엔진을 활용해 로봇 자율성 시스템을 테스트하고 시연하기 위한 사실적인 가상 환경을 구축하고, 이를 통해 로보틱스 플랫폼에 확장 가능한 시뮬레이션과 시각적 검증을 제공하고 있다. 언리얼 엔진은 에이전트 기반 로봇 평가 시스템을 위한 토대로도 활용된다. 에이전트가 다양한 환경과 조건에서 로봇 AI의 동작 평가를 자동으로 구성하고 실행하며, 배포 전에 예외 상황을 찾아내고 성능을 검증할 수 있도록 도와준다.

피직스 시뮬레이션

포토리얼리즘만으로는 시뮬레이션과 현실 간 격차를 해소할 수 없다. 물리 정확도, 센서 현실성, 제어 루프 모델링까지 모두 중요하기 때문이다. 많은 조작 및 이동 작업에서 시각적 차이보다는 접촉 역학이나 액추에이터 동작의 부정확성이 실패의 원인이 된다.

이러한 맥락에서 언리얼 엔진의 카오스 피직스 시스템은 배정밀도를 기반으로 확장 가능한 훈련, 인식 시뮬레이션, 그리고 포토리얼 환경에서의 실시간 상호작용을 지원하는 툴이다. 엔지니어는 알고릭스(Algoryx)에서 개발한 고정밀 실시간 피직스 시뮬레이션 시스템인 언리얼 엔진용 AGX Dynamics과 같은 외부 툴을 활용해 시스템의 물리적 특성을 정확하게 모델링할 수 있다. AGX는 유압 시스템, 구동계, 엔진, 변형 지형 등 전체 기계를 물리적으로 정확하게 시뮬레이션할 수 있도록 지원한다.

리얼리티스캔을 활용한 다양한 데이터 소스 병합 및 재구성

로보틱스 팀은 리얼리티스캔과 언리얼 엔진 간의 워크플로를 통해 실제 환경과 사물을 디지털 트윈으로 빠르게 변환하고, 이를 로보틱스 시뮬레이션에 활용할 수 있다. 리얼리티스캔은 기존 사진 측량 기술뿐 아니라 라이다(LiDAR)와 SLAM 포인트 클라우드까지 지원해 환경 생성의 병목을 줄이고, 실제 배포 환경과 밀접하게 일치하는 합성 훈련 및 회귀 환경을 빠르게 구축할 수 있도록 한다.

또한 리눅스(Linux) 서버에서 실행 가능하며 리모트 커맨드 플러그인(Remote Command Plugin) 또는 CLI(명령줄 인터페이스) 스크립트로 제어할 수 있어, 여러 머신에서 스캔 데이터를 지속적으로 처리하고 결과를 언리얼 엔진으로 바로 전송하는 자동화된 사진측량 파이프라인 구축도 가능하다.

빠르고 비용 효율적인 훈련을 위한 합성 데이터

언리얼 엔진은 모든 픽셀을 수학적으로 생성하기 때문에 각 사물의 위치, 거리, 머티리얼, 움직임까지 씬에 대한 모든 정보를 이미 알고 있다. 따라서 이미지를 캡처한 후 사람이 직접 라벨링할 필요 없이, 엔진이 이미지를 렌더링하는 동시에 정확한 라벨을 자동으로 생성할 수 있다.

이를 통해 라벨 오류와 어노테이터 간 편차를 없애고 품질 관리 비용도 절감할 수 있다.

경제적 효과도 분명하다. 합성 데이터를 활용한 훈련 시뮬레이션은 대규모로 수행할수록 이미지당 비용을 낮출 수 있기 때문이다. 수만 장 수준에서 이미 합성 데이터가 수작업 라벨링보다 비용 효율적이며, 수백만 장을 필요로 하는 로보틱스 모델에서는 절감 효과가 더욱 크다. 이러한 변화는 시장에서도 분명하게 나타나고 있으며, 합성 데이터는 AI 훈련 파이프라인의 핵심 요소로 자리잡을 것으로 전망된다.

듀얼리티 AI(Duality AI)는 언리얼 엔진 기반의 팔콘(Falcon) 디지털 트윈 플랫폼을 통해 고품질 합성 데이터와 센서 시뮬레이션을 제공하고 있다. 이를 통해 드론 비행, 자율 주행, 위성 도킹 등 다양한 분야에서 AI 모델 학습과 검증 효율을 높이고, 시뮬레이션과 현실 간 격차를 줄이고 있다.

도메인 랜덤화 : 예측할 수 없는 상황에 대비하기

도메인 랜덤화는 시뮬레이션 환경의 다양한 요소를 의도적으로 변화시켜, 시뮬레이션에서 학습된 모델이 실제 환경에서도 더 잘 동작하도록 하는 기법이다. 모델이 시뮬레이션에서 충분한 변화를 경험하면 특정한 합성 환경에 과적합되지 않으며, 복잡한 실제 환경에서도 더 안정적으로 동작한다.

포테라(Forterra)는 고품질 환경 모델링을 기반으로 자율 주행 시스템 오토드라이브(AutoDrive)를 테스트하고 있다. 오토드라이브는 온로드와 오프로드를 아우르는 복잡한 환경에서 다양한 지형, 변화하는 노면, 예측하기 어려운 장애물에 대응해야 한다. 포테라는 언리얼 엔진을 활용해 물리적으로 정확한 센서 시뮬레이션과 정밀한 디지털 환경, 다양한 날씨·지형·장애물 조건에서 전체 임무 시나리오를 검증하고 있다.

언리얼 엔진은 프로그래밍 가능한 머티리얼 시스템과 다이내믹 라이팅 기능을 갖추고 있어 도메인 랜덤화에 특히 적합하다. 또한 로보틱스 팀은 언리얼 엔진의 프로시저럴 콘텐츠 제너레이션(Procedural Content Generation : PCG) 프레임워크를 활용해 훈련 에피소드마다 실내 환경을 다양하게 구성할 수 있다. 창고나 사무실 신(scene)에서는 레이아웃(선반이나 테이블 배치 등), 박스나 도구와 같은 잡동사니, 머티리얼, 라이팅, 오클루전 등 시각적 요소를 원하는 대로 변화시킬 수 있다.

시뮬레이션 환경을 구축하거나 사물을 배치해야 하는 경우, 팹(Fab) 마켓플레이스를 활용할 수 있다. 팹은 합리적인 가격에 쉽게 통합할 수 있는 고퀄리티 3D 콘텐츠를 제공하며, 사진측량 기술을 기반으로 제작된 퀵셀 메가스캔(Quixel Megascans)과 같은 고품질 애셋도 포함되어 있다.

센서 시뮬레이션 : 환경을 종합적으로 이해하기

현대 로보틱스는 단일 입력에 의존하는 대신 여러 종류의 센서를 동시에 활용해 환경을 이해하는 멀티 모달 인식에 기반한다. 언리얼 엔진의 렌더링 파이프라인은 실제 로봇에서 사용하는 다양한 센서를 시뮬레이션하는 데 적합하다. 카메라, 라이다, 레이더, 열화 상, IMU/GPS, 수중 음파 탐지기까지 실제 로봇에 사용되는 주요 센서를 지원한다. 또한 노이즈, 왜곡, 지연시간, 동기화와 같은 주요 센서 특성을 모델링해 실제 하드웨어와 비슷한 환경을 구현할 수 있다. 듀얼리티 AI의 팔콘 디지털 트윈 플랫폼은 센서 시뮬레이션 활용 사례 중 하나다. 다양하게 설정할 수 있는 시뮬레이션용 센서 라이브러리를 통해 카메라, 라이다, 레이더 및 SAR, GPS, IMU 등 여러 센서를 지원하며, 언리얼 엔진이 데이터를 처리해 고정밀 환경 시뮬레이션을 생성한다.

듀얼리티 AI의 아푸르바 샤 CEO는 “언리얼 엔진이 로보틱스와 피지컬 AI 엔지니어에게 제공할 수 있는 가치가 매우 크다는 점을 잘 알고 있었기 때문에, 이를 중심으로 팔콘을 구축했다”고 말했다.

디스페이스(dSPACE)의 오렐리온(AURELION)은 언리얼 엔진이 기존 자율 주행 차량 및 로보틱스 워크플로에 어떻게 통합되는지를 잘 보여준다. 예를 들어 한국산업기술시험원은 오렐리온을 활용해 복도, 엘리베이터, 병실 등을 포함한 가상 병원 환경에서 자율 서비스 로봇을 테스트하고 있다. 개발자는 실제 환경에 배포하 기 전에 가상 센서를 통해 주행 경로 계획, 장애물 회피, 시스템 반응을 평가할 수 있다.

디스페이스의 카이우스 자이거 센서 시뮬레이션 프로덕트 매니저는 “언리얼 엔진은 물리 기반 센서 시뮬레이션 솔루션인 오렐리온의 기술적 기반”이라고 말했다.

언리얼 엔진은 정확한 렌즈 및 이미지 센서 모델링을 포함해 센서 특성을 반영한 카메라 시뮬레이션을 지원한다. 자이거는 “소스 코드에 접근할 수 있어서 레이더, 라이다, 초음파 센서를 위한 정확한 원시 센서 데이터를 생성할 수 있도록 리얼타임 레이 트레이싱을 구현해 플랫폼을 더욱 확장할 수 있었다”고 말했다.

언리얼 엔진은 3D 모델과 머티리얼을 효율적으로 통합해 도심 배송 드론부터 병원 서비스 로봇에 이르기까지 다양한 활용 사례를 지원한다. 또한 매트랩(MATLAB)·시뮬링크(Simulink)와의 연 동을 통해 인식, 제어, 물리 기반 모델링을 통합한 자율 시스템 개발 워크플로도 지원한다.

ROS 통합 : 게임 엔진과 로봇 연결하기

로보틱스 팀이 게임 엔진 도입을 검토할 때 흔히 우려하는 부분은 로보틱스 미들웨어와의 호환성이다. 현재 언리얼 엔진은 ROSIntegration, rclUE, UE ROS2 센서 플러그인, CARLA 등 검증된 연동 툴을 통해 ROS 및 ROS2와 원활하게 연동될 수 있다.

일부 로보틱스 조직은 생산 시스템의 요구사항을 충족하기 위해 자체 미들웨어를 구축하기도 한다. 템포 시뮬레이션(Tempo Simulation)은 이를 고려해 개발되었다. 이 오픈소스 플랫폼은 유연한 gRPC/프로토버프(Protobuf) 인터페이스를 제공해, 로보틱스 팀이 언리얼 엔진을 자체 자율 주행 시스템과 미들웨어에 직접 연결할 수 있도록 지원한다. 또한 템포는 TempoROS 연동과 함께, 언리얼 엔진 내에서 사실적인 시뮬레이션 환경, 센서 모델, 복잡한 에이전트 행동을 구축할 수 있는 툴을 제공한다.

템포 시뮬레이션의 피터 멜릭 CEO는 “템포에서는 시뮬레이션을 통한 반복 개선 구조가 얼마나 강력한지 직접 확인해 왔다. 팀이 시뮬레이션 환경에서 데이터를 생성하고, 동작을 테스트하며, 빠르게 반복 작업할 수 있을 때 개발 주기는 크게 단축될 수 있다. 우리의 목표는 모든 로보틱스 팀이 고퀄리티의 현실감 있는 언리얼 엔진 시뮬레이션을 활용할 수 있도록 하는 것”이라고 말했다. 이는 언리얼 엔진이 로봇의 자율 동작을 가능하게 하는 소프트웨어 시스템을 위한 리얼타임 시뮬레이터로서 효과적으로 활용될 수 있음을 보여주는 사례이다.

시뮬레이션 전 과정 지원

언리얼 엔진은 로보틱스 분야에서 인식과 합성 데이터에 강점을 가지고 있지만, 시뮬레이션 전 과정 역시 지원한다. 에이전트가 환경과 상호작용하며 보상이나 패널티를 통해 학습하는 강화학습(reinforcement learning : RL)에서 시뮬레이션 환경의 사실성과 반응성은 학습된 행동이 실제 환경에서 얼마나 효과적으로 이어지는지를 결정한다.

언리얼 엔진은 강화학습 파이프라인과 결합되어 드론 내비게이션, 로봇 제어 등 다양한 자율 시스템 개발에 활용되고 있다. 또한 클라우드 기반 합성 데이터 생성과 대규모 자율성 테스트 환경 구축도 지원한다.

주요 로보틱스 시뮬레이션 플랫폼을 구동하는 핵심 기술

언리얼 엔진은 단순한 렌더링 툴이 아닌 여러 주요 로보틱스 시뮬레이션 플랫폼의 기반을 이루는 핵심 기술이다.

가장 널리 사용되는 오픈소스 자율 주행 시뮬레이터 CARLA는 현재 언리얼 엔진 5.5에서 구동되며 라이다, 레이더, GPS, ROS2 네이티브 연동을 지원한다. 언리얼 엔진 5 기반의 홀로오션은 옥트리 기반 수중 음파 탐지기 센서 모델을 포함한 다중 에이전트 수중 시뮬레이션을 제공하며, 루멘과 나나이트로 사실적인 수중 환경을 구현한다. 듀얼리티 AI 팔콘(Falcon) 플랫폼은 고품질 합성 데이 터와 디지털 트윈 기술을 바탕으로 NASA-JPL, 허니웰, 다르파, P&G 등에서 도입하고 있다. 테로랩스(PteroLabs)의 테로심(PteroSim)은 100대 이상의 드론을 동시에 시뮬레이션할 수 있는 UAV 비행 시뮬레이터로, PX4·ArduPilot 오토파일럿 펌웨어를 시뮬레이션 안에서 실제처럼 실행할 수 있다.

인더스트리 4.0

로보틱스, 자동화, 디지털 기술이 융합된 인더스트리 4.0(Industry 4.0)에서는 생산 변경을 가상 환경에서 검증하기 위해 리얼타임 시뮬레이션과 디지털 트윈이 활용된다. 이를 통해 실제 적용 전에 자동화 의사결정을 검증함으로써 위험과 비용을 줄일 수 있다.

SAS는 인더스트리 4.0 분야의 선도 기업으로, 언리얼 엔진의 고품질 시각화와 SAS AI/분석 플랫폼 바이야(Viya)를 결합해 공장 자동화를 위한 지능형 디지털 트윈을 구축하고 있다. 조지아 퍼시픽(Georgia-Pacific)과의 파일럿 프로젝트에서는 언리얼 엔진 기반의 SAS 디지털 트윈을 활용해 실제 공장에서 AGV 이동, 품질 관리, 유지보수 계획을 시각화하고 최적화하고 있다.

현대 시설은 사람과 로봇이 함께 작업해야 하는 더욱 복잡한 환경으로 변화하고 있으며 이에 따라 안전성과 효율성의 중요성도 커지고 있다.