엔비디아가 오픈 로보틱스(Open Robotics)와 엔비디아 젯슨(Jetson) 엣지 AI 플랫폼과 GPU 기반 시스템에서 로봇운영체제 ROS 2의 성능 가속화를 위해 협력한다고 밝혔다. 이번 이니셔티브는 개발 시간을 단축하고 컴퓨터 비전과 AI·머신러닝 기능을 ROS 기반 애플리케이션에 통합하려는 개발자에게 향상된 성능을 지원한다.
엔비디아 AI 인식 기술을 위한 아이작(Issac) ROS
오픈 로보틱스의 브라이언 거키(Brian Gerkey) CEO는 "많은 ROS 개발자들이 호스트 CPU를 오프로드하도록 설계된 추가 컴퓨팅 기능을 갖춘 하드웨어 플랫폼을 활용함에 따라, ROS도 이러한 고급 하드웨어 리소스를 효율적으로 활용하도록 진화하고 있다"라며 "엔비디아와 같은 가속 컴퓨팅 분야의 선도기업과 협력해 AI와 로봇 기술 혁신에 대한 방대한 경험을 활용하는 것은 ROS 커뮤니티 전체에 상당한 혜택으로 다가올 것"이라고 설명했다.
엔비디아 젯슨 플랫폼은 다양한 애플리케이션에 걸쳐 로봇 공학자들이 널리 채택하고 있다. 엔비디아 젯슨 플랫폼은 로봇의 응답성, 안전성 및 협업성을 높이기 위해 고성능과 함께 낮은 지연시간의 프로세싱을 지원하도록 설계됐다.
오픈 로보틱스는 ROS 2의 성능을 향상시켜 엔비디아 젯슨 엣지 AI 플랫폼에 적용된 GPU 및 기타 프로세서에 걸친 데이터 플로우와 공유 메모리를 효율적으로 관리한다. 이로써 카메라 및 라이다(LiDAR) 등의 센서에서 수집된 고대역폭 데이터를 실시간으로 처리하는 애플리케이션의 성능이 대폭 향상된다.
엔비디아는 오픈 로보틱스의 이그니션 가제보(Ignition Gazebo)와 엔비디아 옴니버스 기반 아이작(Isaac) Sim 간의 원활한 시뮬레이션 상호 운용성을 위해 오픈 로보틱스와 협력하고 있다. 아이작 Sim은 현재 ROS 1, 2에 대한 OOTB(out of the box) 지원과 함께 블렌더(Blender) 및 언리얼 엔진(Unreal Engine) 4를 비롯한 인기 애플리케이션과의 연결을 통해 3D 콘텐츠 제작에 중요한 에코시스템을 갖췄다.
이그니션 가제보는 현재 진행 중인 미국방위고등연구계획국(DARPA)의 서브테리니언 챌린지(Subterranean Challenge)와 같이 세간의 이목을 끄는 콘테스트를 비롯해 로봇 커뮤니티 전반에 걸쳐 수십 년 동안 광범위하게 사용됐다.
ROS 개발자는 두 시뮬레이터가 연결된 상태에서 이그니션 가제보와 아이작 Sim 간에 로봇과 환경을 쉽게 이동할 수 있다. 이로써 높은 충실도, 정확한 센서 모델 및 사실적 렌더링과 같은 시뮬레이터의 향상된 기능을 활용해 AI 모델의 테스트와 훈련에 사용될 합성 데이터를 생성할 수 있다.
이번 협력을 통해 구축되는 소프트웨어는 2022년 봄 출시될 것으로 예상된다.
ROS용 아이작 GEM은 하드웨어 가속 패키지로, ROS 개발자가 젯슨 플랫폼에서 고성능 솔루션을 쉽게 구축하도록 지원한다. 해당 GEM은 이미지 처리 및 로봇 공학자 사이에서 중요성이 점점 강조되는 심층 신경망(DNN) 기반 인식 모델의 처리량 향상에 주력한다. 이러한 패키지는 호스트 CPU의 로드를 줄이는 동시에 성능을 대폭 향상한다.
ROS용 최신 아이작 GEM은 다음과 같다.
• SGM 스테레오 디스패리티 및 포인트 클라우드(SGM Stereo Disparity and Point Cloud)
• 컬러 스페이스 변환 및 렌즈 왜곡 보정(Color Space Conversion and Lens Distortion Correction)
• 에이프릴 태그 감지(AprilTags Detection)
ROS는 스테레오 카메라를 지원하며, ROS 알비즈(RViz) 툴에서 좌측 및 우측 카메라뷰를 확인할 수 있다. RGB 및 뎁스 이미지(depth images) 모두 알비즈에서 확인 가능하다.
아이작 Sim의 최신 버전은 ROS 개발자 커뮤니티를 위한 다양한 기능을 제공한다. 예로써, 현재 ROS2 내비게이션 스택과 모벨트 모션 플래닝 프레임워크(MoveIt Motion Planning Framework)가 이용 가능하며 아이작 Sim 설명서에서 자세한 내용을 확인할 수 있다.
아이작 Sim의 ROS 예시
• ROS 에이프릴 태그
• ROS 스테레오 카메라
• ROS 내비게이션
• ROS 터틀봇(TurtleBot) 3 샘플
• ROS 매니퓰레이션(Manipulation) 및 카메라 샘플
• ROS 서비스
• 모벨트 모션 플래닝 프레임워크
• 네이티브 파이썬(Python) ROS 사용
• ROS2 내비게이션
로봇 모델, 환경 모델 및 3D 에셋을 보여주는 엔비디아 옴니버스 기반 아이작 Sim의 기능 블록 다이어그램
아이작 Sim은 로봇 시뮬레이터 기능 외에도 인식 모델을 훈련하고 테스트하기 위한 합성 데이터를 생성하는 강력한 기능을 제공한다. 이러한 기능은 로봇 공학자들이 플랫폼에 보다 많은 인식 기능을 통합하면서 점차 중요해질 것이다. 로봇이 주변 환경을 더욱 정확히 인식할수록 자율성은 보다 높아지며, 인간의 개입은 줄일 수 있게 된다.
아이작 Sim이 생성한 합성 데이터 세트는 AI 모델 조정 플랫폼인 엔비디아 타오(TAO)에 직접 공급돼 로봇의 특정 작업환경에 대한 인식 모델을 조정케 한다. 로봇의 인식 스택이 주어진 작업환경에서 실행될 수 있을지 확인하는 작업은 대상 환경에서 실제 데이터를 수집하기에 앞서 개시될 수 있다.
로봇 공학자는 그동안 AI 기반 인식 스택에 탐색과 같은 고전적인 로봇 작업을 연결 및 통합하는 데 어려움을 겪어 왔다. 아이작 Sim은 간소화된 TAO 훈련 플랫폼 통합을 지원하는 로보틱스 및 합성 데이터 생성 툴로, 이러한 워크플로우 난제에 해법을 제시한다.
엔비디아는 10월 21일부터 22일(현지시각)까지 진행되는 ROS 개발자 컨퍼런스인 ROS 월드에서 일부 인기 있는 DNN을 비롯해 젯슨 개발자들을 위한 새로운 GEM을 공개할 계획이다. 또한, ROS 개발자 커뮤니티를 지원하는 아이작 Sim 기능을 발표할 예정이다. 엔비디아의 가상 부스에 방문해 ROS 라운드테이블에 참석하고 아이작 Sim 관련 기술 프레젠테이션을 시청할 수 있다.
또한, 엔비디아는 11월 8일부터 11일(현지시각)까지 진행 예정인 세계 최대 GPU 기술 컨퍼런스 GTC에서 우수한 연사, 강연 및 콘텐츠 라인업을 선보인다. 오픈 로보틱스 CEO인 브라이언 거키의 프레젠테이션을 포함해 로봇 개발자들을 위한 다양한 세션을 마련했으며, 엔비디아 젯슨, 아이작 ROS, 아이작 Sim 및 아이작 GYM을 비롯한 다양한 주제의 강연도 제공한다.
