엔비디아가 로봇 콘퍼런스인 로스콘(ROSCon)에서 로봇 운영체제(ROS) 개발자를 위한 생성형 AI 설루션을 발표했다.

이번 로스콘은 덴마크 오덴세에서 10월 21일부터 사흘 간 진행됐으며, 엔비디아는 로봇 생태계 파트너들과 함께 ROS 개발자를 위한 생성형 AI 툴, 시뮬레이션, 인식 워크플로를 공개했다. 여기에는 에지 AI와 로보틱스용 엔비디아 젯슨(Jetson) 플랫폼에 배포하는 ROS 개발자를 위한 새로운 생성형 AI 노드와 워크플로가 포함됐다. 생성형 AI를 통해 로봇은 주변 환경을 인식하고 이해하며, 인간과 자연스럽게 소통하고, 자율적으로 상황에 맞는 결정을 내릴 수 있다.

ROS 2를 기반으로 구축된 리맴버(ReMEmbR)는 생성형 AI를 사용해 로봇의 추론과 행동을 향상시킨다. 이는 대규모 언어 모델(LLM), 비전 언어 모델(VLM), 검색 증강 생성(RAG)을 결합한다. 이를 통해 로봇이 장기적인 의미 기억을 구축하고 쿼리하며 환경을 탐색하고 상호 작용하는 능력을 향상시킨다.

음성 인식 기능은 위스퍼TRT(WhisperTRT) ROS 2 노드에 의해 구동된다. 이 노드는 엔비디아 텐서RT(TensorRT)를 사용해 오픈AI(OpenAI)의 위스퍼(Whisper) 모델을 최적화해 엔비디아 젯슨에서 지연 시간이 짧은 추론을 가능하게 함으로써 인간과 로봇의 즉각적인 상호 작용을 가능하게 한다.

음성 제어 기능을 갖춘 ROS 2 로봇 프로젝트는 엔비디아 리바(Riva) ASR-TTS 서비스를 사용해 로봇이 음성 명령을 이해하고 이에 응답할 수 있도록 한다. 나사 제트추진연구소(The NASA Jet Propulsion Laboratory)는 ROS용 AI 기반 에이전트인 로사(ROSA)를 독자적으로 선보였다. 이는 네뷸라-SPOT(Nebula-SPOT) 로봇과 엔비디아 아이작 심(Isaac Sim)의 엔비디아 노바 카터(Nova Carter) 로봇에서 작동했다.

개발자는 이제 로봇 기능을 향상하기 위해 엔비디아 젯슨에 최적화된 LLM과 VLM을 제공하는 생성형 AI용 ROS 2 노드를 사용할 수 있다.

시뮬레이션은 배포 전에 AI 지원 로봇을 안전하게 테스트하고 검증하기 위해 중요한 작업이다. 오픈USD(OpenUSD)를 기반으로 구축된 로봇 시뮬레이션 플랫폼인 엔비디아 아이작 심(Isaac Sim)은 ROS 개발자에게 로봇을 ROS 패키지에 쉽게 연결해 테스트할 수 있는 가상 환경을 제공한다. 

오픈 소스 ROS 2 소프트웨어 프레임워크를 기반으로 구축된 엔비디아 아이작 ROS는 로보틱스 개발을 위한 가속 컴퓨팅 패키지와 AI 모델의 모음이다. 곧 출시될 3.2 버전은 로봇의 인식, 조작, 환경 매핑을 향상시킨다. 엔비디아 아이작 매니퓰레이터(Isaac Manipulator)의 주요 개선 사항에는 파운데이션포즈(FoundationPose)와 cu모션(cuMotion)을 통합하는 새로운 레퍼런스 워크플로가 포함된다. 이는 로보틱스에서 픽앤플레이스(pick-and-place)와 객체 추적 파이프라인의 개발을 가속화한다.

아울러 엔비디아 아이작 퍼셉터(Isaac Perceptor)도 개선됐다. 이는 새로운 시각적 SLAM 레퍼런스 워크플로, 향상된 다중 카메라 감지, 3D 재구성을 특징으로 자율 주행 로봇(autonomous mobile robot, AMR)의 환경 인식과 창고와 같은 동적인 환경에서의 성능을 개선한다.