엔비디아가 CES 2026에서 캐터필러와 협력해 젯슨 토르 기반의 캣 AI 어시스턴트를 선보였다. 음성 인식 리바와 네모트론 모델을 활용한 자연어 상호작용 및 옴니버스 디지털 트윈 기술로 구현된 미래형 건설 현장의 혁신 사례를 소개한다.
 

엔비디아, 캐터필러와 함께 미래형 AI 중장비 솔루션 구축
 

엔비디아와 캐터필러가 세계 최대 IT 가전 전시회인 CES 2026에서 인공지능 기술과 중장비를 결합한 미래형 산업 솔루션을 선보이며 건설 현장의 디지털 전환을 예고했다.

AI 컴퓨팅 기술 분야의 선두주자인 엔비디아는 지난 2026년 1월 9일 미국 라스베이거스에서 열린 CES 2026 현장에서 캐터필러 중장비에 엔비디아 엣지 AI 플랫폼을 통합했다고 발표했다. 이번 발표는 로봇 공학과 건설 기계 분야의 글로벌 리더들이 손을 잡고 산업 현장의 지능화를 구체화했다는 점에서 큰 주목을 받았다.

현장 데모와 자연어 기반 상호작용의 구현

CES 2026 전시장에는 노란색 강철 외관의 6톤 규모 캣 306 CR 미니 굴착기가 등장해 관람객들의 시선을 사로잡았다. 엔비디아 로보틱스와 엣지 AI 부문 부사장 디푸 탈라와 캐터필러가 공동으로 진행한 이번 시연은 올해 CES에서 가장 거대한 규모의 라이브 데모로 기록됐다.

캐터필러 기조연설 중 공개된 데모 영상에서는 운전석 내부의 실시간 영상과 함께 자연어 기반의 상호작용 기술이 소개됐다. 작업자가 안녕 캣, 시작 방법을 알려줘라고 음성으로 명령하자 장비에 탑재된 AI 시스템이 즉각 자연스러운 음성으로 응답하며 굴착기 암을 작동시켰다.

캐터필러 조 크리드 CEO는 캐터필러는 현대 기술 스택의 보이지 않는 기반을 구축하고 실제로 움직이는 기업이라며, 이러한 역할을 전 세계 대규모 현장에서 수행하는 것이 우리의 핵심 가치라고 강조했다.
 

젯슨 토르 기반의 캣 AI 어시스턴트와 엣지 AI 기술

이번 데모의 핵심은 엔비디아 젯슨 토르 플랫폼을 기반으로 구동되는 캣 AI 어시스턴트다. 젯슨 토르는 산업 및 로봇 시스템의 실시간 추론을 위해 설계된 엣지 AI 플랫폼으로, 복잡한 건설 현장에서 지연 시간 없는 지능형 서비스를 제공한다.

대화 기능 구현에는 엔비디아 리바와 네모트론 음성 모델이 사용됐다. 또한 vLLM 런타임을 통해 로컬 환경에서 실행되는 큐웬3 4B 모델은 클라우드 연결 없이도 사용자의 의도를 분석하고 정확한 응답을 생성한다. 여기에 캐터필러 헬리오스 데이터 플랫폼이 결합되어 기계의 상태와 작업 환경에 대한 신뢰도 높은 컨텍스트를 제공한다.

구체적인 기술 시연 항목으로는 지상 및 지하의 위험 요소를 피하기 위해 동작 범위를 제한하는 E-Ceiling 기능, 좁은 공간에서의 정밀 제어를 돕는 직관적인 AI 보조 장치, 그리고 안전 중심 경고 및 문서 접근을 지원하는 기내 AI 지원 등이 포함됐다.

디지털 트윈과 인력 양성을 통한 미래 산업 준비

엔비디아와 캐터필러의 협력은 장비 내 지능형 시스템에 그치지 않고 제조 공정의 최적화로 이어진다. 캐터필러는 현재 미국 내 제조 시설에서 엔비디아 옴니버스 라이브러리와 오픈USD를 기반으로 구축된 공장 디지털 트윈을 시범 운영하고 있다. 이를 통해 실제 설비 변경 전 시뮬레이션을 수행하고 자재 흐름을 최적화하고 있다.

또한 캐터필러는 AI 기반 산업 시스템으로의 전환에 발맞춰 향후 5년 간 1억 달러를 인력 양성에 투자할 계획이다. 이 중 2500만 달러는 글로벌 워크포스 이노베이션 챌린지에 투입되어 차세대 지능형 장비 운용을 위한 전문가 육성에 사용된다.

조 크리드 CEO는 캐터필러는 우리가 의지하는 물리적 세계를 구축하는 기업인 동시에, 이제 현대 기술 스택의 보이지 않는 층을 더욱 지능적으로 만들고 있다고 밝혔다. 엣지 AI를 통해 장비가 스스로 듣고 이해하며 작업자를 돕는 시대가 열리면서 산업 현장의 안전성과 효율성이 획기적으로 향상될 전망이다.
 

정밀성과 운전자 지원 기능을 탑재한 캣 306 CR 미니 굴삭기는 전 세계의 크고 작은 산업 현장을 지원한다.