엔비디아가 아마존웹서비스(AWS)의 AI 서비스 전반에 자사의 NIM 마이크로서비스를 확장한다고 발표하면서, 이를 통해 생성형 AI 애플리케이션을 위한 더 빠른 AI 추론과 짧은 지연 시간을 지원한다고 전했다.

12월 4일 열린 ‘리인벤트(re:Invent)’ 연례 콘퍼런스에서 AWS는 엔비디아와의 협업을 확대해 주요 AWS AI 서비스 전반에 걸쳐 엔비디아 NIM 마이크로서비스를 확장한다고 발표했다. 

엔비디아 NIM 마이크로서비스는 이제 AWS 마켓플레이스(Marketplace), 아마존 베드록 마켓플레이스(Bedrock Marketplace), 아마존 세이지메이커 점프스타트(SageMaker JumpStart)에서 직접 제공된다. 이로 인해 개발자가 일반적으로 사용되는 모델에 대해 엔비디아 최적화 추론을 대규모로 배포하는 것이 더욱 쉬워졌다.

엔비디아 NIM은 AWS 마켓플레이스에서 제공되는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼의 일부이다. 이는 개발자에게 클라우드, 데이터센터, 워크스테이션 전반에서 고성능 엔터프라이즈급 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 사용하기 쉬운 마이크로서비스 세트를 제공한다.

사전 구축된 컨테이너는 엔비디아 트리톤 추론 서버(Triton Inference Server), 엔비디아 텐서RT(TensorRT), 엔비디아 텐서RT-LLM, 파이토치(PyTorch)와 같은 추론 엔진을 기반으로 구축됐다. 아울러 오픈 소스 커뮤니티 모델부터 엔비디아 AI 파운데이션(AI Foundation) 모델, 맞춤형 모델에 이르기까지 광범위한 범위의 AI 모델을 지원한다.

NIM 마이크로서비스는 아마존 엘라스틱 컴퓨트 클라우드(Elastic Compute Cloud : EC2), 아마존 엘라스틱 쿠버네티스 서비스(Elastic Kubernetes Service : EKS), 아마존 세이지메이커를 비롯한 다양한 AWS 서비스에 배포할 수 있다.

개발자는 일반적으로 사용되는 모델과 모델 제품군으로 구축된 100개 이상의 NIM 마이크로서비스를 엔비디아 API 카탈로그에서 미리 볼 수 있다. 여기에는 메타의 라마 3(Llama 3), 미스트랄 AI의 미스트랄과 믹스트랄(Mixtral), 엔비디아의 네모트론(Nemotron), 스태빌리티 AI의 SDXL 등이 있다. 가장 일반적으로 사용되는 모델은 AWS 서비스에 배포하기 위한 자체 호스팅에 사용할 수 있으며, AWS의 엔비디아 가속 컴퓨팅 인스턴스에서 실행되도록 최적화돼 있다.

엔비디아는 다양한 산업 분야의 고객과 파트너가 AWS에서 NIM을 활용하며 시장에 더 빨리 진입하고, 생성형 AI 애플리케이션과 데이터의 보안과 제어를 유지하며, 비용을 절감하고 있다고 소개했다. 개발자는 고유한 필요와 요구사항에 따라 AWS에 엔비디아 NIM 마이크로서비스를 배포할 수 있다. 이를 통해 개발자와 기업은 다양한 AWS 서비스 전반에서 엔비디아에 최적화된 추론 컨테이너로 고성능 AI를 구현할 수 있다.