엔비디아가 아마존웹서비스(AWS)의 AI 서비스 전반에 자사의 NIM 마이크로서비스를 확장한다고 발표하면서, 이를 통해 생성형 AI 애플리케이션을 위한 더 빠른 AI 추론과 짧은 지연 시간을 지원한다고 전했다. 12월 4일 열린 ‘리인벤트(re:Invent)’ 연례 콘퍼런스에서 AWS는 엔비디아와의 협업을 확대해 주요 AWS AI 서비스 전반에 걸쳐 엔비디아 NIM 마이크로서비스를 확장한다고 발표했다.  엔비디아 NIM 마이크로서비스는 이제 AWS 마켓플레이스(Marketplace), 아마존 베드록 마켓플레이스(Bedrock Marketplace), 아마존 세이지메이커 점프스타트(SageMaker JumpStart)에서 직접 제공된다. 이로 인해 개발자가 일반적으로 사용되는 모델에 대해 엔비디아 최적화 추론을 대규모로 배포하는 것이 더욱 쉬워졌다.     엔비디아 NIM은 AWS 마켓플레이스에서 제공되는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼의 일부이다. 이는 개발자에게 클라우드, 데이터센터, 워크스테이션 전반에서 고성능 엔터프라이즈급 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 사용하기 쉬운 마이크로서비스 세트를 제공한다. 사전 구축된 컨테이너는 엔비디아 트리톤 추론 서버(Triton Inference Server), 엔비디아 텐서RT(TensorRT), 엔비디아 텐서RT-LLM, 파이토치(PyTorch)와 같은 추론 엔진을 기반으로 구축됐다. 아울러 오픈 소스 커뮤니티 모델부터 엔비디아 AI 파운데이션(AI Foundation) 모델, 맞춤형 모델에 이르기까지 광범위한 범위의 AI 모델을 지원한다. NIM 마이크로서비스는 아마존 엘라스틱 컴퓨트 클라우드(Elastic Compute Cloud : EC2), 아마존 엘라스틱 쿠버네티스 서비스(Elastic Kubernetes Service : EKS), 아마존 세이지메이커를 비롯한 다양한 AWS 서비스에 배포할 수 있다. 개발자는 일반적으로 사용되는 모델과 모델 제품군으로 구축된 100개 이상의 NIM 마이크로서비스를 엔비디아 API 카탈로그에서 미리 볼 수 있다. 여기에는 메타의 라마 3(Llama 3), 미스트랄 AI의 미스트랄과 믹스트랄(Mixtral), 엔비디아의 네모트론(Nemotron), 스태빌리티 AI의 SDXL 등이 있다. 가장 일반적으로 사용되는 모델은 AWS 서비스에 배포하기 위한 자체 호스팅에 사용할 수 있으며, AWS의 엔비디아 가속 컴퓨팅 인스턴스에서 실행되도록 최적화돼 있다. 엔비디아는 다양한 산업 분야의 고객과 파트너가 AWS에서 NIM을 활용하며 시장에 더 빨리 진입하고, 생성형 AI 애플리케이션과 데이터의 보안과 제어를 유지하며, 비용을 절감하고 있다고 소개했다. 개발자는 고유한 필요와 요구사항에 따라 AWS에 엔비디아 NIM 마이크로서비스를 배포할 수 있다. 이를 통해 개발자와 기업은 다양한 AWS 서비스 전반에서 엔비디아에 최적화된 추론 컨테이너로 고성능 AI를 구현할 수 있다.

종합 엔지니어링 기업인 현대엔지니어링은 플랜트 설계의 시간과 비용을 줄일 수 있는 방안을 고민했고, 해결책으로 클라우드 기반의 애플리케이션 가상화 및 가상 데스크톱 인프라 기술을 선택했다. 다양한 설계 프로젝트의 복잡한 환경에 맞춰 최적화된 IT 인프라를 빠르게 구축하고 관리 효율을 높임으로써, 전반적인 시간 및 비용 효과를 추구할 수 있게 됐다. ■ 정수진 편집장   다양한 프로젝트에 따른 설계 환경의 복잡성 증가 창립 50주년을 맞은 현대엔지니어링은 화공 플랜트와 전력/에너지 플랜트 설계 및 건설을 중심으로 건축/항만 인프라와 자산관리, 친환경 에너지 등 폭넓은 비즈니스를 전개하고 있다. 2023년에는 국내 건축 프로젝트 및 해외 대형 프로젝트 실적 증가에 힘입어 국토교통부의 시공능력평가에서 4위에 오르기도 했다. 현대엔지니어링 IT지원팀의 이다영 매니저는 “발주처의 요구나 프로젝트의 성격에 따라 다양한 CAD 소프트웨어를 사용하고 있다”고 소개했다. 피드(FEED)라고 불리는 기본설계 프로젝트의 경우 3D CAD만으로 빠르게 진행하기도 하고, 설계/시공/구매/조달이 포함되는 EPC 프로젝트에서는 2D와 3D CAD를 함께 사용한다는 것이다.   ▲ 아마존 앱스트림 2.0에서 구동하는 스마트 3D   3D 설계 인프라 개선 위해 클라우드 도입 현대엔지니어링은 특히 사용 빈도가 높은 3D 설계를 위해 클라우드 인프라와 서비스를 도입했다. 주된 목적은 설계 인프라의 구축 기간을 줄이는 것이었다. 워크스테이션으로 설계를 진행하는 기존의 환경에서는 CAD 소프트웨어를 구동하기에 적절한 시스템 사양을 결정하는 것부터 시스템 구매와 시스템/서비스의 안정화까지 짧지 않은 시간이 걸린다. 현대엔지니어링은 이 부분을 클라우드 기반의 가상화 기술로 해결할 수 있을 것으로 보았다. 또한 코로나19의 대유행으로 재택근무 및 원격근무가 늘어나는 환경의 변화에 대응해야 한다는 인식이 늘어난 것도 클라우드를 고려하게 된 배경이 되었다고 한다. 현대엔지니어링은 AWS의 클라우드 컴퓨팅 인프라인 EC2, 애플리케이션 가상화 서비스인 앱스트림 2.0(Amazon AppStream 2.0), VDI(가상 데스크톱 인프라) 서비스인 아마존 워크스페이스(Amazon WorkSpaces)를 도입했다.  이다영 매니저는 “AWS는 VDI, 앱 가상화, 클라우드 그래픽 등 다양한 서비스를 제공하며, 전 세계의 리전(region)을 통해 해외 현장에서도 활용할 수 있을 것으로 보았다”면서, “국내외 엔지니어링 분야에서 레퍼런스가 나오면서 진입장벽이 낮아졌다고 판단해, POC를 통해 지난 2021년부터 클라우드를 도입하게 되었다”고 소개했다.   설계 인프라 구축 시간 줄이고 효율과 유연성은 향상 클라우드 기반 플랜트 설계 인프라의 주된 강점은 시간과 비용이다. 이다영 매니저는 “설계를 위한 IT 인프라의 구축에 걸리는 시간이 5~6개월에서 1개월로 줄었다”면서, 향후에는 코드 자동화 기술을 적용해 이 기간을 2~3주까지 줄일 수 있을 것이라고 전했다. 시간 절감은 비용 절감으로 이어진다. 피드 사업에서 클라우드로 IT 인프라 비용을 줄이고, 이를 통해 전체 프로젝트의 비용 절감도 가능하다. 또한, 워크스테이션을 장기간 사용하면 성능이 저하될 수 있는데, 가상머신을 초기화하면 이런 문제를 해결하고 퍼포먼스의 일관성을 유지할 수 있다. 가상머신의 사양을 최적화해 설계 업무의 효율을 높이게 된 것도 이점이다. 물리적인 서버와 워크스테이션은 한 번 구축하면 업그레이드나 증설이 어려워서 처음부터 높은 사양으로 도입했다. 반면, 가상머신은 최적화된 사양으로 도입한 후에도 확장이 손쉽기 때문에 설계 인프라를 유연하게 운영할 수 있게 됐다. 이다영 매니저는 “클라우드 가상머신은 설계 소프트웨어마다 요구하는 사양에 맞춰 활용이 가능하다. 예를 들어 헥사곤의 스마트 3D는 앱스트림 2.0의 그래픽 성능을 활용하고, 상대적으로 낮은 사양에서도 설계를 할 수 있는 아비바 PDMS는 GPU가 없는 VDI를 구성하는 식이다. 이렇게 필요 없는 리소스를 정리하면서 가상머신의 사양을 최적화할 수 있다”고 설명했다.   ▲ 아마존 워크스페이스에서 구동하는 PDMS   성능·비용 효과에 집중하며 클라우드 도입의 장벽 제거 현대엔지니어링은 5가지의 사양으로 클라우드 가상머신을 테스트했고, 그 결과를 바탕으로 사내 설계 환경에 맞춰 가상머신 사양을 정형화한 후 확산한다는 전략을 추진하고 있다. 2021년 정식 오픈 이후에는 베트남과 러시아 등 2개 프로젝트에 클라우드를 도입했다. 이다영 매니저는 “피드 사업에서 클라우드의 효과를 체감한다면 향후 EPC 사업으로 전환하더라도 클라우드 사용에 대한 거부감을 줄일 수 있을 것”이라고 전했다. 현대엔지니어링의 클라우드 인프라 도입이 순탄한 것만은 아니었다고 한다. 가장 큰 장벽은 클라우드의 보안에 대한 우려였다. 이에 대해 현대엔지니어링은 사내망으로 구축해 보안 문제를 해소하고, AWS의 보안 솔루션을 통해 모니터링할 수 있도록 했다. 또한 사용자 권한 제어와 파일 다운로드 제한 등의 장치도 마련했다. 이다영 매니저는 “기존의 프로세스를 바꾸어야 한다는 부담도 있었는데, 이 부분은 클라우드의 성능과 비용 효과를 중심으로 사내 구성원들을 설득했다”고 전했다. 설계 소프트웨어 인프라 관리 측면에서는 빠른 구축과 관리 포인트 감소라는 이점을, 설계 담당자 측면에서는 고성능의 PC가 없어도 쉽게 접속해 사용할 수 있다는 장점을 사내 구성원들이 이해하면서 클라우드 도입이 진전을 보일 수 있었다고 한다.   클라우드 인프라 확대 추진할 계획 현대엔지니어링은 피드백 수렴과 안정화를 거쳐 향후 대규모 프로젝트에 클라우드를 도입할 예정이다. 그리고, 2024년에는 해외 현장에서 AWS의 해외 리전을 활용해 클라우드 인프라를 구축할 계획이다. IT 요구사항이 까다로운 대규모의 해외 프로젝트에 클라우드를 적용할 예정이며, 인도에 오픈 예정인 설계센터에도 클라우드를 도입할 계획이라고 한다. 또한, 현재 적용 중인 3D CAD 외에 2D 설계를 위한 클라우드도 테스트 중으로, 2023년 말 오픈 예정이다.   ▲ 현대엔지니어링 이다영 매니저는 “클라우드는 설계 실무와 인프라 관리 측면에서 시간과 비용 등 이점을 제공한다”고 설명했다.     ■ 기사 내용은 PDF로도 제공됩니다.

아마존웹서비스(AWS)는 연례 콘퍼런스 ‘AWS 리인벤트 2023’에서 차세대 자체 설계 칩 제품군인 AWS 그래비톤4(AWS Graviton4)와 AWS 트레이니움2(AWS Trainium2)를 발표했다. 그래비톤4와 트레이니움2는 머신러닝(ML) 트레이닝과 생성형 인공지능(AI) 애플리케이션을 포함한 워크로드에서 개선된 가격 대비 성능과 에너지 효율을 제공한다.  그래비톤4는 기존 그래비톤3 프로세서 대비 최대 30% 향상된 컴퓨팅 성능, 50% 더 많은 코어, 75% 더 많은 메모리 대역폭을 제공해 아마존 EC2(Amazon EC2)에서 실행되는 워크로드에서 가격 대비 성능과 에너지 효율을 높이며, 모든 고속 물리적 하드웨어 인터페이스를 완전히 암호화해 보안성을 높인 것이 특징이다. 그래비톤4는 메모리에 최적화된 아마존 EC2 R8g 인스턴스로 제공돼 고객이 고성능 데이터베이스, 인메모리 캐시, 빅데이터 분석 워크로드의 실행을 개선할 수 있도록 지원한다. R8g 인스턴스는 기존 세대 R7g 인스턴스보다 최대 3배 더 많은 vCPU와 3배 더 많은 메모리로 더 큰 인스턴스 크기를 제공한다. 고객은 이를 통해 더 많은 양의 데이터 처리, 워크로드 확장, 결과 도출 시간 개선, 총 소유 비용 절감을 달성할 수 있다. 그래비톤4 기반 R8g 인스턴스는 현재 프리뷰 버전으로 제공되며, 향후 몇 달 내에 정식 출시될 예정이다.  그래비톤은 아마존 오로라(Amazon Aurora), 아마존 엘라스티캐시(Amazon ElastiCache), 아마존 EMR(Amazon EMR), 아마존 메모리DB(Amazon MemoryDB), 아마존 오픈서치(Amazon OpenSearch), 아마존 RDS(Amazon RDS), AWS 파게이트(AWS Fargate), AWS 람다(AWS Lambda)등 AWS 관리형 서비스에서 지원된다. 현재 AWS는 전 세계적으로 150개 이상의 그래비톤 기반 아마존 EC2 인스턴스 유형을 제공하고 있다. 또한 200만 개 이상의 그래비톤 프로세서를 구축했고, 상위 100대 EC2 고객을 포함해 5만 개 이상의 고객이 애플리케이션의 가격 대비 성능 최적화를 위해 그래비톤 기반 인스턴스를 사용하고 있다.   ▲ 이미지 출처 : AWS 웹사이트 캡처   한편, 트레이니움2는 1세대 트레이니움 칩 대비 최대 4배 빠른 학습 속도를 제공하도록 설계됐으며, 최대 10만 개의 칩으로 구성된 EC2 울트라클러스터(UltraClusters)에 배포할 수 있다. 이를 통해 파운데이션 모델(FM)과 대규모 언어 모델(LLM)을 빠르게 학습시키고 에너지 효율을 최대 2배까지 높인다. 트레이니움2는 1세대 트레이니움 칩에 비해 최대 4배 빠른 학습 성능과 3배 더 많은 메모리 용량을 제공하는 동시에, 와트당 성능을 최대 2배까지 개선할 수 있도록 설계됐다. 트레이니움2는 단일 인스턴스에 16개의 트레이니움 칩이 포함된 아마존 EC2 Trn2 인스턴스로 제공될 예정이다. Trn2 인스턴스는 AWS 엘라스틱 패브릭 어댑터(EFA) 페타비트급 네트워킹과 상호 연결되어 고객이 차세대 EC2 울트라클러스터에서 최대 10만 개의 트레이니움2 칩을 규모에 맞게 확장해 최대 65 엑사플롭의 컴퓨팅을 제공하고, 슈퍼컴퓨터급 성능에 온디맨드 방식으로 액세스할 수 있도록 지원한다. 이로써 고객은 기존에는 몇 달이 소요되던 3000억 개 파라미터 규모 LLM의 학습을 단 몇 주 만에 수행할 수 있다. AWS는 “각 칩 세대마다 더 나은 가격 대비 성능과 에너지 효율을 제공하며, 고객에게 AMD, 인텔, 엔비디아 등 타사의 최신 칩이 포함된 칩/인스턴스 조합 외에도 다양한 선택권을 제공해 거의 모든 애플리케이션 또는 워크로드를 아마존 EC2에서 실행할 수 있도록 지원한다”고 설명했다. AWS의 데이비드 브라운(David Brown) 컴퓨팅 및 네트워킹 부문 부사장은 “고객에게 중요한 실제 워크로드에 집중해 칩을 설계함으로써, AWS는 고객에게 진보한 클라우드 인프라를 제공할 수 있게 됐다”면서, “그래비톤4는 5년 만에 출시한 4세대 칩으로서 광범위한 워크로드를 위해 지금까지 개발한 칩 중 가장 강력하고 에너지 효율적이다. 또한, 생성형 AI에 대한 관심이 급증함에 따라 트레이니움2는 고객이 더 낮은 비용으로 더 빠르게, 그리고 더 높은 에너지 효율로 ML 모델을 훈련할 수 있도록 지원할 것”이라고 말했다.

엔비디아는 아마존웹서비스(AWS)와 전략적 협력을 확대한다고 발표했다. 이번 협력으로 양사는 고객의 생성형 AI(generative AI) 혁신을 위한 최첨단 인프라, 소프트웨어, 서비스를 제공할 수 있도록 지원할 예정이다. 양사는 파운데이션 모델(foundation model) 훈련과 생성형 AI 애플리케이션 구축에 적합한 엔비디아와 AWS의 기술을 결합할 계획이다. 여기에는 차세대 GPU, CPU와 AI 소프트웨어를 갖춘 엔비디아의 멀티노드 시스템부터 AWS의 니트로(Nitro) 시스템 고급 가상화와 보안, EFA(Elastic Fabric Adapter) 상호 연결과 울트라클러스터(UltraCluster) 확장성까지 다양한 기술이 포함된다. AWS는 새로운 멀티노드 NV링크(NVLink) 기술이 적용된 엔비디아 GH200 그레이스 호퍼 슈퍼칩(Grace Hopper Superchips)을 클라우드에 도입한 최초의 클라우드 제공업체가 된다. 엔비디아 GH200 NVL32 멀티노드 플랫폼은 32개의 그레이스 호퍼 슈퍼칩과 엔비디아 NV링크 및 NV스위치(NVSwitch) 기술을 하나의 인스턴스로 연결한다. 이 플랫폼은 아마존 EC2(Elastic Compute Cloud) 인스턴스에서 사용할 수 있다. GH200 NVL32가 탑재된 단일 아마존 EC2 인스턴스는 최대 20TB의 공유 메모리를 제공함으로써 테라바이트 규모의 워크로드를 지원하며, AWS의 3세대 EFA 인터커넥트를 통해 슈퍼칩당 최대 400Gbps의 저지연, 고대역폭 네트워킹 처리량을 제공한다.      그리고, 엔비디아의 서비스형 AI 훈련인 엔비디아 DGX 클라우드(DGX Cloud)가 AWS에 호스팅된다. 이는 GH200 NVL32를 탑재한 DGX 클라우드로 개발자에게 단일 인스턴스에서 큰 공유 메모리를 제공한다. 엔비디아 DGX 클라우드는 기업이 복잡한 LLM(대규모 언어 모델)와 생성형 AI 모델을 훈련하기 위한 멀티노드 슈퍼컴퓨팅에 빠르게 액세스할 수 있도록 지원하는 AI 슈퍼컴퓨팅 서비스이다. AWS의 DGX 클라우드는 1조 개 이상의 파라미터에 이르는 최첨단 생성형 AI와 대규모 언어 모델의 훈련을 가속화하며, 이를 통해 통합된 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어와 함께 엔비디아 AI 전문가에게 직접 액세스할 수 있다. 한편, 엔비디아와 AWS는 세계에서 가장 빠른 GPU 기반 AI 슈퍼컴퓨터를 구축하기 위해 프로젝트 세이바(Project Ceiba)에서 협력하고 있다. 이 슈퍼컴퓨터는 엔비디아의 리서치와 개발팀을 위해 AWS가 호스팅하는 GH200 NVL32와 아마존 EFA 인터커넥트를 갖춘 대규모 시스템이다. 이는 1만 6384개의 엔비디아 GH200 슈퍼칩을 탑재하고 65 엑사플롭(exaflops)의 AI를 처리할 수 있다. 엔비디아는 이 슈퍼컴퓨터를 연구 개발에 활용해 LLM, 그래픽과 시뮬레이션, 디지털 생물학, 로보틱스, 자율주행 자동차, 어스-2(Earth-2) 기후 예측 등을 위한 AI를 발전시킬 계획이다. 이외에도, AWS는 세 가지의 새로운 아마존 EC2 인스턴스를 추가로 출시할 예정이다. 여기에는 대규모 최첨단 생성형 AI와 HPC 워크로드를 위한 엔비디아 H200 텐서 코어(Tensor Core) GPU 기반의 P5e 인스턴스가 포함된다. P5e 인스턴스에 탑재된 H200 GPU는 141GB의 HBM3e GPU 메모리를 제공하며, 최대 3200Gbps의 EFA 네트워킹을 지원하는 AWS 니트로 시스템을 결합해 최첨단 모델을 지속적으로 구축, 훈련, 배포할 수 있다. 또한 G6와 G6e 인스턴스는 각각 엔비디아 L4 GPU와 엔비디아 L40S GPU를 기반으로 하며 AI 미세 조정, 추론, 그래픽과 비디오 워크로드와 같은 애플리케이션에 적합하다. 특히 G6e 인스턴스는 생성형 AI 지원 3D 애플리케이션을 연결하고 구축하기 위한 플랫폼인 엔비디아 옴니버스(Omniverse)를 통해 3D 워크플로, 디지털 트윈과 기타 애플리케이션을 개발하는 데 적합하다. AWS의 아담 셀립스키(Adam Selipsky) CEO는 “AWS와 엔비디아는 세계 최초의 GPU 클라우드 인스턴스를 시작으로 13년 이상 협력해 왔다. 오늘날 우리는 그래픽, 게이밍, 고성능 컴퓨팅, 머신러닝, 그리고 이제 생성형 AI를 포함한 워크로드를 위한 가장 광범위한 엔비디아 GPU 솔루션을 제공한다. 우리는 차세대 엔비디아 그레이스 호퍼 슈퍼칩과 AWS의 강력한 네트워킹, EC2 울트라클러스터의 하이퍼스케일 클러스터링, 니트로의 고급 가상화 기능을 결합해 AWS가 GPU를 실행하기 가장 좋은 환경이 될 수 있도록 엔비디아와 함께 지속적으로 혁신하고 있다”고 말했다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “생성형 AI는 클라우드 워크로드를 혁신하고 가속 컴퓨팅을 다양한 콘텐츠 생성의 기반에 도입하고 있다. 모든 고객에게 비용 효율적인 최첨단 생성형 AI를 제공한다는 목표로, 엔비디아와 AWS는 전체 컴퓨팅 스택에 걸쳐 협력하고 있다. 이로써 AI 인프라, 가속 라이브러리, 기반 모델부터 생성형 AI 서비스를 확장한다”고 전했다.