엔비디아가 오픈AI(OpenAI)와 전략적 파트너십을 체결했다고 밝혔다. 양사는 이번 파트너십의 일환으로 오픈AI의 차세대 AI 인프라 구축을 위해 최소 10GW(기가와트) 규모의 엔비디아 시스템을 도입한다는 의향서를 발표했다. 이번 협력으로 오픈AI는 차세대 모델을 훈련하고, 운영하며, 슈퍼인텔리전스 배포를 위한 기반을 마련하게 된다. 엔비디아는 데이터센터와 전력 용량 확보를 포함한 이번 구축을 지원하기 위해, 신규 시스템이 도입됨에 따라 오픈AI에 최대 1000억 달러를 투자할 계획이다. 첫 번째 단계는 엔비디아 베라 루빈(Vera Rubin) 플랫폼을 통해 2026년 하반기 가동을 목표로 하고 있다. 엔비디아와 오픈AI는 향후 몇 주 안에 이번 전략적 파트너십의 새로운 단계에 대한 세부 사항을 확정할 예정이다. 오픈AI는 “현재 주간 활성 사용자 수가 7억 명을 넘어섰으며, 글로벌 기업, 중소기업, 개발자 전반에서 강력한 활용도를 보이고 있다. 이번 파트너십은 오픈AI가 인류 전체에 이익이 되는 범용 인공지능(AGI) 구축이라는 사명을 추진하는 데 기여할 것”이라고 소개했다. 오픈AI는 AI 팩토리 성장 계획을 위해 전략적 컴퓨팅, 네트워킹 파트너로서 엔비디아와 협력할 예정이다. 양사는 오픈AI의 모델과 인프라 소프트웨어와 엔비디아의 하드웨어와 소프트웨어에 대한 로드맵을 공동 최적화해 나갈 것이다. 이번 파트너십은 오픈AI와 엔비디아가 이미 마이크로소프트, 오라클, 소프트뱅크, 스타게이트 등 파트너사를 비롯한 여러 협력사와 추진 중인 작업을 보완한다. 이를 통해 양사는 세계 최고 수준의 AI 인프라 구축을 위해 한층 더 속도를 낼 계획이다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “엔비디아와 오픈AI는 지난 10년간 최초의 DGX 슈퍼컴퓨터부터 챗GPT(ChatGPT)의 혁신에 이르기까지 서로를 함께 견인해왔다. 이번 투자와 인프라 파트너십은 차세대 인텔리전스 시대를 이끌 10GW 규모의 인프라 구축이라는 다음 도약을 의미한다”고 말했다. 오픈AI의 샘 알트만(Sam Altman) CEO는 “모든 것은 컴퓨팅에서 시작된다. 컴퓨팅 인프라가 미래 경제의 기반이 될 것이며, 우리는 엔비디아와 함께 구축 중인 인프라를 활용해 새로운 AI 혁신을 창출하고, 이를 사람과 기업이 대규모로 활용할 수 있도록 할 것”이라고 말했다.

아마존웹서비스(AWS)는 추론 모델과 에이전틱 AI 시스템(Agentic AI systems) 등 새로운 생성형 AI 발전을 가속화하기 위해, 엔비디아 그레이스 블랙웰 슈퍼칩(NVIDIA Grace Blackwell Superchips)으로 구동되는 P6e-GB200 울트라서버(P6e-GB200 UltraServers)를 출시했다고 밝혔다. P6e-GB200 울트라서버는 크고 정교한 AI 모델의 훈련과 배포를 위해 설계되었다. AWS는 올해 초, 다양한 AI 및 고성능 컴퓨팅(HPC) 워크로드를 위해 엔비디아 블랙웰 GPU로 구동되는 P6-B200 인스턴스(P6-B200 Instances)를 출시한 바 있다. P6e-GB200 울트라서버는 현재 AWS가 제공하는 가장 강력한 GPU 제품으로, 최대 72개의 엔비디아 블랙웰 GPU를 탑재하고, 5세대 엔비디아 NV링크(NVIDIA NVLink)를 통해 상호 연결된 단일 컴퓨팅 유닛으로 작동한다. 각 울트라서버는 360페타플롭스(petaflops)의 FP8 고밀도 컴퓨팅과 13.4테라바이트(TB)의 총 고대역폭 GPU 메모리(HBM3e)를 제공한다. 이는 P5en 인스턴스와 비교하여 단일 NV링크 도메인에서 20배 이상의 컴퓨팅 성능과 11배 이상의 메모리를 제공한다. P6e-GB200 울트라서버는 4세대 일래스틱 패브릭 어댑터(Elastic Fabric Adapter : EFAv4) 네트워킹으로 최대 초당 28.8테라비트(Tbps)의 통합 대역폭을 지원한다. P6-B200 인스턴스는 다양한 AI 활용 사례에 유연하게 대응할 수 있는 옵션이다. 각 인스턴스는 NV링크로 상호 연결된 8개의 엔비디아 블랙웰 GPU와 1.4TB의 고대역폭 GPU 메모리, 최대 3.2Tbps의 EFAv4 네트워킹, 5세대 인텔 제온 스케일러블 프로세서(Intel Xeon Scalable processors)를 제공한다. 또한, P6-B200 인스턴스는 P5en 인스턴스와 비교하여 최대 2.25배 향상된 GPU 테라플롭스(TFLOPs) 연산 성능, 1.27배의 GPU 메모리 크기, 1.6배의 GPU 메모리 대역폭을 제공한다. AWS는 사용자의 구체적인 워크로드 요구사항과 아키텍처 요구사항에 따라 P6e-GB200과 P6-B200를 선택해야 한다고 전했다. P6e-GB200 울트라서버는 조 단위 매개변수(trillion-parameter) 규모의 프론티어 모델 훈련 및 배포와 같은 컴퓨팅 및 메모리 집약적인 AI 워크로드에 적합하다. 엔비디아 GB200 NVL72 아키텍처는 이러한 규모에서 성능을 발휘한다. 72개의 GPU가 통합된 메모리 공간과 조정된 워크로드 분산을 통해 단일 시스템으로 작동할 때, 이 아키텍처는 GPU 노드 간 통신 오버헤드를 줄여 더 효율적인 분산 훈련을 가능하게 한다.  추론 워크로드의 경우, 1조 개 파라미터 모델을 단일 NV링크 도메인 내에 완전히 포함할 수 있어 대규모 환경에서도 더 빠르고 일관된 응답 시간을 제공한다. P6-B200 인스턴스는 광범위한 AI 워크로드를 지원하며 중대형 규모의 훈련 및 추론 워크로드에 적합하다. 기존 GPU 워크로드를 이식하려는 경우, P6-B200 인스턴스는 코드 변경을 최소화하고 현재 세대 인스턴스로부터의 마이그레이션을 간소화하는 친숙한 8-GPU 구성을 제공한다. 또한 엔비디아의 AI 소프트웨어 스택이 Arm과 x86 모두에 최적화되어 있지만, 워크로드가 x86 환경에 특별히 구축된 경우 인텔 제온 프로세서를 사용하는 P6-B200 인스턴스가 효과적인 선택이 될 것이다. 한편, AWS는 3세대 EC2 울트라클러스터(EC2 UltraClusters)에 P6e-GB200 울트라서버를 배포하여, 가장 큰 데이터센터들을 포괄할 수 있는 단일 패브릭을 구현했다고 전했다. 3세대 울트라클러스터는 전력 소모를 최대 40% 줄이고 케이블링 요구사항을 80% 이상 줄여 효율성을 높이는 동시에, 장애 가능성을 유발하는 요소를 감소시킨다. 이러한 대규모 환경에서 일관된 성능을 제공하기 위해, AWS는 SRD(Scalable Reliable Datagram) 프로토콜을 사용하는 EFA(Elastic Fabric Adapter)를 활용한다. 여러 네트워크 경로를 지능적으로 활용해 트래픽을 분산시켜, 혼잡이나 장애 상황에서도 원활한 운영을 유지한다. AWS는 4세대에 걸쳐 EFA의 성능을 지속적으로 개선해 왔다. EFAv4를 사용하는 P6e-GB200과 P6-B200 인스턴스는 EFAv3을 사용하는 P5en 인스턴스와 비교하여 분산 훈련에서 최대 18% 더 빠른 집합 통신 성능을 보여준다. P6-B200 인스턴스는 검증된 공기 냉각 인프라를 사용하는 반면, P6e-GB200 울트라서버는 액체 냉각 방식을 사용하여 대규모 NV링크 도메인 아키텍처에서 더 높은 컴퓨팅 밀도를 가능하게 하고 더 높은 시스템 성능을 제공한다. P6e-GB200은 새로운 기계식 냉각 솔루션을 적용한 액체 냉각 방식으로 설계되었다. 이 시스템은 신규 및 기존 데이터 센터 모두에서 칩 수준까지 냉각이 가능한 유연한 액체-칩(liquid-to-chip) 냉각 방식을 제공한다. 이를 통해 하나의 시설 내에서 액체 냉각 방식의 가속기와 공랭 방식의 네트워크 및 스토리지 인프라를 함께 운영할 수 있다. 이러한 유연한 냉각 설계를 통해 AWS는 낮은 비용으로 높은 성능과 효율을 제공할 수 있다. AWS는 “아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod), 아마존 EKS(Amazon EKS), AWS에 탑재된 엔비디아 DGX 클라우드 등 여러 배포 경로를 통해 P6e-GB200 울트라서버와 P6-B200 인스턴스를 간편하게 시작할 수 있도록 했으며, 조직에 가장 적합한 운영 모델을 유지하면서 블랙웰 GPU 사용을 신속하게 시작할 수 있다”고 밝혔다.