엔비디아가 인텔과 협력해 AI 컴퓨팅 효율성 극대화에 나선다고 밝혔다. 엔비디아의 AI 플랫폼을 위한 서버 시스템에 인텔이 최근 출시한 데이터센터용 CPU인 4세대 제온 스케일러블 프로세서를 탑재한다는 것이 주요 내용이다.

인공지능(AI)은 코로나 백신을 빠른 속도로 개발했을 뿐만 아니라 암 진단, 자율주행 자동차 동력 공급, 기후 변화 분석 등 인류를 변화시키는 혁신의 핵심이 됐다. 한편으로 신경망이 복잡해지면서 기술은 더욱 자원 집약적으로 변화했다. 따라서 최대한 효율적인 기반 기술이 필요한데, 이러한 기술은 컴퓨터 인프라 운영에 필요한 전력 생산이 지속 불가능한 수준이 되지 않도록 예방한다.

엔비디아는 자사의 GPU와 AI 플랫폼으로 구동되는 가속 컴퓨팅을 통해 데이터센터가 지속적으로 차세대 혁신을 이어갈 수 있도록 효율성을 제공한다는 계획이다. 여기에 4세대 인텔 제온 스케일러블 프로세서를 활용해 높은 에너지 효율성을 가진 AI로 구축된 차세대 가속 컴퓨팅 시스템을 제작할 수 있다는 것이 엔비디아의 설명이다. 엔비디아 H100 텐서 코어(Tensor Core) GPU와 결합된 이 시스템은 이전 세대보다 뛰어난 성능, 큰 규모, 높은 효율성을 제공해, 와트당 더 높은 연산 성능과 문제 해결 능력을 제공한다.

새로운 인텔 CPU는 엔비디아 DGX H100 시스템을 비롯해 H100 GPU를 탑재한 60개 이상의 서버에 사용될 계획이다. 인텔의 새로운 CPU가 탑재된 엔비디아 시스템을 통해 기업들은 기존 CPU 전용 데이터센터 서버 대비 평균 25배 높아진 효율성으로 워크로드를 실행할 수 있다. 와트당 제공되는 성능이 향상되었다는 것은 작업을 마치는 데 필요한 전력이 적게 소요된다는 뜻이다. 따라서 데이터센터에 쓰이는 전력을 최대한 효율적으로 사용해 가장 중요한 작업에 힘을 쏟을 수 있게 해준다. 엔비디아는 "신세대 엔비디아 가속 서버가 훈련과 추론 속도를 높이기 때문에 이전 세대의 가속 시스템 대비 에너지 효율성을 3.5배 높여준다. 다시 말해 AI 데이터센터는 총 소유 비용(TCO)을 3배 이상 절감한다"고 설명했다.

한편, 4세대 인텔 제온 CPU의 기능 중 하나는 PCIe Gen 5를 지원하는 것이다. 이는 CPU에서 엔비디아 GPU와 네트워킹으로의 데이터 전송 속도를 두 배로 높인다. PCIe 레인(lane)이 증가하면 각 서버 내에서 GPU와 고속 네트워킹의 밀도가 향상된다. 또한 빨라진 메모리 대역폭으로 AI처럼 데이터 집약적인 워크로드의 성능을 향상시킨다. 여기에 연결 당 최대 400Gbps(초당 기가비트)의 네트워킹 속도로 서버와 스토리지 간의 데이터 전송 속도를 높였다.

목적 기반 AI 인프라인 4세대 엔비디아 DGX H100 시스템은 가속 데이터센터의 운영 체제인 엔비디아 베이스 코멘드(Base Command) 소프트웨어를 기반으로 최적화된 플랫폼을 제공한다. DGX H100 시스템에는 각각 8개의 엔비디아 H100 GPU, 10개의 엔비디아 ConnectX-7 네트워크 어댑터 및 듀얼 4세대 인텔 제온 스케일러블 프로세서를 갖추고 있다. 다라서 대규모 생성 AI 모델, 대형 언어 모델, 추천 시스템 등을 구축하는 데 필요한 성능을 제공한다.

엔비디아 네트워킹과 결합된 이 시스템은 이전 세대보다 최대 9배 더 높은 성능을 제공한다. 또한 AI 훈련 및 HPC 워크로드에 대해 가속화되지 않은 X86 듀얼 소켓 서버보다 20배에서 40배 더 높은 성능을 제공해 규모에 맞게 컴퓨팅을 효율적으로 만든다. 엔비디아는 "이전에는 언어 모델을 X86 전용 서버 클러스터에서 훈련시키는 데 40일이 필요했지만, 인텔 제온 CPU와 ConnectX-7 구동 네트워킹을 사용하는 엔비디아 DGX H100에서 동일한 작업을 완료하는 데는 불과 하루 이틀 밖에 소요되지 않는다"고 설명했다.

엔비디아에 따르면, H100 GPU와 4세대 인텔 제온 스케일러블 CPU를 갖춘 시스템은 에이수스, 아토스, 시스코, 델 테크놀로지스, 후지쯔, 기가바이트, 휴렛팩커드 엔터프라이즈, 레노버, QCT, 슈퍼마이크로, 인스퍼 등의 엔비디아 파트너에서 출시될 예정이다.