데이터 클라우드 기업 스노우플레이크가 높은 개방성과 성능을 내세운 엔터프라이즈급 대규모 언어 모델(LLM)인 ‘스노우플레이크 아크틱(Snowflake Arctic)’을 출시했다. 스노우플레이크의 전문가혼합(MoE) 방식으로 설계된 아크틱은 기업의 복잡한 요구사항 처리에도 최적화되어 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다. 특히 아크틱은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 개방 표준을 제안했다. 또한 아크틱 LLM은 스노우플레이크 아크틱 모델군(Snowflake Arctic model family)의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다. 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아 NIM, 텐서RT-LLM(TensorRT-LLM), vLLM, 허깅페이스(Hugging Face) 등 기업이 선호하는 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다. 스노우플레이크 코텍스(Snowflake Cortex)에서는 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스, 라미니(Lamini), 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티(Perplexity), 투게더 AI(Together AI) 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다.     스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것이 더욱 쉬워진다.  아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드(Arctic embed)도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다. 5가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용할 수 있으며, 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 높은 검색 성능을 발휘하도록 최적화되어, 기업들이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 효과적이고 경제적인 솔루션을 제공한다. 스노우플레이크의 슈리다 라마스워미(Sridhar Ramaswamy) CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”면서, “스노우플레이크는 오픈소스로 업계 최고 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다. 고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공할 수 있는 스노우플레이크의 AI 역량도 높아지고 있다”고 말했다.

엔비디아가 새로운 엔비디아 RTX A400과 RTX A1000 GPU를 통해 RTX 전문가용 그래픽 제품을 확장하고, 디자인을 비롯한 AI 기반 생산성 워크플로를 강화한다고 밝혔다. 디자인과 생산성 애플리케이션 전반에 걸친 AI 통합이 새로운 기준으로 자리잡으면서 고급 컴퓨팅 성능에 대한 수요가 증가하고 있다. 즉, 전문가와 크리에이터들은 프로젝트의 규모와 복잡성 또는 범위에 관계없이 향상된 컴퓨팅 성능을 활용해야 한다. 엔비디아 암페어(Ampere) 아키텍처 기반의 RTX A400과 RTX A1000 GPU는 이렇게 증가하는 수요를 충족하기 위해 개발됐으며, AI와 레이 트레이싱 기술에 대한 접근성을 확대해 전문가들이 일상적인 워크플로를 혁신하는데 필요한 도구를 제공한다.   ▲ 엔비디아 RTX A400   RTX A400 GPU는 RTX 400 시리즈 GPU에 가속화된 레이 트레이싱과 AI를 도입했다. 이 GPU는 AI 처리를 위한 24개의 텐서 코어(Tensor Cores)를 탑재해 기존 CPU 기반 솔루션을 넘는 성능을 제공한다. 이를 통해 전문가들은 지능형 챗봇, 코파일럿과 같은 최첨단 AI 애플리케이션을 데스크톱에서 직접 실행할 수 있다. 또한 GPU는 실시간 레이 트레이싱을 제공하므로 크리에이터는 생생하고 물리적 정확도가 높은 3D 렌더링을 제작할 수 있다. A400은 시리즈 최초로 4개의 디스플레이 출력을 지원해 금융 서비스, 명령과 제어, 유통, 운송과 같은 산업에 필수적인 고밀도 디스플레이 환경에 적합하다.   ▲ 엔비디아 RTX A1000   엔비디아 RTX A1000 GPU는 RTX 1000 시리즈 GPU에 처음으로 텐서 코어와 RT 코어를 도입했다. 이를 통해 전문가와 크리에이터를 위한 가속화된 AI와 레이 트레이싱 성능을 제공한다. A1000은 72개의 텐서 코어를 탑재해 이전 세대에 비해 업그레이드된 성능을 갖췄다. 스테이블 디퓨전(Stable Diffusion)과 같은 도구에서 3배 이상 빠른 생성형 AI 프로세싱을 제공하며, 18개의 RT 코어는 그래픽과 렌더링 작업 속도를 최대 3배까지 높여 2D와 3D CAD, 제품과 건축 설계, 4K 비디오 편집과 같은 전문적인 워크플로를 가속화한다. 더불어 A1000은 이전 세대보다 최대 38% 더 많은 인코딩 스트림을 처리하고 2배 더 빠른 디코딩 성능을 제공하는 등 비디오 처리 능력을 높였다. 엔비디아 RTX A400과 A1000 GPU에 탑재된 2세대 RT 코어는 건축 도면, 3D 디자인, 콘텐츠 제작 등 모든 전문 워크플로를 위한 실시간 레이 트레이싱, 사실적인 물리 기반 렌더링과 시각화, 정확한 조명과 그림자 시뮬레이션으로 작업 품질을 높일 수 있다. 3세대 텐서 코어는 생성형 AI, 이미지 렌더링 노이즈 제거, 딥러닝 슈퍼 샘플링과 같은 AI 증강 도구와 애플리케이션을 가속화해 이미지 생성 속도와 품질을 개선한다. 암페어 아키텍처 기반의 쿠다(CUDA) 코어는 이전 세대 대비 최대 2배의 단정밀도 부동 소수점 처리량으로 그래픽과 컴퓨팅 워크로드의 속도를 크게 높인다. A400 GPU의 4GB와 A1000 GPU의 8GB GPU 메모리는 다양한 전문가용 요구 사항을 충족한다. 여기에는 기본적인 그래픽 디자인과 사진 편집부터 텍스처나 고해상도 편집, 데이터 분석이 필요한 까다로운 3D 모델링 등이 포함된다. 또한 이 GPU들은 이전 세대보다 메모리 대역폭이 증가해 데이터를 더 빠르게 처리하고 대용량 데이터 세트와 장면을 더 원활하게 처리할 수 있다. 7세대 인코드(NVENC)와 5세대 디코드(NVDEC) 엔진을 탑재한 새 GPU는 효율적인 비디오 처리를 기능을 제공한다. 이를 통해 초저지연으로 고해상도 비디오 편집, 스트리밍, 재생을 지원한다. 또한 AV1 디코드가 포함돼 더 많은 비디오 포맷을 더 효율적이고 원활하게 재생할 수 있다. A400과 A1000 GPU는 싱글 슬롯 디자인에 전력소비량이 50W에 불과하며, 콤팩트하고 에너지 효율적인 워크스테이션에 인상적인 기능을 제공한다.  엔비디아는 새로운 GPU가 최첨단 AI, 그래픽, 컴퓨팅 기능 등을 통해 사용자의 생산성을 높이고 창의적인 가능성을 열어준다고 전했다. 레이 트레이싱 렌더링과 AI가 포함된 고급 워크플로를 통해 전문가들은 작업의 한계를 뛰어넘고 놀라운 수준의 사실감을 구현할 수 있다. 기획 담당자들은 강력하고 에너지 효율적인 새로운 컴퓨팅 솔루션을 에지 배포에 사용할 수 있다. 크리에이터는 편집과 렌더링 속도를 높여 더욱 풍부한 시각적 콘텐츠를 제작할 수 있다. 건축가와 엔지니어는 아이디어를 3D CAD 개념에서 실제 디자인으로 원활하게 전환할 수 있다. 스마트 공간에서 작업하는 경우에는 공간 제약이 있는 환경에서 실시간 데이터 처리, AI 기반 보안, 디지털 사이니지 관리 등에 GPU를 사용할 수 있다. 또한 의료 전문가들은 더 빠르고 정밀한 의료 영상 분석을 수행할 수 있다.

엔비디아가 구글 클라우드와 협력을 통해 전 세계 스타트업의 생성형 AI 애플리케이션과 서비스 개발 가속화를 지원한다고 발표했다. 양사의 이번 협력은 다양한 규모의 기업이 생성형 AI 애플리케이션을 개발하는데 드는 비용을 절감하고 장벽을 완화하기 위해 공개된 일련의 발표들 중 가장 최근에 이뤄진 것이다.  특히 스타트업은 AI 투자에 대한 높은 비용으로 인해 많은 제약을 받고 있다. 이번 협업으로 엔비디아와 구글 클라우드는 클라우드 크레딧, 시장 진출 지원, 그리고 기술 전문 지식에 대한 접촉 기회 확대를 통해 고객에게 더 빠르게 스타트업의 가치를 제공하도록 지원한다. 1만 8000개 이상의 스타트업을 지원하는 엔비디아 인셉션 글로벌 프로그램의 회원은 특히 AI에 중점을 둔 스타트업의 경우 최대 35만 달러의 구글 클라우드 크레딧을 제공받고 구글 클라우드 인프라 사용 가속화 경로를 확보할 수 있다. 구글 포 스타트업 클라우드 프로그램 멤버는 엔비디아 인셉션에 가입해 기술 전문 지식, 엔비디아 딥 러닝 인스티튜트(Deep Learning Institute) 과정 크레딧, 엔비디아 하드웨어와 소프트웨어 등을 이용할 수 있다. 또한 구글 포 스타트업 클라우드 프로그램의 스타트업 회원은 해당 분야에 관심이 있는 벤처 투자 기관에 노출될 기회를 주는 엔비디아 인셉션 캐피탈 커넥트(Inception Capital Connect) 플랫폼에 참여할 수 있다. 두 프로그램 모두에서 급성장한 신생 소프트웨어 제조업체는 구글 클라우드 마켓플레이스(Marketplace) 등록해 공동 마케팅, 제품 개발 가속화 지원을 우선적으로 받을 수 있다.     구글 딥마인드(DeepMind)는 지난 2월 최첨단 개방형 모델 제품군 젬마(Gemma)를 공개했는데,  엔비디아는 최근 구글과 협력해 모든 젬마 전용 엔비디아 AI 플랫폼에 대한 최적화를 실시했다. 젬마는 구글 딥마인드의 가장 뛰어난 모델인 제미나이(Gemini) 제작에 사용된 동일한 연구와 기술로 구축됐다. 양사의 긴밀한 협력으로 거대 언어 모델(LLM) 추론 최적화를 위한 오픈 소스 라이브러리 엔비디아 텐서RT-LLM(TensorRT-LLM)을 통해 엔비디아 GPU로 젬마를 실행, 젬마의 성능을 발전시켰다. 젬마 7B(Gemma 7B), 리커런트젬마(RecurrentGemma), 코드젬마(CodeGemma)를 포함한 젬마 모델 제품군은 엔비디아 API 카탈로그에서 사용 가능하며, 사용자는 이를 브라우저에서 사용하거나, API 엔드포인트로 프로토타입을 제작하거나, NIM을 통한 셀프 호스팅을 할 수 있다. 구글 클라우드를 사용하면 GKE와 구글 클라우드 HPC 툴킷으로 플랫폼 전반에 엔비디아 네모(NeMo) 프레임워크를 배포하기 쉬워진다. 이를 통해 개발자는 생성형 AI 모델의 훈련과 제공을 확장하고 자동화할 수 있으며, 개발 과정에 빠르게 착수하는 맞춤형 청사진을 통해 턴키 환경을 신속히 구축할 수 있다. 엔비디아 AI 엔터프라이즈의 일부인 엔비디아 네모는 구글 클라우드 마켓플레이스에서도 이용 가능하다. 이를 통해 고객들은 네모 및 기타 프레임워크에 쉽게 액세스해 AI 개발을 가속할 수 있다. 구글 클라우드는 엔비디아 생성형 AI 가속 컴퓨팅의 가용성 확대를 위해 5월 A3 메가(Mega)의 정식 출시를 발표했다. 이 인스턴스는 엔비디아 H100 텐서 코어(H100 Tensor Core) GPU로 구동되는 A3 가상 머신(VM) 제품군의 확장으로, A3 VM에서 GPU 대 GPU 네트워크 대역폭이 두 배로 늘었다. A3에 탑재된 구글 클라우드의 새로운 컨피덴셜(Confidential) VM에는 컨피덴셜 컴퓨팅에 대한 지원도 포함돼 있어, 고객이 H100 GPU 가속에 액세스하는 동안 코드를 변경하지 않고도 민감 데이터의 기밀성과 무결성을 보호하고 학습과 추론 도중 애플리케이션과 AI 워크로드를 보호할 수 있다. 이 GPU 기반 컨피덴셜 VM은 올해 미리보기로 제공될 예정이다. 한편, 블랙웰(Blackwell) 플랫폼에 기반한 엔비디아의 최신 GPU는 2025년 초에 엔비디아 HGX B200과 엔비디아 GB200 NVL72 등 두 가지 버전으로 구글 클라우드에 출시될 예정이다. HGX B200은 가장 까다로운 AI, 데이터 분석 그리고 고성능 컴퓨팅 워크로드를 위해 설계됐으며, GB200 NVL72는 차세대, 대규모, 조 단위의 매개변수 모델 학습과 실시간 추론을 위해 설계됐다. 엔비디아 GB200 NVL72는 각각 2개의 엔비디아 블랙웰 GPU와 엔비디아 그레이스 CPU(Grace CPU)가 결합된 36개의 그레이스 블랙웰 슈퍼칩을 900GB/s의 칩투칩(chip-to-chip) 인터커넥트를 통해 연결한다. 이는 하나의 엔비디아 NV링크(NVLink) 도메인에서 최대 72개의 블랙웰 GPU와 130TB/s의 대역폭을 지원한다. 통신 병목 현상을 극복하고 단일 GPU처럼 작동해 이전 세대 대비 30배 빠른 실시간 LLM 추론과 4배 빠른 트레이닝을 제공한다. 엔비디아는 지난 3월 생성형 AI의 요구사항에 최적화된 엔터프라이즈 개발자용 AI 플랫폼인 엔비디아 DGX 클라우드를 H100 GPU 기반의 A3 VM에서 사용할 수 있다고 발표했다. GB200 NVL72가 탑재된 DGX 클라우드는 2025년 구글 클라우드에서도 제공될 예정이다.

인텔은 연례 고객 및 파트너 콘퍼런스인 ‘인텔 비전 2024’에서 기업용 생성형 AI를 위한 성능, 개방성 및 선택권을 제공할 인텔 가우디 3(Intel Gaudi 3) 가속기를 공개했다. 그리고 이와 함께 생성형 AI 도입 가속화를 위한 새로운 개방형 스케일러블 시스템 스위트, 차세대 제품 및 전략적 협력도 발표했다.  인텔 가우디 3 AI 가속기는 공통 표준을 따르는 이더넷을 통해 최대 수만 개의 가속기를 연결해 AI 시스템을 구동한다. 인텔 가우디 3는 BF16에 대해 4배 더 많은 AI 컴퓨팅 및 기존 모델 대비 1.5배 커진 메모리 대역폭을 지원한다. 인텔은 “이 가속기는 생성형 AI를 대규모로 배포하려는 글로벌 기업에게 AI 학습 및 추론 분야에서 획기적인 도약을 지원할 수 있다”고 설명했다.   ▲ 인텔 팻 겔싱어 CEO   인텔은 가우디 3가 70억 개 및 130억 개의 매개변수가 있는 라마2(Llama2) 모델과 GPT-3 1750억개 매개변수 모델 전체에서 엔비디아 H100보다 평균 50% 더 빠른 학습 시간을 제공할 것으로 예상하고 있다. 또한 인텔 가우디 3 가속기 추론 처리량은 평균적으로 H100보다 50%, 전력 효율성의 경우 라마(Llama) 70억 개 및 700억 개 매개변수와 팔콘(Falcon) 1800억 개 매개변수 모델에서 평균 40% 더 우수할 것으로 예상한다. 인텔 가우디 3는 개방형 커뮤니티 기반 소프트웨어와 업계 표준 이더넷 네트워킹을 제공한다. 또한 기업은 싱글 노드에서 클러스터, 슈퍼 클러스터, 수천 개의 노드가 있는 메가 클러스터로 유연하게 확장할 수 있으며, 최대 규모의 추론, 미세 조정 및 학습을 지원한다. 인텔 가우디 3는 2024년 2분기에 델 테크놀로지스, HPE, 레노버, 슈퍼마이크로를 비롯한 OEM 시스템에 탑재될 예정이다. 또한 인텔은 하드웨어, 소프트웨어, 프레임워크, 툴 등을 포함한 개방형 스케일러블 AI 시스템에 대한 전략을 제시했다. 인텔의 이러한 접근법은 기업별 생성형 AI 요구 사항을 충족하는 솔루션을 제공하기 위한 것으로, 다양하고 개방적인 AI 생태계를 가능케 한다. 여기에는 장비 제조업체, 데이터베이스 공급자, 시스템 통합업체, 소프트웨어 및 서비스 공급자 등이 포함된다. 또한, 기업 고객이 이미 알고 신뢰하는 생태계 파트너 및 솔루션을 활용할 수 있는 부분도 장점으로 꼽힌다. 인텔은 다양한 업계의 기업 고객 및 파트너들과 새롭고 혁신적인 생성형 AI 응용 프로그램을 개발하기 위해 인텔 가우디를 활용해 협력하고 있다고 밝혔다. 예를 들어, 네이버는 클라우드에서부터 온디바이스까지 첨단 AI 서비스를 전세계에 배포하기 위해 강력한 LLM 모델을 개발하고 있는데, 대규모 트랜스포머 아키텍처 기반 모델의 컴퓨팅 작업을 뛰어난 와트 당 퍼포먼스로 실행하기 위해 인텔 가우디를 사용한다. 보쉬는 자사 기반 모델 개발을 포함한 스마트 제조의 가능성을 모색하고 있으며, 합성 데이터 세트 생성과 더불어 자동 광학 검사와 같은 견고하고 분산된 트레이닝 세트 제공한다. 이에 더해 구글 클라우드, 탈레스, 코히시티(Cohesity)가 클라우드 환경에서 기밀 컴퓨팅 역량을 활용할 수 있도록 인텔과의 협력을 발표했다.    인텔은 인텔 가우디 3 가속기 외에도 엔터프라이즈 AI의 모든 부문에 걸쳐 차세대 제품 및 서비스에 대한 업데이트를 발표했다. 새로운 인텔 제온 6 프로세서는 폐쇄적 데이터를 사용하여 비즈니스에 특화된 결과를 생성하는 RAG를 포함한 최신 생성형 AI 솔루션을 실행할 수 있다. 2024년 출시될 차세대 인텔 코어 울트라 클라이언트 프로세서 제품군(코드명 루나레이크)은 차세대 AI PC를 위해 플랫폼 기준 100 TOPS 이상, NPU에서 45TOPS 이상을 제공할 예정이다. 인텔은 울트라 이더넷 컨소시엄(UEC)을 통해 AI 패브릭을 위한 개방형 이더넷 네트워킹을 선도하며 다양한 AI 최적화 이더넷 솔루션을 선보이고 있다.  인텔의 팻 겔싱어(Pat Gelsinger) CEO는 “혁신은 전례 없는 속도로 발전하고 있으며, 반도체가 이 모든 것을 가능하게 한다. 또한 모든 기업이 빠르게 AI 기업으로 거듭나고 있다”면서, “인텔은 PC부터 데이터센터, 에지에 이르기까지 기업 전반의 모든 곳에 AI를 가능하게 하고 있다. 인텔의 최신 가우디, 제온 및 코어 Ultra 플랫폼은 변화하는 고객과 파트너의 요구를 충족하고 앞으로의 엄청난 기회를 활용할 수 있도록  유연한 솔루션 세트를 제공하고 있다”고 밝혔다.

슈나이더 일렉트릭이 엔비디아와 데이터센터 인프라 최적화 및 디지털 트윈 기술 기반 마련을 위한 파트너십을 체결했다고 밝혔다. AI 애플리케이션이 산업 전반에 걸쳐 주목을 받고 있는 동시에, 기존 컴퓨팅보다 더 많은 리소스에 대한 수요가 높아지며 처리 능력에 대한 필요성이 기하급수적으로 증가하고 있다. 특히 데이터센터 설계와 운영이 눈에 띄게 변화하고 복잡해지면서, 업계에서는 운영의 효율성과 확장성을 모두 갖춘 안정적인 데이터센터 시스템을 신속하게 구축하고 운영하기 위해 노력하고 있다. 슈나이더 일렉트릭은 이번 파트너십을 통해 엔비디아의 첨단 AI 기술과 자사의 데이터센터 인프라에 대한 전문성을 바탕으로 데이터센터 레퍼런스 디자인을 출시해 업계 전반에 공개할 예정이다. 슈나이더 일렉트릭은 데이터센터 에코시스템 내 AI 배포 및 운영의 기준을 재정의함으로써 업계 발전의 중요한 이정표가 될 것으로 전망하고 있다.     슈나이더 일렉트릭은 데이터 처리, 엔지니어링 시뮬레이션, 전자 설계 자동화 등을 위해 구축된 엔비디아의 가속 컴퓨터 클러스터에 최적화된 데이터센터 레퍼런스 디자인을 소개할 예정이다. 이 디자인은 특히 고밀도 클러스터를 위한 간략 시운전과 안정적인 운영을 보장하는 고전력 분배, 액체 냉각 시스템 및 제어 기능을 구현하는데 중점을 뒀다. 슈나이더 일렉트릭은 이번 협력으로 AI 솔루션을 데이터센터 인프라에 원활하게 통합하고, 효율  및 안정적인 수명 주기를 보장하는데 필요한 도구 및 리소스를 제공하는 것을 목표로 한다고 밝혔다. 슈나이더 일렉트릭이 제공하는 데이터센터 레퍼런스 디자인은 파트너, 엔지니어 및 기업이 기존 데이터센터 운영에 참고할 수 있으며, 고밀도 AI 서버 및 액체 냉각AI 클러스터에 최적화된 새로운 데이터센터를 구축하는데도 활용할 수 있다. 또한 슈나이더 일렉트릭은 자회사인 아비바의 디지털 트윈 플랫폼을 엔비디아 옴니버스(NVIDIA Omniverse)에 연결해 가상 시뮬레이션 및 협업을 위한 통합 환경을 제공할 예정이다. 이 환경에서 설계자, 엔지니어 및 데이터센터 운영자는 상호 원활한 협업을 할 수 있으며, 복잡한 시스템의 설계 및 구축을 가속화하는 동시에 출시 기간과 비용을 절감할 수 있다. 엔비디아의 이안 벅(Ian Buck) 하이퍼스케일 및 HPC 부분 부사장은 “슈나이더 일렉트릭과의 협력을 통해 우리는 차세대 엔비디아 가속 컴퓨팅 기술을 사용해 AI 데이터센터 설계를 제공하게 됐다”면서, “이는 조직이 AI의 잠재력을 활용하고 산업 전반에 걸쳐 혁신과 디지털 전환을 추진하는데 필요한 인프라는 제공한다”고 설명했다. 슈나이더 일렉트릭의 판카즈 샤르마(Pankaj Sharma) 시큐어파워 사업부 데이터센터 비즈니스 총괄 부사장은 “데이터센터 솔루션에 대한 슈나이더 일렉트릭의 전문성과 엔비디아의 AI 기술 리더십을 결합하여 기업이 데이터 센터 인프라의 한계를 극복하고 AI의 잠재력을 최대한 활용할 수 있도록 도울 것”이라며, “엔비디아와의 협력을 통해 보다 효율적이고 지속가능한 미래를 만드는데 큰 기여를 할 수 있을 것이라 생각한다”고 전했다.

인텔코리아가 4월 11일 여의도 FKI타워(전경련회관)에서 기자간담회를 열고, 미국 애리조나에서 4월 8일~9일(현지시간) 진행된 '인텔 비전 2024'에서 발표된 주요 내용들을 소개했다. 특히 올해 하반기에 새롭게 출시 예정인 기업용 AI를 위한 가우디 3에 대해 자세히 소개하는 시간을 마련했다. 한편 인텔은 네이버가 AI 서비스 개발을 위해 인텔의 가우디 2를 테스트베드로 사용하는데 협력하기로 했다고 전했다. ▲ 인텔 비전 2024을 소개한 국내 기자간담회 현장모습 먼저 인텔의 연례 고객 및 파트너 컨퍼런스인 인텔 비전 2024(Intel Vision 2024)에서 인텔은 기업용 생성형 AI(GenAI)를 위한 성능, 개방성 및 선택권을 제공할 인텔 가우디 3(Intel Gaudi 3) 가속기와 함께 생성형 AI 도입 가속화를 위한 새로운 개방형 스케일러블 시스템 스위트, 차세대 제품 및 전략적 협력을 발표했다.  인텔 CEO 팻 겔싱어(Pat Gelsinger)는 “혁신은 전례없는 속도로 발전하고 있으며, 반도체가 이 모든 것을 가능하게 한다. 또한 모든 기업이 빠르게 AI 기업으로 거듭나고 있다”라며 “인텔은 PC부터 데이터센터, 엣지에 이르기까지 기업 전반의 모든 곳에 AI를 가능하게 하고 있다. 인텔의 최신 가우디, 제온 및 코어 Ultra 플랫폼은 변화하는 고객과 파트너의 요구를 충족하고 앞으로의 엄청난 기회를 활용할 수 있도록  유연한 솔루션 세트를 제공하고 있다”고 밝혔다. ▲ 인텔 비전 2024에서 인텔의 새로운 비전을 소개한 인텔 팻 겔싱어(Pat Gelsinger) CEO  인텔은 기업이 생성형 AI를 파일럿 단계에서 업무에 적용하는 것으로 확장하고자 한다고 전했다. 이를 위해서는 복잡성, 단편화, 데이터 보안 및 규정 준수 요구 사항을 해결하면서 인텔 가우디 3(Intel Gaudi 3) AI 가속기와 같이 성능, 비용 및 전력 효율성이 뛰어난 프로세서를 기반으로 구축된 즉시 도입 가능한 솔루션이 필요하다고 소개했다. 인텔 가우디 3 AI 가속기는 공통 표준을 따르는 이더넷을 통해 최대 수만 개의 가속기를 연결해 AI 시스템을 구동한다. 인텔 가우디 3는 BF16에 대해 4배 더 많은 AI 컴퓨팅 및 기존 모델 대비 1.5배 커진 메모리 대역폭을 지원한다. 이 가속기는 생성형 AI를 대규모로 배포하려는 글로벌 기업에게 AI 학습 및 추론 분야에서 획기적인 도약을 지원할 수 있다. 엔비디아 H100과 비교하여 인텔 가우디 3는 70억개 및 130억개의 매개변수가 있는 라마2(Llama2) 모델과 GPT-3 1750억개 매개변수 모델 전체에서 평균3 50% 더 빠른 학습 시간을 제공할 것으로 예상한다. 또한 인텔 가우디 3 가속기 추론 처리량은 평균적으로 H100보다 50%1, 전력 효율성의 경우 라마(Llama) 70억개 및 700억개 매개변수와 팔콘(Falcon) 1800억개 매개변수 모델에서 평균 40% 더 우수할 것으로 예상한다. 인텔 가우디 3는 개방형 커뮤니티 기반 소프트웨어와 업계 표준 이더넷 네트워킹을 제공한다. 또한 기업은 싱글 노드에서 클러스터, 슈퍼 클러스터, 수천 개의 노드가 있는 메가 클러스터로 유연하게 확장할 수 있으며, 최대 규모의 추론, 미세 조정 및 학습을 지원한다. 인텔 가우디 3는 2024년 2분기에 델 테크놀로지스(Dell Technologies), HPE, 레노버(Lenovo), 슈퍼마이크로(Supermicro)를 비롯한 OEM 시스템에 탑재될 예정이다. 한편 인텔코리아 나승주 상무는 인텔 비전 2024에서 발표된 내용들을 간략히 정리해 소개하는 브리핑을 진행했다. 나승주 상무는 인텔은 기업용 AI 활성화를 위해 개방형 생태계의 힘을 적극적으로 활용할 계획이라며, 가우디 3 AI 가속기는 생성형 AI를 위한 선택권을 제공한다고 설명했다. 기업용 AI는 확장 가능한 개방형 시스템이 될 전망이라고 말했다. 또한 고객 및 파트너 모멘텀으로 네이버 등과 협력하고 있다. 또한 차세대 제품 및 서비스를 위해 가우디 3 등 제품 개발에 힘쓸 계획이라고 밝혔다. ▲ 인텔코리아 나승주 상무 이번 브리핑에 앞서 진행된 네이버와의 협력에 대해서 특별 게스트로 네이버클라우드 이동수 박사(하이퍼스케일 AI담당이사)가 온라인 참석해 협력 관계애 대한 설명과 함께 질의응답에 참여했다. 네이버클라우드 이동주 박사는 AI 반도체 평가와 분석하는 과정에서 인텔 가우디 3의 성능이 뛰어나다는 것을 알게 됐다며, AI 서비스를 지원하기 위해서는 AI 개발을 좀 더 손쉽게 하기 위해서는 소프트웨어 작업들을 많이 하고 있다고 밝혔다. 단기간에 그칠 것이 아니라 국내 스타트업들이 함께 AI 협력을 기대하고 있다고 소개했다. ▲ 네이버클라우드 이동수 박사(하이퍼스케일 AI담당이사) 

케이던스 디자인 시스템즈는 지속 가능한 데이터센터 설계와 최신화를 촉진하는 종합 AI 기반 디지털 트윈 솔루션을 출시하면서, 데이터센터 에너지 효율과 운영 용량 최적화를 지원한다고 밝혔다. 국제에너지기구(IEA)에 따르면 미국 내 데이터센터가 전기 사용 총량에서 차지하는 비중이 2023년 기준으로 4%를 넘어섰으며, 향후 수십 년간 기하급수적으로 증가할 전망이다. 케이던스의 리얼리티 디지털 트윈 플랫폼은 데이터센터 설계자 및 운영자가 데이터센터의 복잡한 시스템을 탐색하고 데이터센터 컴퓨팅 및 냉각 리소스의 비효율적인 사용에 따른 용량 부족 문제를 해결함으로써, 전력 부족 시대에 AI 기반 워크로드 최적화로 환경에 미치는 영향을 완화하는데 도움을 줄 수 있다.  케이던스의 리얼리티 디지털 트윈 플랫폼(Cadence Reality Digital Twin Platform)은 전체 데이터센터를 가상화하고 AI, 고성능 컴퓨팅(HPC) 및 물리 기반 시뮬레이션을 사용하여 데이터센터의 에너지 효율을 개선해준다. 물리적 데이터센터의 포괄적인 디지털 트윈을 생성함으로써, 진화하는 비즈니스 및 환경 관련 요구사항에 발맞춰 정밀한 인프라 계획, 분석 및 관리 능력을 제공하는 것이다.      케이던스 리얼리티 디지털 트윈 플랫폼은 모델 생성 및 시뮬레이션에 AI를 사용하여 공기 흐름, 풍속, 공기 흡입을 막는 장애물, 내/외부 온도 변화 등 데이터센터 운영에 영향을 미치는 물리적인 외부 요인을 예측한다. 고급 모델링 기능을 통해 광범위한 설계 시나리오 및 운영 전략을 시뮬레이션하고, 각 데이터센터별로 에너지 효율이 가장 큰 솔루션을 찾아낸다. 그리고, 설계 프로세스에 외부 환경 요인을 통합하여 탄력적인 개발뿐 아니라 지속 가능한 데이터센터 운영을 가능하게 한다. 이 플랫폼은 각 프로젝트의 세부 요건에 맞는 자동화된 상세 리포트를 제공하여, 잠재적인 에너지 절감 및 효율성 향상에 대한 심층적인 이해를 지원한다. 또한, 여러 냉각 시스템이 에너지 소비에 미치는 영향을 평가하여 가장 효과적인 냉각 솔루션에 대한 통찰력을 제공한다. 이외에도 케이던스의 멀티피직스(multi-physics) 솔버에 통합되어 칩렛(chiplet)에서 기후에 이르기까지 동일한 정확성을 갖는 고용량 멀티 도메인 엔진을 구현할 수 있는 것이 특징이다. 케이던스는 이 플랫폼을 통해 모든 산업서 차세대 데이터센터 및 AI 공장의 개발을 가속화할 수 있으며, 엔비디아 옴니버스(NVIDIA Omniverse) 개발 플랫폼과 통합되어 최대 30배 더 빠른 설계 및 시뮬레이션 워크플로를 구현할 수 있다고 설명했다. 케이던스의 톰 베클리(Tom Beckley) 커스텀 IC &PCB 그룹 수석 부사장 겸 총괄은 “데이터센터가 AI의 급속한 성장에 직면하여 지속가능성과 에너지 효율에 우선순위를 두어야 한다는 압박을 받고 있는 상황”이라면서, “리얼리티 디지털 트윈 플랫폼이 데이터센터 설계 및 운영의 모든 측면을 최적화하여 에너지 효율을 개선하고, 보다 더 효율적이고 탄력적이며 환경 친화적인 길을 열어줄 것”이라고 설명했다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 디지털 트윈으로 실시간 AI를 시뮬레이션해 산업 자동화에 큰 발전을 이룰 수 있다고 소개했다. 엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 GTC 기조연설에서 개발자가 디지털 트윈(digital twin)을 사용해 대규모 실시간 AI를 산업 인프라에 적용하기 전, 이 전체를 먼저 시뮬레이션 한 후에 개발, 검증하고 개선한다면 상당한 시간과 비용을 절감할 수 있다는 것을 시연을 통해 보여줬다. 실시간(Real-Time) AI는 제조, 공장 물류, 로보틱스 분야의 중대한 작업을 처리하는 데 큰 도움을 주고 있다. 시뮬레이션을 우선으로 실시하는 접근방식은 부피가 큰 제품, 고가의 장비, 협동 로봇 코봇(cobot) 환경, 복잡한 물류 시설을 다루는 산업에서 자동화 기술의 발전을 한 단계 끌어올리고 있다. 엔비디아 옴니버스(Omniverse), 메트로폴리스(Metropolis), 아이작(Isaac)과 cuOpt 플랫폼이 서로 상호작용하는 AI 훈련장(gym)에서, 개발자들은 인간과 로봇이 예측 불가능한 복잡한 상황을 탐색할 수 있도록 AI 에이전트(Agent)를 훈련시킬 수 있다. 데모 영상은 오픈USD(OpenUSD) 앱 개발과 연결을 위해 엔비디아 옴니버스 플랫폼으로 만들어진 10만 평방 피트 규모의 창고 디지털 트윈을 보여준다. 이는 수십의 디지털 작업자와 다수의 자율주행로봇(autonomous mobile robot, AMR), 비전 AI 에이전트와 센서를 위한 시뮬레이션 환경으로 활용되고 있다. 엔비디아 아이작 퍼셉터(Isaac Perceptor) 멀티-센서 스택을 실행하는 각각의 자율주행로봇은 모두 디지털 트윈에서 시뮬레이션한 6개의 센서로 시각 정보를 처리한다. 동시에 비전 AI용 엔비디아 메트로폴리스 플랫폼은 전체 창고에서 작업자 활동에 대한 단일 중앙집중식 지도를 생성해 천장에 장착된 100개의 시뮬레이션 카메라 스트림과 멀티 카메라 추적을 융합한다. 이 중앙집중식 점유 지도(occupancy map)는 복잡한 라우팅 문제를 해결하기 위해 엔비디아 cuOpt 엔진이 계산한 자율주행로봇의 최적 경로를 알려준다. AI 기반 최고의 최적화 마이크로서비스인 cuOpt는 GPU 가속 진화 알고리즘을 사용해 여러 제약 조건이 있는 복잡한 라우팅 문제를 해결한다. 이 모든 과정은 실시간으로 이루어지며, 아이작 미션 컨트롤(Isaac Mission Control) 은 cuOpt의 지도 데이터와 경로 그래프로 모든 자율주행로봇을 조정해 명령을 전송하고 실행하게 한다. 산업 디지털화를 위한 AI 훈련장 AI 에이전트는 공장에서 다수의 로봇을 관리하거나 공급망 유통 센터에서 인간과 로봇의 협업을 위해 간소화된 구성을 파악하는 등 대규모 산업 환경을 지원한다. 이러한 복잡한 에이전트를 구축하려면 개발자는 AI 평가, 시뮬레이션과 훈련을 위해 물리적으로 정확하게 구현된 AI 훈련장과 같은 디지털 트윈 환경이 필요하다. AI 에이전트와 자율주행로봇은 소프트웨어 인 더 루프(software-in-the-loop, SIL) AI 테스트를 통해 예측하기 힘든 실제 환경에 적응할 수 있다. 위의 데모에서는 자율주행로봇이 계획한 경로 중간에 사고가 발생해 경로가 차단되고 로봇은 화물 운반대를 픽업하지 못한다. 그러면 엔비디아 메트로폴리스는 점유 그리드(occupancy grid)를 업데이트해 모든 사람, 로봇, 물체가 한 눈에 보이도록 매핑한다. 그 다음, 자율주행로봇은 cuOpt가 계획한 최적 경로에 따라 대응해 가동 중단 시간을 최소화한다. 메트로폴리스 비전 파운데이션 모델이 엔비디아 비전 인사이트 에이전트(Visual Insight Agent, VIA) 프레임워크를 구동함으로써, AI 에이전트는 "공장의 3번 통로에서 어떤 상황이 발생했습니까?"와 같은 운영 팀의 질문에 "오후 3시 30분에 선반에서 상자가 떨어져 통로를 막았습니다"와 같이 바로 통찰력 있는 답변을 제공할 수 있다. 개발자는 비전 인사이트 에이전트 프레임워크를 통해 엣지와 클라우드 비전에 배포된 언어 모델을 사용, 대량의 실시간 혹은 보관된 영상과 이미지를 처리할 수 있는 AI 에이전트를 구축할 수 있다. 이 차세대 비전 AI 에이전트는 자연어를 사용하는 영상에서 요약, 검색, 그리고 실행가능한 인사이트를 추출함으로써 거의 모든 산업에 도움이 될 수 있을 것으로 기대된다. 이러한 모든 AI 기능은 지속적인 시뮬레이션 기반 훈련을 통해 향상되며, 모듈식 엔비디아 NIM 추론 마이크로서비스로 배포된다.