인텔은 ML커먼스(MLCommons)가 발표한 최신 MLPerf 추론 v5.1 벤치마크에서 P코어를 탑재한 인텔 제온(Intel Xeon) 및 인텔 아크 프로 B60(Intel Arc Pro B60) 그래픽으로 구성된 인텔 GPU 시스템(코드명 프로젝트 배틀매트릭스)의 추론용 워크스테이션이 달성한 결과를 공개했다. 6가지 주요 벤치마크 테스트 결과, 라마(LLAMa)4 80B 모델 추론 처리량에서 인텔 아크 프로 B60은 엔비디아 RTX 프로 6000 및 L40S에 비해 각각 최대 1.25배 및 최대 4배의 가격 대비 성능 우위를 보였다. 인텔은 “이는 하이엔드 워크스테이션 및 에지 애플리케이션 전반에 걸쳐 새로운 AI 추론 워크로드를 처리하는 인텔 기반 플랫폼의 성능과 접근 우수성을 보여주는 결과”라고 평가했다. 인텔의 리사 피어스(Lisa Pearce) 소프트웨어, GPU 및 NPU IP 그룹 총괄은 “MLPerf v5.1 벤치마크 결과는 인텔의 GPU 및 AI 전략을 강력히 입증하고 있다. 새로운 추론 최적화 소프트웨어 스택을 탑재한 아크 프로 B-시리즈 GPU는 기업과 개발자가 강력하면서도 설정하기 쉽고, 합리적인 가격에 확장 가능한 추론 워크스테이션으로 AI 분야에서 경쟁력을 높여준다”고 밝혔다.     이전까지는 높은 추론 성능을 제공하면서 데이터 프라이버시 침해에서 자유로운 플랫폼을 우선시하는 전문가들이 독점적인 AI 모델에 의한 과도한 구독 비용 부담 없이 LLM(대형 언어 모델)을 배포하기에 필요한 역량을 갖추기 위한 선택지가 제한적이었다. 새로운 인텔 GPU 시스템은 최신 AI 추론 요구사항을 충족하도록 설계되었으며, 풀스택 하드웨어와 소프트웨어를 결합한 올인원(all-in-one) 추론 플랫폼을 제공한다. 인텔 GPU 시스템은 리눅스 환경을 위한 새로운 컨테이너 기반 설루션을 통해 간소화된 도입과 사용 편의성을 목표로 한다. 또한 멀티 GPU 스케일링 및 PCle P2P 데이터 전송으로 높은 추론 성능을 발휘하도록 최적화되었으며, ECC, SRIOV, 텔레메트리(telemetry) 및 원격 펌웨어 업데이트 등과 같은 엔터프라이즈급 안전성 및 관리 용이성을 갖추고 있다. CPU는 AI 시스템에서 계속해서 중요한 역할을 수행하고 있다. 오케스트레이션 허브로서 CPU는 데이터 전처리, 전송 및 전반적인 시스템 조율을 담당한다. 지난 4년간 인텔은 CPU 기반 AI 성능을 지속적으로 향상시켜왔다. P 코어를 탑재한 인텔 제온 6는 MLPerf 추론 v5.1에서 이전 세대 대비 1.9배의 성능 향상을 달성했다.

엔비디아가 3D 객체 생성을 위한 ‘엔비디아 AI 블루프린트(NVIDIA AI Blueprint for 3D object generation)’를 공개했다. 이는 3D 아티스트가 간단한 텍스트 프롬프트만으로 최대 20개의 3D 객체를 생성해 특정 장면의 프로토타입을 만들 수 있도록 지원한다. 3D 아티스트는 끊임없는 프로토타이핑 작업 문제에 직면하고 있다. 전통적인 워크플로에서는 3D 장면 구현을 위해 저충실도 임시 애셋을 제작하고, 핵심 요소가 제자리에 배치될 때까지 수정을 반복해야 하기 때문이다. 그 후에야 시각적 요소를 세부적으로 다듬어 완성할 수 있다. 이렇게 프로토타이핑은 시간이 많이 소요되고 종종 불필요한 작업을 수반한다. 그 결과 아티스트는 창의적인 작업보다 지루한 모델링 작업에 더 많은 시간을 할애해야 한다. 생성형 AI는 장면 프로토타이핑을 위한 초안을 제안하거나 객체를 생성하는 등 중간 작업을 신속히 처리해 아티스트를 돕는다. 그러나 이러한 가속화된 워크플로를 구현하기 위해 여러 AI 모델을 연결하는 일은 기술적으로 복잡할 수 있다. 엔비디아 AI 블루프린트는 샘플 워크플로를 제공해 사용자가 복잡한 기술 단계를 건너뛰고 고급 생성형 AI 기술을 빠르게 활용할 수 있도록 지원한다. 또한 AI 블루프린트는 각 사용자의 요구에 맞게 조정될 수 있다.     엔비디아가 이번에 새로 공개한 AI 블루프린트는 3D 아티스트가 간단한 텍스트 프롬프트만으로 최대 20개의 3D 객체를 생성해 특정 장면의 프로토타입을 만들 수 있게 해주는 워크플로다. 또한 새로운 마이크로소프트 트렐리스(Microsoft TRELLIS) 엔비디아 NIM 마이크로서비스는 3D 객체 생성을 위한 AI 블루프린트 내에서 작동하며, 기존 모델보다 20% 빠른 속도로 고품질 3D 애셋을 생성한다. 아이디어의 탄생에서 시작하는 3D 프로젝트는 테마, 장소, 장식, 색상, 질감 등 시각적 세부 요소를 신중히 고려하는 과정을 거친다. 장면에 애셋을 배치한 후에도 개별 또는 전체 시각 요소를 여러 차례 검토하고 수정해야 한다. 3D 객체 생성을 위한 엔비디아 AI 블루프린트는 프로토타이핑 과정을 자동화하는 파이프라인을 제공한다. 사용자가 프롬프트로 예술적인 아이디어를 입력하면, 블루프린트에 내장된 대형 언어 모델(LLM)이 장면에 포함 가능한 20개의 객체를 제안한다. 이는 라마 3.1 8B(LLAMa 3.1 8B) 엔비디아 NIM 마이크로서비스로 가속화된다. 엔비디아 사나(SANA)는 고해상도 이미지를 빠르게 합성하는 텍스트-이미지 프레임워크로, 생성 가능한 객체를 보여주는 프리뷰를 생성한다. 각 객체는 재생성, 수정, 삭제가 가능해 아티스트의 자유로운 창작 활동을 지원한다. 이후 아티스트는 새로운 마이크로소프트 트렐리스 엔비디아 NIM 마이크로서비스를 통해 각 객체를 고품질 프리뷰에서 즉시 활용 가능한 3D 모델로 변환할 수 있다. 이 마이크로서비스는 최첨단 모델의 배포를 간소화하고 속도를 20% 향상시킨다. 또한 최대 20개의 3D 애셋 모음은 즉시 사용하거나 오픈 소스 3D 플랫폼 블렌더(Blender)에서 추가로 다듬을 수 있도록 준비된다. AI 블루프린트는 이를 자동으로 블렌더로 내보내며, 아티스트는 다른 인기 3D 애플리케이션으로도 애셋을 내보낼 수 있다. 아울러 라마 3.1 8B NIM 마이크로서비스로 구동되는 LLM은 장면에 포함할 객체의 아이디어와 프롬프트 제안을 생성할 수 있다. 따라서 프롬프트 경험이 많지 않은 아티스트도 창의적인 생산성을 높일 수 있다. 일반적으로 이러한 워크플로를 설정하려면 많은 시간과 기술적 지식이 필요하며, 적합한 파이프라인을 선택하기 위해 다양한 모델을 실험해야 한다. 엔비디아는 “AI 블루프린트는 검증된 워크플로를 사전에 선별해 패키징된 형태로 제공함으로써, 엔비디아 지포스 RTX(GeForce RTX)와 RTX PRO GPU에서의 배포를 단순화하고 시작 과정을 간소화한다”고 설명했다.

엔비디아가 에지 환경에서 실시간 AI 추론을 수행할 수 있는 엔비디아 젯슨 토르(NVIDIA Jetson Thor) 모듈을 출시했다. 젯슨 토르는 연구와 산업 현장의 로봇 시스템에서 두뇌 역할을 수행하며, 휴머노이드와 산업용 로봇 등 다양한 로봇이 보다 스마트하게 동작하도록 지원한다. 로봇은 방대한 센서 데이터와 저지연 AI 처리를 요구한다. 실시간 로봇 애플리케이션을 실행하려면 여러 센서에서 동시 발생하는 데이터 스트림을 처리할 수 있는 충분한 AI 컴퓨팅 능력과 메모리가 필요하다. 현재 정식 출시된 젯슨 토르는 이전 모델인 엔비디아 젯슨 오린(Orin) 대비 AI 컴퓨팅이 7.5배, CPU 성능이 3.1배, 메모리 용량이 2배 향상돼 이러한 처리를 디바이스에서 가능하게 한다. 이러한 성능 도약은 로봇 연구자들이 고속 센서 데이터를 처리하고 에지에서 시각적 추론을 수행할 수 있도록 한다. 이는 기존에는 동적인 실제 환경에서 실행하기에는 속도가 너무 느려 실행하기 어려웠던 워크플로이다. 이로써 휴머노이드 로보틱스와 같은 멀티모달 AI 애플리케이션의 새로운 가능성을 열어주고 있다.   ▲ 엔비디아 젯슨 AGX 토르 개발자 키트   휴머노이드 로보틱스 기업인 어질리티 로보틱스(Agility Robotics)는 자사의 5세대 로봇인 디지트(Digit)에 엔비디아 젯슨을 통합했다. 이어서 6세대 디지트에는 온보드 컴퓨팅 플랫폼으로 젯슨 토르를 채택할 계획이다. 이를 통해 디지트는 실시간 인식과 의사결정 능력을 강화하고 점차 복잡해지는 AI 기술과 행동을 지원할 수 있게 된다. 디지트는 현재 상용화됐으며, 창고와 제조 환경에서 적재, 상차, 팔레타이징(palletizing) 등 물류 작업을 수행하고 있다. 30년 넘게 업계 최고 수준의 로봇을 개발해온 보스턴 다이내믹스(Boston Dynamics)는 자사 휴머노이드 로봇 아틀라스(Atlas)에 젯슨 토르를 탑재하고 있다. 이를 통해 아틀라스는 이전에는 서버급에서만 가능했던 컴퓨팅, AI 워크로드 가속, 고대역폭 데이터 처리, 대용량 메모리를 디바이스 내에서도 활용할 수 있게 됐다. 휴머노이드 로봇 외에도, 젯슨 토르는 더 크고 복잡한 AI 모델을 위한 실시간 추론을 통해 다양한 로봇 애플리케이션을 가속화할 예정이다. 여기에는 수술 보조, 스마트 트랙터, 배송 로봇, 산업용 매니퓰레이터(manipulator), 시각 AI 에이전트 등이 포함된다. 젯슨 토르는 생성형 추론 모델을 위해 설계됐다. 이는 차세대 피지컬 AI 에이전트가 클라우드 의존도를 최소화하면서 에지에서 실시간으로 실행될 수 있도록 한다. 차세대 피지컬 AI 에이전트는 대형 트랜스포머 모델, 비전 언어 모델(vision language model : VLM), 비전 언어 행동(vision language action : VLA) 모델을 기반으로 구동된다. 젯슨 토르는 젯슨 소프트웨어 스택으로 최적화돼 실제 애플리케이션에서 요구되는 저지연과 고성능을 구현한다. 따라서 젯슨 토르는 모든 주요 생성형 AI 프레임워크와 AI 추론 모델을 지원하며, 탁월한 실시간 성능을 제공한다. 여기에는 코스모스 리즌(Cosmos Reason), 딥시크(DeepSeek), 라마(LLAMa), 제미나이(Gemini), 큐원(Qwen) 모델과 함께, 로보틱스 특화 모델인 아이작(Isaac) GR00T N1.5 등이 포함된다. 이를 통해 개발자는 손쉽게 로컬 환경에서 실험과 추론을 실행할 수 있다. 젯슨 토르는 생애 주기 전반에 걸쳐 엔비디아 쿠다(CUDA) 생태계의 지원을 받는다. 또한 젯슨 토르 모듈은 전체 엔비디아 AI 소프트웨어 스택을 실행해 사실상 모든 피지컬 AI 워크플로를 가속화한다. 여기에는 로보틱스를 위한 엔비디아 아이작, 영상 분석 AI 에이전트를 위한 엔비디아 메트로폴리스(Metropolis), 센서 처리를 위한 엔비디아 홀로스캔(Holoscan) 등의 플랫폼이 활용된다. 이러한 소프트웨어 도구를 통해 개발자는 다양한 애플리케이션을 손쉽게 구축하고 배포할 수 있다. 실시간 카메라 스트림을 분석해 작업자 안전을 모니터링하는 시각 AI 에이전트, 비정형 환경에서 조작 작업을 수행할 수 있는 휴머노이드 로봇, 다중 카메라 스트림 데이터를 기반으로 외과의에게 안내를 제공하는 스마트 수술실 등이 그 예시이다. 젯슨 토르 제품군에는 개발자 키트와 양산용 모듈이 포함된다. 개발자 키트에는 젯슨 T5000 모듈과 다양한 연결성을 제공하는 레퍼런스 캐리어 보드, 팬이 장착된 액티브 방열판, 전원 공급 장치가 함께 제공된다. 엔비디아는 젯슨 생태계가 다양한 애플리케이션 요구사항과 고속 산업 자동화 프로토콜, 센서 인터페이스를 지원해 기업 개발자의 시장 출시 시간을 단축한다고 전했다. 하드웨어 파트너들은 다양한 폼팩터로 유연한 I/O와 맞춤형 구성을 갖춰 생산에 준비된 젯슨 토르 시스템을 개발하고 있다. 센서 및 액추에이터 업체들은 엔비디아 홀로스캔 센서 브릿지(Sensor Bridge)를 활용하고 있다. 이 플랫폼은 센서 융합과 데이터 스트리밍을 간소화하며, 카메라, 레이더, 라이다 등에서 발생한 센서 데이터를 초저지연으로 젯슨 토르 GPU 메모리에 직접 연결할 수 있게 해준다. 수천 개의 소프트웨어 기업들은 젯슨 토르에서 구동되는 다중 AI 에이전트 워크플로를 통해 기존 비전 AI와 로보틱스 애플리케이션 성능을 향상시킬 수 있다. 그리고 200만 명 이상의 개발자들이 엔비디아 기술을 활용해 로보틱스 워크플로를 가속화하고 있다.

HPE는 기업이 AI를 도입하고 개발 및 운영하는 과정을 폭넓게 지원하는 ‘HPE 기반 엔비디아 AI 컴퓨팅(NVIDIA AI Computing by HPE)’ 포트폴리오의 주요 혁신 사항을 공개했다. HPE는 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise)와의 통합을 한층 강화하고, 최신 엔비디아 AI 모델 및 엔비디아 블루프린트(NVIDIA Blueprints)를 HPE 프라이빗 클라우드 AI(HPE Private Cloud AI)에 탑재함으로써 개발자들이 AI 애플리케이션을 보다 간편하게 구축하고 운영할 수 있도록 지원하게 되었다고 전했다. 또한 HPE는 엔비디아 블랙웰(NVIDIA Blackwell) 기반 가속 컴퓨팅을 탑재한 HPE 프로라이언트 컴퓨트(HPE ProLiant Compute) 서버를 출하할 예정이며, 이를 통해 생성형 AI, 에이전틱 AI 및 피지컬 AI 워크로드를 향상된 성능으로 지원할 수 있을 것으로 보고 있다. 엔비디아 블랙웰 아키텍처를 탑재한 HPE 프로라이언트 컴퓨트 서버는 두 종류의 엔비디아 RTX PRO 서버 구성을 포함한다. HPE 프로라이언트 DL385 Gen11 서버는 신규 2U RTX PRO 서버 폼팩터의 공랭식 서버로, 엔비디아 RTX PRO 6000 블랙웰 서버 에디션 GPU를 최대 2개까지 지원한다. 이 제품은 기업의 증가하는 AI 수요를 충족해야 하는 데이터센터 환경에 최적화된 설계를 지향한다. HPE 프로라이언트 컴퓨트 DL380a Gen12 서버는 4U 폼팩터 기반으로, 엔비디아 RTX PRO 6000 GPU를 최대 8개까지 지원하며 2025년 9월 출시될 예정이다.   특히 HPE 프로라이언트 컴퓨트 Gen12 서버는 HPE iLO(Integrated Lights Out) 7의 실리콘 RoT(Root of Trust) 및 시큐어 인클레이브(Secure Enclave) 기반으로 한 다층 보안 기능을 갖추고 있으며, 위조 및 변조 방지 보호와 양자 내성 펌웨어 서명(quantum-resistant firmware signing) 기능을 통해 한층 강화된 보안 환경을 제공한다.   ▲ HPE 프로라이언트 DL380a Gen12 서버   또한, HPE 컴퓨트 옵스 매니지먼트(HPE Compute Ops Management)으로 지원되는 중앙 집중형 클라우드 네이티브 방식의 라이프사이클 자동화 기능은 서버 관리에 소요되는 IT 업무 시간을 최대 75%까지 줄이고, 서버당 연간 평균 4.8시간의 다운타임 감소 효과를 제공한다. 대상 워크로드에는 생성형 및 에이전틱 AI을 비롯해 로보틱스 및 산업용 사례 등 피지컬 AI, 품질 관리(QC) 모니터링 및 자율주행과 같은 비주얼 컴퓨팅, 시뮬레이션, 3D 모델링, 디지털 트윈, 그리고 각종 엔터프라이즈 애플리케이션이 포함된다. 한편, HPE는 올해 말 출시 예정인 차세대 ‘HPE 프라이빗 클라우드 AI’를 발표했다. 이 설루션은 엔비디아 RTX PRO 6000 GPU를 탑재한 HPE 프로라이언트 컴퓨트 Gen12 서버를 지원하며, GPU 세대 간의 원활한 확장성, 폐쇠망(air-gapped) 관리 및 엔터프라이즈 멀티 테넌시(multi-tenancy) 기능 등을 제공할 예정이다. HPE와 엔비디아가 공동 개발한 엔터프라이즈 턴키 AI 팩토리 설루션인 HPE 프라이빗 클라우드 AI는 에이전틱 AI를 위한 최신 버전의 엔비디아 네모트론(NVIDIA LLAMa Nemotron) 모델, 피지컬 AI 및 로보틱스를 위한 코스모스 리즌(Cosmos Reason) VLM(vision language model), 엔비디아 블루프린트 VSS 2.4 (NVIDIA Blueprint for Video Search and Summarization)를 지원하여 대규모 영상 데이터에서 인사이트를 추출하는 영상 분석 AI 에이전트를 구축할 수 있다. 또한, HPE 프라이빗 클라우드 AI는 최신 AI 모델을 위한 엔비디아 NIM 마이크로서비스, 엔비디아 블루프린트를 빠르게 배포할 수 있도록 맞춤형 설계되어, 고객들은 HPE AI 에센셜(HPE AI Essentials)를 통해 이를 간편하게 활용할 수 있다. 이와 함께 HPE 프라이빗 클라우드 AI는 엔비디아 AI 가속화 컴퓨팅, 네트워킹, 소프트웨어와의 깊은 통합을 바탕으로, 기업들이 데이터 통제를 유지하면서도 AI의 가치를 보다 신속하게 활용할 수 있도록 지원한다. 이를 통해 고객은 급증하는 AI 추론 수요를 효과적으로 관리하고 AI 생산 속도를 가속화할 수 있다. HPE 셰리 윌리엄스(Cheri Williams) 프라이빗 클라우드 및 플렉스 설루션 부문 수석 부사장 겸 총괄은 “HPE는 AI 시대를 맞아 기업들이 성공을 이룰 수 있도록 필요한 툴과 기술을 제공하는 데 전념하고 있다”면서, “엔비디아와의 협업을 통해 기술 혁신의 경계를 지속적으로 넓혀가며, 생성형 AI, 에이전틱 AI, 피지컬AI의 가치 실현을 포함해 엔터프라이즈 환경의 복잡하고 다양한 요구를 충족하는 설루션을 제공하고 있다. HPE 프로라이언트 서버와 HPE 프라이빗 클라우드 AI의 확장된 역량을 결합함으로써, 기업들이 AI 혁신의 다음 단계를 더욱 신속하고 신뢰 있게 수용할 수 있도록 지원하고 있다”고 밝혔다. 엔비디아의 저스틴 보이타노(Justin Boitano) 엔터프라이즈 AI 부사장은 “기업은 최신 AI 요구사항에 맞추기 위해 유연하고 효율적인 인프라가 필요하다”면서, “엔비디아 RTX PRO 6000 블랙웰 GPU를 탑재한 HPE 2U 프로라이언트 서버는 단일 통합형 기업용 플랫폼에서 거의 모든 워크로드를 가속화할 수 있도록 해줄 것”이라고 밝혔다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 이슈인 AI 에이전트(agent) 개발 시 필수적인 함수 호출(function call) 방법을 오픈소스를 이용해 구현해 본다. 이를 위해 구글에서 공개한 젬마 3(Gemma 3) LLM(대규모 언어 모델)과 역시 오픈소스인 LLM 관리도구 올라마(OlLAMa)를 활용하여 간단한 AI 에이전트를 로컬 PC에서 개발해본다. 아울러, 이런 함수 호출 방식의 한계점을 개선하기 위한 설루션을 나눔한다.   ■  강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/ GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   이번 호의 글은 다음 내용을 포함한다. AI 에이전트 구현을 위한 사용자 도구 함수 호출 방법 올라마를 통한 젬마 3 사용법 채팅 형식의 프롬프트 및 메모리 사용법 그라디오(Gradio) 기반 웹 앱 개발   그림 1. AI 에이전트 내부의 함수 호출 메커니즘(Akriti, 2025)   이 글의 구현 코드는 다음 링크에서 확인할 수 있다. AI_agent_simple_function_call   젬마 3 모델의 특징 젬마 3는 구글이 개발해 2025년 3월 10일에 출시한 LLM이다. 차세대 경량 오픈 멀티모달 AI 모델로, 텍스트와 이미지를 동시에 처리할 수 있는 기능을 갖추고 있다. 이 모델은 다양한 크기와 사양으로 제공되어 단일 GPU 또는 TPU 환경에서도 실행 가능하다. 젬마 3는 1B, 4B, 12B, 27B의 네 가지 모델 크기로 제공되며, 각각 10억, 40억, 120억, 270억 개의 파라미터를 갖추고 있다. 1B 모델은 텍스트 전용으로 32K 토큰의 입력 컨텍스트를 지원하고, 4B/12B/27B 모델은 멀티모달 기능을 지원하며 128K 토큰의 입력 컨텍스트를 처리할 수 있다. 이는 이전 젬마 모델보다 16배 확장된 크기로, 훨씬 더 많은 양의 정보를 한 번에 처리할 수 있게 해 준다. 이 모델은 텍스트와 이미지 데이터를 동시에 처리하고 이해하는 멀티모달 기능을 제공한다. 이미지 해석, 객체 인식, 시각적 질의응답 등 다양한 작업을 수행할 수 있으며, 텍스트 기반 작업에 시각적 정보를 효과적으로 활용할 수 있도록 지원한다.   그림 2. 출처 : ‘Welcome Gemma 3 : Google's all new multimodal, multilingual, long context open LLM(Hugging Face)’   그림 3. 출처 : ‘Welcome Gemma 3 : Google's all new multimodal, multilingual, long context open LLM(Hugging Face)’   젬마 3는 140개 이상의 언어를 지원하여 전 세계 다양한 언어 사용자를 대상으로 하는 AI 애플리케이션 개발에 매우 유리하다. 사용자는 자신의 모국어로 젬마 3와 상호작용할 수 있으며, 다국어 기반의 텍스트 분석 및 생성 작업도 효율적으로 수행할 수 있다. 이 모델은 다양한 작업 수행 능력을 갖추고 있다. 질문–답변, 텍스트 요약, 논리적 추론, 창의적인 텍스트 형식 생성(시, 스크립트, 코드, 마케팅 문구, 이메일 초안 등), 이미지 데이터 분석 및 추출 등 광범위한 자연어 처리 및 컴퓨터 비전 관련 작업을 수행할 수 있다. 또한, 함수 호출 및 구조화된 출력을 지원하여 개발자가 특정 작업을 자동화하고 에이전트 기반의 경험을 구축하는 데 도움을 준다. 젬마 3는 다양한 도구 및 프레임워크와 원활하게 통합된다. Hugging Face Transformers, OlLAMa, JAX, Keras, PyTorch, Google AI Edge, UnSloth, vLLM, Gemma. cpp 등 다양한 개발 도구 및 프레임워크와 호환되어 개발자들이 자신이 익숙한 환경에서 젬마 3를 쉽게 활용하고 실험할 수 있다. 이 모델은 다양한 벤치마크 테스트에서 동급 모델 대비 최첨단 성능을 입증했다. 특히, Chatbot Arena Elo Score에서 1338점을 기록하며, 여러 오픈 소스 및 상용 모델보다 높은 성능을 보였다.  젬마 3는 오픈 모델로, 개방형 가중치를 제공하여 사용자가 자유롭게 조정하고 배포할 수 있다. 캐글(Kaggle)과 허깅 페이스(Hugging Face)에서 다운로드 가능하며, Creative Commons 및 Apache 2.0 라이선스를 따름으로써 개발자와 연구자에게 VLM 기술에 대한 접근성을 높여준다.   개발 환경 개발 환경은 다음과 같다. 미리 설치 및 가입한다. 오픈 LLM 관리 도구 올라마 : https://olLAMa.com/download/ windows LLM 모델 젬마 3 : https://olLAMa.com/search dashboard 웹 검색 도구 Serper 서비스 가입 : https://serper.dev/ 설치되어 있다면 다음 명령을 터미널(윈도우에서는 도스 명령창)에서 실행한다. olLAMa pull gemma3:4b     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 차세대 개인용 AI 슈퍼컴퓨터 ‘엔비디아 DGX 스파크(NVIDIA DGX Spark)’의 국내 예약 주문을 시작한다고 밝혔다. DGX 스파크는 책상 위에 올려 놓을 수 있는 크기의 AI 슈퍼컴퓨터로 생성형 AI, 거대 언어 모델(LLM), 고속 추론 등 다양한 AI 워크플로를 로컬 환경에서 효율적으로 구현할 수 있도록 설계됐다. AI 개발이 고도화됨에 따라, 조직은 데이터 보안 강화와 지연 최소화, 배포 유연성 등을 고려해 로컬 환경에서 직접 AI 모델을 개발하고 실행할 수 있는 시스템을 요구하고 있다. DGX 스파크는 이러한 수요에 대응해 데스크톱 환경에서도 데이터 크기나 위치, 모델 규모에 제약 없이 민첩하고 효율적인 AI 개발이 가능하도록 지원한다.     DGX 스파크는 데스크톱 폼팩터에 최적화된 엔비디아 GB10 그레이스 블랙웰 슈퍼칩(Grace Blackwell Superchip)을 탑재해 FP4 정밀도 기준, 최대 1페타플롭의 AI 성능을 제공한다. 또한, 고성능 엔비디아 커넥트-X(Connect-X) 네트워킹으로 두 대의 엔비디아 DGX 스파크 시스템을 연결해 최대 4,050억 개 파라미터의 AI 모델을 처리할 수 있다. DGX 스파크는 128GB 메모리를 탑재했으며, 엔비디아 AI 소프트웨어 스택이 사전 설치돼 있다. 이를 통해 딥시크, 메타, 구글 등에서 선보인 최대 2000억 개 파라미터의 최신 AI 모델도 로컬 환경에서 직접 프로토타이핑, 미세 조정, 추론할 수 있다. 또한, 사용자는 파이토치(PyTorch), 주피터(Jupyter), 올라마(OlLAMa) 등 익숙한 개발 도구를 사용할 수 있으며, 이를 DGX 클라우드나 가속화된 데이터센터 환경으로 손쉽게 확장할 수 있다. 이와 함께 엔비디아 NIM 마이크로서비스와 엔비디아 블루프린트(Blueprint)에 대한 액세스를 통해 AI 애플리케이션을 더욱 빠르게 개발하고 배포할 수 있도록 지원한다. 엔비디아는 “DGX 스파크는 올해 엔비디아 연례 개발자 콘퍼런스인 GTC와 컴퓨텍스(COMPUTEX)에서 공개된 이후 큰 관심을 받아왔으며, 이번 국내 예약 주문을 계기로 본격적인 보급이 기대된다”고 전했다. DGX 스파크의 국내 예약 주문은 엔비디아 공식 홈페이지를 통해 진행된다. 국내 주요 파트너사 중 원하는 업체를 선택해 예약할 수 있으며, 대량 구매도 가능하다. 공식 파트너사로는 에즈웰에이아이, 비엔아이엔씨, 디에스앤지, 아이크래프트, 리더스시스템즈, 메이머스트, MDS테크, 유클릭, 씨이랩, 제스프로가 있다.

개발 및 공급 : 이노쏘비 주요 특징 : 제조 물류 전반에 걸친 시뮬레이터/디지털 트윈/AI 에이전시의 통합 플랫폼, 설계~운영 과정의 최적화 지원, 다양한 제조 운영 시스템과 실시간 연동으로 대용량 데이터를 수집 및 처리, LLM/sLLM을 활용해 직관적인 데이터 분석 및 의사결정 지원 등 사용 환경(OS) : 윈도우 10/11(64비트) 시스템 권장 사양 : 인텔 i5 10세대 이상 또는 AMD 라이젠 5 이상 CPU, 최소 16GB RAM(32GB 권장), 엔비디아 RTX 4060 이상 GPU(AI 기능 사용 시 필요), 30GB 이상 여유 저장공간   최근 제조 기업들은 디지털 트윈 기반의 스마트 공장 도입과 더불어 급속한 디지털 전환(DX)을 위해 노력하고 있다. 불과 몇 해전만 하더라도 그 실체와 사례에 대해 의문이 있었지만, 다양한 도입 사례와 성과가 공개되면서 이제는 DX에서 나아가 AI 기술 도입과 AI로의 전환(AX : AI Transformation)을 활발히 검토하고 있고, 적극적인 도입 의사를 밝히고 있다. ‘PINOKIO(피노키오)’는 최신 기술 흐름을 반영해 탄생한 차세대 물류 디지털 트윈 설루션으로, 기존 상용 시스템의 한계를 극복하고 제조 산업의 스마트화를 가속화하는데 최적화된 해답을 제시한다. 기술 대전환의 시대를 맞아 기존의 전통적인 DX 설루션 기업들은 3D 모델링 및 시뮬레이션 등 낮은 단계의 디지털 트윈 기술을 기반으로 DX 설루션으로 개선 및 확장하고 있다. 이와 달리, PINOKIO는 초기부터 현장의 대용량 데이터 기반 실시간 물류 모니터링 및 실시간 시뮬레이션을 제공하는 디지털 트윈 기반의 운영 시스템을 목적으로 출발하였다. 그 결과 SK 하이닉스, LG전자 등 대량의 혼류 생산 제조 현장에서 디지털 트윈의 정합성과 예측의 정확도 등을 검증받았고 도입 효과를 증명했다. 이를 바탕으로 최근에는 기존 상용 설루션보다 높은 성능의 시뮬레이터까지 라인업하여 다양한 요구를 충족시킬 수 있게 되었다. 기존 상용 물류 시뮬레이션 설루션은 대부분 20~30년 전 개발된 구조를 가지고 있어, 최신 IT/OT 시스템과의 연동과 AI 기술을 적용하기 어렵다. 이로 인해 대용량 데이터 처리에 한계가 있으며, 사용자 API(애플리케이션 프로그래밍 인터페이스) 미제공으로 커스터마이징과 타 시스템 연계, 현장 실시간 운영에 필요한 유연성과 확장성에서도 제약이 있다. PINOKIO는 이러한 기존 설루션의 문제점을 개선해 제조 물류 관련 다양한 AI 모델을 지원하며, 기존 설루션 대비 높은 모델링 속도를 구현할 수 있다. 그리고 멀티 스레드, GPU 기반의 고속 시뮬레이션 연산 기능과 2차전지, AMR(자율이동로봇), OHT(오버헤드 트랜스퍼), 자동창고 등 다양한 제조 환경에 맞는 특화 라이브러리를 제공한다. 특히, 생산 현장에서 발생하는 실시간 빅데이터를 효과적으로 처리하고, 대화형 어시스턴트(assistant) 방식의 직관적인 사용자 인터페이스(UI)를 통해 사용자 편의성을 높였다. 또한, 사용자 API를 통한 고도화된 커스터마이징이 가능하며, MES(제조 실행 시스템), 센서, PLC(프로그래머블 로직 컨트롤러), IoT(사물인터넷) 등 다양한 운영 시스템과의 실시간 연동 기능도 갖췄다. 나아가, 전력 사용량 분석과 탄소세 예측 기능까지 탑재돼 지속 가능한 제조 환경 구축을 위한 의사결정도 지원한다. PINOKIO는 AI 기반 제조 혁신의 길을 여는 실질적인 도구로, 앞으로 제조업계의 디지털 전환을 선도할 핵심 설루션으로 자리매김할 전망이다.   주요 기능 소개 PINOKIO는 시뮬레이터, 디지털 트윈, AI 에이전시(agancy)를 통합한 차세대 DES(이산 이벤트 시뮬레이션) 기반 플랫폼으로, 제조 물류 전반에 걸친 통합 설루션을 제공한다. PINOKIO는 세 가지 핵심 모듈로 구성된다. 첫 번째는 ‘Pino SIM’으로, 공정 흐름 설계부터 시뮬레이션, 분석까지 수행하는 시뮬레이터다. Pino SIM은 도면 편집과 레이아웃 설계를 위한 Pino Editor를 내장하고 있어, 단순한 시뮬레이션을 넘어 제조 기준정보 입력, 물류 시나리오 구성, 시뮬레이션 실행 및 시각화 분석까지 다양한 기능을 제공한다. 이를 통해 설계 초기 단계부터 실제 운영에 이르기까지 전 과정의 최적화를 효과적으로 지원한다. 두 번째는 실시간 디지털 트윈 모듈인 ‘Pino DT’다. MES, IoT, PLC, 센서 등 다양한 제조 운영 시스템과의 실시간 연동을 통해 대용량 데이터를 실시간으로 수집하고 처리하며, 이를 바탕으로 실시간 모니터링은 물론 미래 상황 예측, 예지 보전 기반의 시뮬레이션이 가능하다. 이는 생산 현장의 가시성과 민첩성을 높이는 데 기여한다. 세 번째는 인공지능 기반의 ‘Pino AI’다. LLM(대규모 언어 모델)과 sLLM(전문 도메인 특화 언어 모델)을 활용한 대화형 UI를 통해 사용자가 직관적으로 데이터를 분석하고 의사결정에 활용할 수 있다. 또한 목적에 따라 강화학습, 파라미터 최적화 등 다양한 AI 기법을 적용할 수 있어 생산성과 품질 향상을 동시에 도모할 수 있다. PINOKIO는 엔비디아 옴니버스(NVIDIA Omniverse)와 같은 고급 시각화 플랫폼과 연동 가능하며, 파이썬(Python) 개발 환경 확장도 지원함으로써 사용자 맞춤형 라이브러리 개발이 가능하다. 이를 통해 제조 기업은 사전 공정 및 물류 최적화는 물론 실시간 생산 모니터링, 미래 예측, AI 기반 정확도 향상 등 다양한 지능형 서비스를 구현할 수 있다. 제조업의 디지털 전환이 본격화되는 시대에 PINOKIO는 스마트 공장을 넘어 AI 전환을 실현하는 핵심 파트너로 부상하고 있다.   PINOKIO의 특징 PINOKIO는 고도화된 시뮬레이션 엔진과 AI 통합 기능을 바탕으로 대규모 데이터 처리 및 실시간 예측 분석을 지원하며 스마트 제조 시대의 경쟁력을 강화하고 있다. PINOKIO는 이벤트 처리 기법 최적화 및 단순화된 시뮬레이션 엔진 설계로 빠른 연산 속도를 제공한다. 특히, 초당 60프레임(FPS) 기준으로 500만 개 수준의 대규모 3D 데이터를 안정적으로 처리할 수 있으며, 선택적 컴파일 방식(C# 기반 네이티브 코드)을 활용한 별도 계산 도구를 통해 집약적인 연산 작업도 고속으로 수행할 수 있다. 디지털 트윈 구축에서도 PINOKIO는 강력한 성능을 발휘한다. MES, ACS, MCS 등 다양한 제조 운영 시스템과 연동과 IoT, 센서, PLC 등 생산 현장에서 수집되는 대용량 데이터를 실시간으로 처리한다. 이를 통해 실시간 모니터링과 동시에 백그라운드 시뮬레이션을 수행하고, 타임 호라이즌(Time Horizon) 방식의 미래 예측 기술을 통해 병목, 이상 징후 탐지 및 알람 기능도 제공된다. 또한, AI를 활용하기 위한 정상/이상 데이터 제공과 파라미터 최적화 및 시나리오별 분석 기능이 포함되어 있으며, LLM과 sLLM, 챗GPT(ChatGPT), 메타 라마(Meta LLAMA) 등 다양한 AI 모델을 통합한 AI 에이전시 기능을 통해 대화형 데이터 분석, 자동 의사결정 지원, 데이터 해석 및 운영 최적화를 구현한다. 시뮬레이션 설계 및 모델링 측면에서도 사용자 편의성이 강화됐다. Pino Editor를 활용해 레이아웃 도면을 직관적으로 확인 및 편집할 수 있으며, 제조 기준 정보 입력 및 템플릿 매칭 기능을 통해 모델링 작업 시간을 획기적으로 단축시킨다. 또한, 2차전지 및 반도체 공정에 특화된 전용 라이브러리도 제공되며, 고객 맞춤형 커스터마이징 시뮬레이터를 통해 사용자의 목적에 따라 분석 및 최적화가 가능한 유연한 개발 환경을 지원한다. 이처럼 PINOKIO는 고속 시뮬레이션, 실시간 예측, AI 기반 의사결정, 그리고 유연한 모델링 기능을 종합적으로 제공하며, 제조업의 지능화·자동화를 실현하는 설루션이다.   그림 1. PINOKIO UI 화면 – 반도체 FAB   사전 레이아웃 및 물류 검토를 위한 설루션 : Pino SIM 디지털 트윈 구축 시 미래 예측을 위한 시뮬레이터 역할과 기존 상용 설루션과 같이 공장 신축 또는 생산 라인 변경 등 제조 현장의 변화가 요구된다. 이런 상황에서 Pino SIM은 사전에 최적의 물류 계획과 레이아웃 구성을 지원하고 공정의 효율성과 안정성을 미리 확보할 수 있는 디지털 전환 핵심 도구이자 가상 공장 구현 설루션이다. Pino SIM은 제조 기준 정보(제품, 공정, 레이아웃, 물류 흐름, 작업 순서, 스케줄링 등)를 기반으로 공정을 시뮬레이션하며, 그 결과를 차트, 그래프 등 다양한 시각화 도구를 통해 분석할 수 있다. 이를 통해 레이아웃 검증 및 최적화, 생산성 향상 등 공장 운용 전반의 효율화를 실현할 수 있다. 특히, OHT, AMR 등 신 산업군을 위한 특화 라이브러리를 제공하며, 이송 설비 구현을 위한 이동, 충돌 방지, 회피 제어를 위한 OCS, ACS 기능도 탑재되어 있다. 이를 통해 코드 작성 오류를 줄이고 디버깅 시간을 줄일 수 있으며, 보다 쉽고 효율적으로 시뮬레이션 모델을 구축할 수 있다. 또한, 자동창고 모델링에 필요한 Stocker(Crane, Rack, Rail)를 그룹화 형태로 제공하여 빠른 모델링이 가능하다. 환경과 에너지 측면에서도 전력 사용량 및 탄소 배출량(탄소세) 분석 기능을 통해 지속 가능한 생산 전략 수립에 도움을 주며, 제조업의 친환경화와 ESG 경영 대응에도 기여할 수 있다. 이처럼 Pino SIM은 공장 설계 단계에서의 의사결정 품질을 높이고, 새로운 제조 환경에 유연하게 대응할 수 있는 설루션이다.   그림 2. 라이브러리 제공 – Stocker   그림 3. 개발(코딩) 없이 기능 구현   그림 4. 시뮬레이션 결과 리포트 예제   디지털 트윈 설루션 : Pino DT 제조 현장에서 물류는 제품의 사이클 타임을 결정하는 요소 중에 하나이다. 물류 정체가 발생할 경우 제품의 사이클 타임이 길어지거나 라인이 정지되는 등 심각한 손실이 발생할 수 있다. 이러한 문제를 해결하기 위해 시뮬레이션을 통한 최적화된 운영 방식을 시스템에 적용하려는 노력이 이어져왔다. 기존의 물류 설루션은 현장에서 발생하는 대용량의 데이터를 시뮬레이션에 반영하여 실시간으로 의사결정하는 과정에서 다양한 제약으로 인해 어려움이 있었다. 또한, 현장 작업자의 개입과 같은 인간적 오류는 시스템이 예측할 수 없는 데이터를 발생시키기 때문에 생산 계획 단계에서의 사전 분석 및 검증만으로는 시뮬레이션 정합성을 높이는데 한계가 있다. Pino DT는 최적화된 자체 개발 시뮬레이션과 모니터링 엔진을 탑재하여 이를 해결하였다. 시뮬레이션의 이벤트 횟수를 최적화하여 최소한의 이벤트로 시뮬레이션이 가능하도록 설계했다. 또한 계산 속도에 이점이 있는 C, C++ 언어로 물류 경로를 최적화하는 알고리즘을 구현하여 기존 설루션 대비 약 2만평 규모의 공장에서 약 70배의 향상된 성능을 검증하였다.   그림 5. Pino DT의 UI 화면   대용량 데이터 처리 및 실시간 모니터링 Pino DT는 시뮬레이션에 최적화된 알고리즘을 사용함으로써 대용량 데이터 처리가 가능하고, 현장 데이터를 실시간으로 시뮬레이션에 반영할 수 있다. 기존 물류 시뮬레이션 설루션에 비해 60~700배 뛰어난 가속 성능을 제공하는 시뮬레이션 도구이다. 제조 현장과 동일한 상황을 시뮬레이션하기 위해 현장과 연동 후 데이터를 가공하여 디지털 트윈 모델로 표현하여 가시화하고, 사용자가 설정한 시간 주기마다 미래를 예측하는 시뮬레이션(proactive simulation)을 백그라운드로 수행한다. 이는 제품의 공정 시간보다 짧은 시간 안에 결과를 확인할 수 있고, AI를 통해 보다 정확한 의사결정을 내릴 수 있도록 지원한다.   그림 6. Pino DT의 모니터링 화면   디지털 트윈 실시간 시뮬레이션 : 미래 예측 실시간 현장 상황을 반영하여 미래를 예측하는 시뮬레이션(proactive simulation)은 제품의 택트 타임(tact time)보다 짧은 시간 내에 결과를 도출해내지 못하면 현장에서 선제 대응하지 못하는 결과를 초래할 수 있다. 모니터링 엔진으로부터 라인 상황에 대한 데이터를 수집하고, 현재로부터 예측하고자 하는 시간 동안 발생하는 이상상황에 대해 피드백을 준다. 예를 들어 조립 라인의 경우에는 부품이 5분 뒤에 부족하다는 알람을 작업자에게 즉시 전달하여 선제적 대응을 가능케 함으로써, 라인 정지 등 비상 상황을 사전에 방지할 수 있다. PINOKIO 디지털 트윈 시뮬레이션은 이러한 역할이 가능하도록 가속화한 고속 시뮬레이션 엔진을 보유하고 있다.   그림 7. 현장 FAB(왼쪽)과 PINOKIO에서 생성된 디지털 트윈(오른쪽)   제조 물류 현장에 특화된 AI 플랫폼 : Pino AI AI를 이용한 설루션을 만들기 위해서는 다양한 상황에 대한 데이터가 필요하다. 하지만 제조 현장의 특성 상 여러 상황에 대한 데이터를 획득하기 어렵다. PINOKIO에서는 현장에서 획득하기 어려운 데이터를 시뮬레이션을 통해 데이터를 확보할 수 있다. 즉, Pino DT 모델이 AI를 위한 데이터를 생성하고, 이를 AI가 최적 값을 도출하여 시뮬레이션에 반영한다. Pino DT에서 획득한 데이터를 파이썬, C, 자바(JAVA) 등 다양한 언어로 구현한 로직을 적용할 수 있도록 개발 환경을 제공하고 있다. 이를 통해 예측 정확도 향상, 데이터 기반 의사 결정, Scheduling, Routing, Dispatching 등 목적에 따라 AI 활용이 가능하다. 또한 LLM, sLLM, 챗GPT(ChatGPT), 메타 라마(Meta LLAMa) 등과 결합한 대화형 UI를 통해 사용자가 직관적으로 데이터를 분석하고 의사결정에 활용할 수 있다.   그림 8. 대화형 UI 및 결과 리포트   그림 9. Pino DT와 AI 모델 활용 원리   Pino DT와 현장 데이터 인터페이스 디지털 트윈에 가장 중요한 요소는 현장과의 연결이다. 대부분의 물류 전문 설루션이 현장과의 연결을 위한 인터페이스를 지원하지만, 많은 양의 데이터를 처리하면서 실시간으로 시뮬레이션하는데 어려움이 있다. Pino DT는 대용량 데이터 처리와 시뮬레이션 가속 성능이 뛰어나 실시간 모니터링 시스템까지 가능하다. <그림 10>은 현장에 있는 MES와 Pino DT가 인터페이스되는 과정이다. 현장에 있는 PLC가 MES에 데이터를 전달하고, MES는 그 데이터를 데이터베이스에 저장한다. 이를 Pino DT에서 외부 통신(IP)을 통해 데이터베이스에 접근하여 데이터를 시뮬레이션에 반영한다. 이 과정에서 현장 데이터의 상태가 중요하다. 불필요한 데이터가 있거나 로스 또는 시간 순서가 맞지 않은 경우가 대부분이다. Pino DT에서는 현장 데이터를 올바르게 정제하는 작업을 거쳐 현장과 동일한 디지털 트윈 모델을 만든다.   그림 10. 현장 데이터 인터페이스 과정   PINOKIO의 기대 효과 PINOKIO는 현장 운영 데이터를 실시간으로 디지털 트윈과 연동함으로써 모니터링이 가능하며, 전체 공장을 PC, 웹, 모바일 등 다양한 형태로 여러 사용자와 함께 직관적으로 확인하면서 공유하고 협업할 수 있다. 또한 현장과 연결된 디지털 트윈 모델을 이용하여, 미래에 발생 가능한 문제점을 예지(predictive)하고, 이러한 문제점을 사전에 해결하기 위한 선제대응(proactive) 의사결정을 가능하게 한다. 이 때 디지털 트윈을 이용한 사전예지는 온라인 시뮬레이션 기술에 기반하고, 선제대응은 AI 기술에 기반한다고 볼 수 있다. 디지털 트윈 기반 사전예지의 시간적 범위(time horizon)는 현장의 특성에 따라서 0.1시간~10시간으로 달라질 수 있으며, 문제점의 종류는 주로 생산 손실(loss), 부품의 혼류 비율 불균형, 설비 고장예지 및 물류 정체 등을 포함한다. 문제점이 예지되면 이를 해결하기 위한 즉각적인 의사결정 AI 기술을 활용하여 최적 운영을 달성함으로써 생산성, 경제성, 안정성 및 경쟁력 향상 효과가 있다.   맺음말 생산 계획 단계에서 Pino SIM을 통해 레이아웃 검증과 물류를 최적화하고, Pino SIM 모델 데이터를 생산 운영 단계에서 PINOKIO와 연계하여 현장 데이터 기반 실시간 모니터링과 미래 상황 예측 및 선제 대응함으로써 현실적이고 실제 활용 가능한 스마트한 디지털 트윈을 구축할 수 있다. 다음 호부터는 Pino SIM, Pino DT, Pino AI 등 각 제품별 소개 및 적용 사례를 소개하고자 한다.   그림 11. 디지털 트윈을 위한 플랜트 시뮬레이션과 PINOKIO     ■ 기사 내용은 PDF로도 제공됩니다. 

AMD는 연례 행사인 ‘2025 어드밴싱 AI(2025 Advancing AI)’에서 종합적이고 통합된 AI 플랫폼 비전을 발표하고, 업계 표준 기반의 개방적이고 확장 가능한 랙-스케일 AI 인프라를 공개했다. AMD는 인스팅트 MI350 시리즈 GPU를 공개하며, 생성형 AI 및 고성능 컴퓨팅 분야에서 성능, 효율성 및 확장성을 위한 새로운 기준을 내세웠다. 인스팅트 MI350X 및 MI355X GPU 및 플랫폼으로 구성된 MI350 시리즈는 세대 간 AI 컴퓨팅 성능은 4배, 추론 성능은 35배 높아져 산업 전반에 걸친 혁신적인 AI 설루션의 물꼬를 텄다. AMD는 MI355X가 높은 가격 대비 성능을 제공하며, 경쟁 설루션 대비 최대 40% 더 많은 달러당 토큰을 생성할 수 있다고 설명했다.     이번 어드밴싱 AI 행사에서 AMD는 인스팅트 MI350 시리즈 가속기, 5세대 AMD 에픽(AMD EPYC) 프로세서, AMD 펜산도 폴라라 NIC(Pensando Pollara NIC)를 활용한 엔드투엔드 오픈 스탠다드 랙 스케일 AI 인프라를 시연했다. 이는 오라클 클라우드 인프라스트럭처(OCI) 등 하이퍼스케일러에서 이미 운영되고 있고, 2025년 하반기부터 광범위하게 출시할 예정이다. AMD는 이전 세대 대비 MoE(Mixture of Experts) 모델 추론에서 최대 10배 더 높은 성능을 제공하는 MI400 시리즈 GPU를 기반으로 한 차세대 AI 랙 ‘헬리오스(Helios)’도 선공개했다. 이 시스템은 젠 6(Zen 6) 아키텍처 기반의 에픽 ‘베니스(Venice)’ CPU 및 펜산도 ‘불카노(Vulcano)’ NIC를 탑재했다. AMD는 최신 오픈소스 AI 소프트웨어 스택인 ROCm 7도 발표했다. ROCm 7은 생성형 AI와 HPC 워크로드를 충족하도록 설계되어 전반적인 개발자 경험을 끌어 올린다. ROCm 7은 업계 표준 프레임워크에 대한 지원을 높이고 하드웨어 호환성 확대, 개발 도구 및 드라이버, API, 라이브러리 등을 특징으로 내세운다. AMD AI 소프트웨어 개발 부문 부사장 공식 블로그 포스트) 인스팅트 MI350 시리즈는 AI 트레이닝 및 HPC 노드의 에너지 효율을 5년간 30배 개선한다는 AMD의 목표를 초과 달성해 결과적으로 38배라는 개선을 이뤄냈다. AMD는 2030년까지 2024년 기준 대비 랙 스케일 에너지 효율을 20배 향상시키겠다는 새로운 목표도 발표했다. 이는 2030년까지 전력 소비를 95% 줄이는 것인데, 현재 275개 이상의 랙이 필요한 일반적인 AI 모델을 학습시키는 데에 완전히 채워진 랙 1개, 혹은 그 이하의 시스템으로 처리할 수 있다는 것을 의미한다. 이외에도 AMD는 전 세계 개발자 및 오픈소스 커뮤니티를 위한 AMD 개발자 클라우드의 광범위한 출시를 발표했다. 이 클라우드는 고성능 AI 개발을 위해 설계된 완전 관리형 환경으로, 개발자가 AI 프로젝트를 빠르게 시작할 수 있도록 다양한 도구와 유연한 확장성을 제공한다. AMD는 ROCm 7과 AMD 개발자 클라우드를 통해 차세대 컴퓨팅에 대한 장벽을 낮추고 접근성을 넓힐 계획이다. 최근, 세계 10대 AI 및 모델 구축 기업 중 7곳이 AMD 인스팅트 가속기를 기반으로 프로덕션 워크로드를 운영하고 있는 가운데, 메타, 오픈AI, 마이크로소프트, xAI 등 7개 기업은 어드밴싱 AI행사에 참석해 선도적인 AI 모델 학습, 강력한 대규모 추론, AI 탐색과 개발 가속화 등 다양한 분야에서 AMD 설루션을 활용한 사례를 공유했다. 메타는 라마 3(LLAMa 3) 및 라마 4(LLAMa 4) 모델 추론에 인스팅트 MI300X를 활용 중이며, MI350의 연산 성능, TCO 대비 성능, 차세대 메모리에 대해 기대감을 나타냈다. 오픈AI의 샘 올트먼(Sam Altman) CEO는 하드웨어, 소프트웨어, 알고리즘 전반에 걸친 최적화의 중요성에 대해 설명하고, AI 인프라 분야에서 AMD와 오픈AI의 긴밀한 파트너십, MI300X 기반 애저(Azure)의 연구 및 GPT 모델, MI400 시리즈 플랫폼에서의 심층적인 설계 참여 등에 대해 논의했다. AMD의 개방형 랙 스케일 AI 인프라를 도입한 OCI는 최대 13만 1072개의 MI355X GPU로 가속화되는 제타스케일 AI 클러스터를 통해 고객들이 대규모 AI 모델을 구축, 학습, 추론할 수 있도록 지원한다고 밝혔다. 그리고 마이크로소프트는 인스팅트 MI300X가 애저 내의 독점 모델과 오픈소스 모델 모두에 사용되고 있다고 발표했다.  AMD의 리사 수(Lisa Su) CEO는 “AMD는 전례 없는 속도로 AI 혁신을 주도하고 있으며, 이는 AMD 인스팅트 MI350 시리즈 가속기 출시, 차세대 AMD ‘헬리오스’ 랙-스케일 설루션의 발전, 그리고 ROCm 개방형 소프트웨어 스택의 성장 모멘텀을 통해 더욱 부각되고 있다”면서, “우리는 개방형 표준, 공동 혁신, 그리고 AI의 미래를 정의하고자 협력하는 광범위한 하드웨어 및 소프트웨어 파트너 생태계 전반에 걸쳐 AMD의 리더십을 확대하고 있으며, 이를 통해 AI의 다음 단계로 진입하고 있다.”고 밝혔다.