아마존웹서비스(AWS)는 과학자들이 신약을 더 빠르고 체계적으로 설계하고 검증할 수 있도록 돕는 인공지능(AI) 기반 애플리케이션인 ‘아마존 바이오 디스커버리(Amazon Bio Discovery)’를 출시했다. 아마존 바이오 디스커버리는 방대한 생물학 데이터를 학습한 전문 AI 모델인 생물학 파운데이션 모델 카탈로그에 과학자들이 직접 접근할 수 있도록 지원한다. 이들 모델은 신약 후보 물질을 생성하고 평가하며, 신약 발굴 초기 단계에서 항체 치료제 연구를 앞당기는 역할을 한다. 과학자들은 아마존 바이오 디스커버리의 AI 에이전트를 통해 일상적인 언어로 연구 목표에 맞는 모델을 선택하고 입력 변수를 최적화할 수 있다. 기존 실험 데이터를 활용해 모델을 추가로 학습시켜 예측의 정확도를 높이는 것도 가능하다. 선정된 후보 물질은 실제 실험실로 보내져 합성하고 테스트하는 과정을 거치며, 그 결과는 다시 애플리케이션으로 전달된다. AWS는 이러한 방식을 통해 실험실과 연계한 지속적인 반복 실험 구조를 구현했다.     그동안 신약 발굴 분야에 AI를 도입하는 데는 어려움이 많았다. 생성형 AI의 발전으로 머신러닝 모델이 늘어났지만, 이를 다루려면 코딩 능력과 복잡한 인프라 관리 기술이 필요했기 때문이다. 수십 개의 모델 성능을 직접 비교하는 것도 쉽지 않았고, 이를 지원할 전산 생물학자도 부족한 실정이었다. 물리적 실험을 위해 데이터를 주고받는 과정 역시 여러 시스템에 흩어져 있어 관리가 까다로웠다. 아마존 바이오 디스커버리는 AI 모델과 분석 패키지를 비교 평가하는 벤치마크 라이브러리와 실험 설계를 돕는 AI 에이전트, 통합 실험실 파트너 네트워크를 제공해 이런 문제를 해결하고자 했다. 이를 통해 얻은 피드백은 다음 설계 단계를 개선하는 밑거름이 된다. 이 서비스는 제약사와 바이오테크, 학계 연구기관이 필요로 하는 데이터 보호와 보안 환경을 갖추고 있다. 데이터는 완전히 격리되어 보호되며, 고객은 모든 지식재산과 데이터에 대한 소유권을 가진다. 아마존 바이오 디스커버리는 아페리스와 볼츠 등 파트너사의 오픈소스 및 상업용 모델을 포함해 폭넓은 생물학 특화 AI 모델 카탈로그를 제공한다. 앞으로 바이오허브와 프로플루언트의 모델도 추가될 예정이다. 과학자들은 코딩 대신 자연어를 사용해 단계별 실험 과정을 구성할 수 있으며, 제조 용이성이나 온도 안정성 같은 항체 후보 물질의 특성을 평가하는 데이터셋을 활용해 최적의 모델을 고를 수 있다. 실제로 메모리얼 슬론 케터링 암센터(MSK)는 아마존 바이오 디스커버리의 AI 에이전트를 활용해 약 30만 개의 새로운 항체 분자를 설계했다. 이 가운데 유망한 후보 물질을 테스트하는 데까지 걸린 시간은 몇 주에 불과했다. 기존 방식으로 1년 가까이 걸리던 작업을 대폭 단축한 것이다. 현재 MSK를 비롯해 바이엘, 브로드 인스티튜트, 프레드허치 암센터 등이 이 서비스를 초기 도입해 활용하고 있다. AWS의 라지브 초프라 헬스케어 AI 및 생명과학 부문 부사장은 “AI 에이전트는 컴퓨터 전문 지식이 없는 연구자들도 고도화된 과학 역량을 활용할 수 있게 한다”면서, “첨단 AI와 보안 인프라의 결합은 이전에는 불가능했던 방식으로 항체 발굴을 가속화할 것”이라고 설명했다.

알리바바그룹이 최신 추론 모델인 ‘큐원3-맥스-싱킹(Qwen3-Max-Thinking)’을 공개했다. 이 모델은 강화학습(Reinforcement Learning)을 위해 1조 개 이상의 파라미터로 모델 규모를 대폭 확장했으며, 이를 통해 사실적 지식 처리, 복합 추론, 지시 수행, 인간 선호도 정렬, 에이전트 기능 등 여러 핵심 영역에서 성능 향상을 달성했다. 알리바바에 따르면 큐원3-맥스-싱킹은 총 19개 주요 벤치마크 평가에서 클로드 오푸스 4.5(Claude Opus 4.5), 제미나이 3 프로(Gemini 3 Pro), GPT-5.2-Thinking-xhigh 등 최신 고성능 모델과 비교해 경쟁력 있는 성능을 보였다. 과학·수학·코딩 문제 해결은 물론 검색 도구를 활용해 다양한 분야의 전문가급 질문을 해결하는 평가 항목에서도 높은 수준의 결과를 보였다.     큐원3-맥스-싱킹의 이런 성능은 두 가지 핵심 기술 혁신에서 비롯된다. 첫째는 적응형 도구 활용(Adaptive Tool-use) 기능으로, 모델이 상황에 따라 정보를 검색하고 내장된 코드 인터프리터를 필요 시 자동으로 호출해 활용함으로써, 사용자가 도구를 직접 선택하지 않아도 보다 효율적인 문제 해결이 가능하도록 설계됐다. 둘째는 고도화된 테스트 단계 확장(Test-time Scaling) 기법으로, 이를 통해 추론 성능을 향상시키고 주요 추론 벤치마크에서 다른 고성능 모델에 뒤지지 않는 수준의 결과를 기록했다. 기존에는 작업마다 사용자가 도구를 직접 선택해야 했던 반면, 큐원3-맥스-싱킹은 대화 중 검색(search), 메모리(memory), 코드 인터프리터(code interpreter)를 동적으로 선택·활용한다. 이러한 기능은 도구 활용을 위한 초기 미세 조정(fine-tuning) 이후, 규칙 기반(rule-based) 및 모델 기반(model-based) 피드백을 결합한 다양한 과제 학습을 통해 구현됐다. 특히 검색 및 메모리 기능은 환각(hallucination)을 줄이고 실시간 정보 접근성을 높이며, 사용자의 개인적인 필요에 맞춘 응답 생성을 가능하게 한다. 또한 코드 인터프리터는 코드 실행이나 계산 기반 추론이 필요한 복잡한 문제를 보다 효율적으로 해결할 수 있도록 지원한다. 알리바바는 여기에 더해 경험 누적형 다회차 테스트 단계 확장(experience-cumulative, multi-round test-time scaling) 전략을 도입했다. 이 방식은 이전 상호작용에서 도출된 핵심 정보를 정제·활용함으로써, 이미 알려진 결론을 반복적으로 재추론하지 않고 남아 있는 불확실성 해결에 집중하도록 설계됐다. 이를 통해 단순히 대화 기록을 그대로 참조하는 방식보다 문맥 효율(context efficiency)을 높였으며, 유사한 토큰 비용으로 기존 표준 방식인 병렬 샘플링 및 집계(parallel sampling plus aggregation) 대비 지속적으로 높은 성능을 기록했다. 큐원3-맥스-싱킹은 현재 큐원 챗(Qwen Chat)을 통해 제공되고 있으며, 모델 API는 알리바바의 생성형 AI 개발 플랫폼 ‘모델 스튜디오(Model Studio)’에서 이용할 수 있다.

엔비디아가 RTX 프로(RTX PRO) 5000 72GB 블랙웰(Blackwell) GPU를 정식 출시하고, 메모리 옵션을 확대해 데스크톱 에이전틱 AI를 지원한다고 밝혔다. 엔비디아는 이번 신제품을 통해 블랙웰 아키텍처 기반의 에이전틱, 생성형 AI 기능을 전 세계 더 많은 데스크톱과 전문가에게 제공하겠다는 계획이다. 새롭게 공개된 GPU 구성은 AI 개발자, 데이터 과학자, 크리에이티브 전문가들이 최신 대용량 메모리 기반 워크플로를 수행하는 데 필요한 하드웨어를 제공한다. AI 개발자는 기존의 엔비디아 RTX 프로 5000 48GB 모델과 이번 72GB 모델 중 선택할 수 있는 유연성을 통해, 다양한 예산과 프로젝트 요구사항에 맞춰 시스템을 최적화할 수 있다.     생성형 AI가 점차 복잡한 멀티모달 에이전틱 AI로 진화하면서, 이러한 기술을 개발하고 배포하기 위한 하드웨어 요구사항도 높아지고 있다. 그 중 하나가 메모리 용량이다. 특히 대규모 언어 모델(LLM)과 AI 에이전트를 포함한 최첨단 AI 워크플로를 실행할 때 GPU 메모리에 부담이 가해진다. 이는 모델, 컨텍스트, 윈도우, 멀티모달 파이프라인의 규모와 복잡성이 증가함에 따라 더욱 심화된다. 에이전틱 AI 시스템은 툴 체인, 검색 증강 생성(RAG), 멀티모달 이해 기능을 포함한다. 이러한 시스템은 종종 여러 AI 모델, 데이터 소스, 다양한 코드 형식을 GPU 메모리 내에서 동시에 활성화 상태로 유지해야 한다. RTX 프로 5000 72GB는 2142 TOPS의 AI 성능을 제공해 이러한 병목 현상을 해결한다. 엔비디아 블랙웰 기반으로 설계된 이 모델은 멀티 워크로드 스케줄링과 다양한 아키텍처 혁신을 통해 AI, 뉴럴 렌더링, 시뮬레이션에 높은 처리량을 제공한다. 또한 72GB의 초고속 GDDR7 메모리를 탑재해 기존 48GB 모델 대비 50% 향상된 메모리 용량을 제공함으로써, 개발자는 더 큰 규모의 모델을 로컬 환경에서 훈련, 파인튜닝(fine-tune), 프로토타이핑할 수 있다. 이를 통해 사용자는 데이터 프라이버시를 유지하면서 낮은 지연 시간과 비용 효율을 확보할 수 있다. 또한 AI 작업을 데이터센터급 인프라에 의존하지 않고, 워크스테이션에서 직접 모델을 활용할 수 있다. 엔비디아는 RTX 프로 5000 72GB가 “업계 표준 생성형 AI 벤치마크 기준으로 이미지 생성 기능이 이전 세대 엔비디아 하드웨어 대비 3.5배, 텍스트 생성 성능은 2배 향상됐다”고 소개했다.  또한 “아놀드(Arnold), 카오스 V-레이(Chaos V-Ray), 블렌더(Blender)와 같은 패스 트레이싱 엔진부터 D5 렌더(D5 Render), 레드시프트(Redshift) 등 실시간 GPU 렌더러 전반에서 렌더링 시간을 최대 4.7배 단축한다. 컴퓨터 지원 엔지니어링과 제품 설계 분야에서는 2배 이상의 그래픽 성능을 제공한다”고 전했다.

엔비디아가 엔비디아 다이나모(NVIDIA Dynamo)를 통해 멀티 노드 추론 성능과 효율을 높이고, 아마존웹서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처(OCI) 등 주요 클라우드 제공업체와 통합해 AI 추론 가속화를 지원한다고 밝혔다. 엔비디아의 젠슨 황 CEO는 ‘엔비디아 GTC 워싱턴 D.C.’에서 블랙웰이 엔비디아 호퍼(Hopper) 대비 10배의 성능을 제공해 10배의 수익을 창출할 수 있다고 강조했다. 대규모 전문가 혼합 방식(MoE) 모델과 같은 복잡한 AI 모델에서 높은 성능을 달성하려면, 수백만 명의 동시 사용자에게 서비스를 지원하고 더 빠른 응답을 제공하기 위해 추론 작업을 여러 서버(노드)로 분산시켜야 한다. 엔비디아는 다이나모 소프트웨어 플랫폼이 강력한 멀티 노드 기능을 프로덕션 환경에서 지원해, 기업이 기존 클라우드 환경 전반에서도 동일한 벤치마크 최고 수준의 성능과 효율을 달성할 수 있다고 설명했다.     단일 GPU 또는 서버에 탑재 가능한 AI 모델의 경우, 개발자들은 높은 처리량을 제공하기 위해 여러 노드에 걸쳐 동일한 모델 복제본을 병렬로 실행하는 경우가 많다. 시그널65(Signal65) 수석 애널리스트인 러스 펠로우즈(Russ Fellows)는 최근 발표한 논문에서 이 접근법이 72개의 엔비디아 블랙웰 울트라(Ultra) GPU를 활용해 110만 토큰 처리 속도(TPS)라는 처리량을 달성했다고 밝혔다. AI 모델을 확장해 다수의 동시 사용자를 실시간으로 지원하거나, 입력 시퀀스가 긴 고난도 워크로드를 처리할 때, 분산형 서빙(disaggregated serving) 기술을 활용하면 성능과 효율을 더욱 높일 수 있다. AI 모델 서비스는 입력 프롬프트를 처리하는 프리필(prefill)과 출력을 생성하는 디코드(decode) 두 단계로 구성된다. 기존 방식에서는 두 단계 모두 동일한 GPU에서 실행됐는데, 이로 인해 비효율성과 리소스 병목 현상을 유발할 수 있었다. 분산형 서빙은 이러한 문제를 각각 독립적으로 최적화된 GPU로 작업을 지능적으로 분산함으로써 해결한다. 이를 통해 워크로드의 각 부분이 해당 작업에 가장 적합한 최적화 기법을 활용해 실행되도록 보장해 전체 성능을 극대화한다. 딥시크-R1(DeepSeek-R1)과 같은 최신 대규모 AI 추론과 MoE 모델에서는 분산 서비스가 필수이다. 엔비디아는 다이나모가 이러한 분산형 서빙 기능을 GPU 클러스터 전반에서 프로덕션 규모로 손쉽게 구현할 수 있도록 한다고 전했다. 예를 들어, 베이스텐(Baseten)은 엔비디아 다이나모를 활용해 장문 코드 생성을 위한 추론 서비스 속도를 2배 가속화하고 처리량을 1.6배 증가시켰으며, 이는 추가 하드웨어 비용 없이 이뤄졌다. 이러한 소프트웨어 기반의 성능 향상은 AI 제공업체가 인텔리전스를 생산하는 비용을 절감할 수 있도록 한다. 대규모 AI 훈련에서 그랬던 것처럼, 컨테이너화된 애플리케이션 관리의 업계 표준인 쿠버네티스(Kubernetes)는 엔터프라이즈 규모의 AI 배포를 위해 수십 개 또는 수백 개의 노드에 걸쳐 분산형 서빙을 확장하는 데 최적화돼 있다. 현재 엔비디아 다이나모가 주요 클라우드 제공업체의 관리형 쿠버네티스 서비스에 통합됨에 따라, 고객은 GB200, GB300 NVL72를 포함한 엔비디아 블랙웰 시스템 전반에서 멀티 노드 추론을 확장할 수 있으며, 이는 엔터프라이즈 AI 배포에 요구되는 성능, 유연성, 안정성을 제공한다. 대규모 멀티 노드 추론을 실현하려는 움직임은 하이퍼스케일러(hyperscalers)를 넘어 확장되고 있다. 예를 들어, 네비우스(Nebius)는 엔비디아 가속 컴퓨팅 인프라를 기반으로 대규모 추론 워크로드를 처리할 수 있는 클라우드를 설계하고 있으며, 엔비디아 다이나모와 생태계 파트너로서 협력하고 있다. 분산형 AI 추론은 프리필, 디코드, 라우팅(routing) 등 서로 다른 요구사항을 가진 특수 구성 요소들을 조율해야 한다. 쿠버네티스가 직면한 과제는 더 많은 모델 복제본을 병렬로 실행하는 것이 아니라, 이 다양한 구성 요소들을 하나의 통합된 고성능 시스템으로 능숙하게 운영하는 것이다. 엔비디아 그로브(Grove)는 엔비디아 다이나모에서 사용 가능한 API(application programming interface)로, 사용자에게 전체 추론 시스템을 설명하는 단일 고수준 사양을 제공한다. 예를 들어, 사용자는 단일 사양 안에서 “프리필에는 GPU 노드 3개, 디코드에는 GPU 노드 6개가 필요하며, 가능한 가장 빠른 응답을 위해 단일 모델 복제본의 모든 노드가 동일한 고속 인터커넥트에 배치돼야 한다”고 간단히 요구할 수 있다. 해당 사양을 기반으로 그로브는 모든 복잡한 조율 작업을 자동으로 처리한다. 이때, 관련 구성 요소를 정확한 비율과 종속성을 유지한 채 함께 확장하고, 올바른 순서로 실행하며, 빠르고 효율적인 통신을 위해 클러스터 전반에 전략적으로 배치한다. AI 추론이 점점 더 분산됨에 따라, 쿠버네티스, 엔비디아 다이나모, 엔비디아 그로브의 조합은 개발자가 지능형 애플리케이션을 구축하고 확장하는 방식을 간소화한다.

AI 데이터 클라우드 기업 스노우플레이크가 기업이 데이터 수집부터 활용까지 라이프사이클 전반에서 데이터를 더욱 쉽게 통합·접근하고 거버넌스를 구현하는 AI 시대에 맞춘 강화된 엔터프라이즈 레이크하우스를 선보인다고 밝혔다. 스노우플레이크는 일관된 보안과 거버넌스 환경에서 데이터를 운영할 수 있도록 호라이즌 카탈로그(Horizon Catalog)의 기능을 강화하고, 개방형 표준 기반 데이터 수집 및 연결을 지원하는 오픈플로우(Openflow)를 정식 출시해 AI 에이전트가 데이터 기반으로 가치를 창출할 수 있도록 지원한다. 많은 기업들이 데이터 사일로와 분산된 거버넌스 체계로 인해 AI 도입에 어려움을 겪고 있다. 뮬소프트의 ‘2025 커넥티비티 벤치마크 보고서’에 따르면 IT 리더의 80%가 ‘데이터 사일로(data silo)’를 ‘성공적인 AI 전략 구축의 주요 장애 요소’로 꼽았다. 스노우플레이크는 이러한 문제를 해결하기 위해 데이터의 위치나 형식, 클라우드 환경에 관계없이 일관된 보안과 거버넌스를 적용할 수 있는 통합 프레임워크 스노우플레이크 호라이즌 카탈로그를 강화했다. 이번 업데이트를 통해 호라이즌 카탈로그는 아파치 폴라리스 인큐베이팅(Apache Polaris Incubating) 및 아파치 아이스버그 레스트 카탈로그(Apache Iceberg REST Catalog)의 오픈 API를 통합했다. 기업은 단일 플랫폼 내에서 상호운용형 접근 제어와 보안을 중앙화해 관리할 수 있으며, 외부 엔진에서도 아파치 아이스버그 테이블(Apache Iceberg tables)의 데이터를 안전하게 조회하고 생성·관리할 수 있다. 또한, 관리형 아이스버그 테이블을 대상으로 한 비즈니스 연속성 및 재해 복구(Business Continuity and Disaster Recovery : BCDR) 기능도 퍼블릭 프리뷰로 제공돼, 엔터프라이즈 레이크하우스 전반에서 기업의 핵심 데이터를 더 안전하게 보호할 수 있다. 기업은 단일 카탈로그 내에서 데이터를 효율적으로 공유·연결·활성화할 수 있으며, 머클, 릴레이셔널AI 등 주요 글로벌 고객은 개방형 표준 기반 환경에서 데이터와 AI 워크플로를 안전하게 연결·관리할 수 있는 유연성을 확보했다.     이번에 정식 출시된 개방형 표준 기반 오픈플로우를 통해 기업은 다양한 소스의 데이터 통합 및 수집(ingest)을 안전하게 자동화할 수 있고, 엔터프라이즈 레이크하우스에서 통합해 관리할 수 있게 됐다. 스노우플레이크는 브라이트파이어, 이브이고, 인텔리틱스 등 수백 여 곳의 글로벌 고객이 오픈플로우를 활용해 데이터 통합과 AI 기반 의사결정을 가속화하고 있다고 밝혔다. 또한, 오라클과의 파트너십(현재 퍼블릭 프리뷰)으로 통합 기능을 확장하고 있으며, 대표적으로 준실시간으로 스트리밍하는 변경 데이터 캡처(Change Data Capture : CDC) 기능을 제공해 스노우플레이크 내에서 업데이트 가능하다. AI의 확산으로 기업들은 더욱 빠르고 상호작용적인 데이터 경험을 제공해야 하는 과제에 직면하고 있다. 스노우플레이크는 이에 대응해 초 단위 내로 데이터를 분석할 수 있는 인터랙티브 테이블과 인터랙티브 웨어하우스 기능도 새롭게 선보였다. 두 기능은 지연을 최소화하고, 여러 사용자의 동시 접근에도 안정적인 성능을 유지하며 분석 결과를 도출해, 사용자는 데이터를 실시간으로 탐색하고 즉각적인 인사이트를 확보할 수 있다. 이를 통해 기업은 복잡한 인프라 관리 없이도 스노우플레이크의 통합 거버넌스 환경에서 빠르고 지능적인 AI 애플리케이션을 운영할 수 있으며, 즉각적인 인사이트와 스트리밍 인텔리전스를 구현할 수 있는 엔드투엔드 설루션을 확보하게 됐다. 한편, 스노우플레이크는 최근 인수한 크런치데이터를 기반으로 완전관리형 데이터베이스 서비스 스노우플레이크 포스트그레스(Snowflake Postgres)도 퍼블릭 프리뷰로 공개한다고 전했다. 기업은 트랜잭션과 분석 데이터의 분리로 인한 기존 한계를 해소하고, 단일 플랫폼 내에서 트랜잭션·하이브리드·분석 워크로드를 동시에 운영할 수 있다. 또한, AI 에이전트 및 지능형 애플리케이션을 빠르고 효율적으로 구축할 수 있다. 포스트그레스를 레이크하우스와 통합할 수 있는 확장 기능 세트 pg_lake도 오픈소스로 공개했다. 이를 통해 개발자는 익숙한 포스트그레스 환경에서 표준 SQL만으로 아파치 아이스버그 테이블을 직접 조회, 관리, 작성할 수 있다. 이외에도 하이브리드 테이블(Hybrid Tables) 기반의 유니스토어(Unistore) 기능을 확장해 트랜잭션·분석 워크로드를 통합하고 있다. 이는 현재 마이크로소프트 애저에서 정식 출시되었으며, 트라이 시크릿 시큐어(Tri-Secret Secure) 및 주기적 키 재설정(Periodic Rekeying) 기능을 추가해 보안성과 규제 대응 역량을 한층 강화했다. 스노우플레이크의 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 수석부사장은 “엔터프라이즈 레이크하우스는 기업이 데이터를 관리하고 AI 시대에 맞게 인사이트로 바꾸는 새로운 단계”라면서, “호라이즌 카탈로그의 기능을 강화해 기업은 일관된 거버넌스에서 모든 데이터를 안전하게 연결하고 활용할 수 있게 됐고, 오픈플로우와 스노우플레이크 포스트그레스를 함께 사용하면 고객은 데이터를 더 쉽게 통합하고 필요한 인사이트를 빠르게 얻을 수 있다”고 전했다.

인텔은 ML커먼스(MLCommons)가 발표한 최신 MLPerf 추론 v5.1 벤치마크에서 P코어를 탑재한 인텔 제온(Intel Xeon) 및 인텔 아크 프로 B60(Intel Arc Pro B60) 그래픽으로 구성된 인텔 GPU 시스템(코드명 프로젝트 배틀매트릭스)의 추론용 워크스테이션이 달성한 결과를 공개했다. 6가지 주요 벤치마크 테스트 결과, 라마(Llama)4 80B 모델 추론 처리량에서 인텔 아크 프로 B60은 엔비디아 RTX 프로 6000 및 L40S에 비해 각각 최대 1.25배 및 최대 4배의 가격 대비 성능 우위를 보였다. 인텔은 “이는 하이엔드 워크스테이션 및 에지 애플리케이션 전반에 걸쳐 새로운 AI 추론 워크로드를 처리하는 인텔 기반 플랫폼의 성능과 접근 우수성을 보여주는 결과”라고 평가했다. 인텔의 리사 피어스(Lisa Pearce) 소프트웨어, GPU 및 NPU IP 그룹 총괄은 “MLPerf v5.1 벤치마크 결과는 인텔의 GPU 및 AI 전략을 강력히 입증하고 있다. 새로운 추론 최적화 소프트웨어 스택을 탑재한 아크 프로 B-시리즈 GPU는 기업과 개발자가 강력하면서도 설정하기 쉽고, 합리적인 가격에 확장 가능한 추론 워크스테이션으로 AI 분야에서 경쟁력을 높여준다”고 밝혔다.     이전까지는 높은 추론 성능을 제공하면서 데이터 프라이버시 침해에서 자유로운 플랫폼을 우선시하는 전문가들이 독점적인 AI 모델에 의한 과도한 구독 비용 부담 없이 LLM(대형 언어 모델)을 배포하기에 필요한 역량을 갖추기 위한 선택지가 제한적이었다. 새로운 인텔 GPU 시스템은 최신 AI 추론 요구사항을 충족하도록 설계되었으며, 풀스택 하드웨어와 소프트웨어를 결합한 올인원(all-in-one) 추론 플랫폼을 제공한다. 인텔 GPU 시스템은 리눅스 환경을 위한 새로운 컨테이너 기반 설루션을 통해 간소화된 도입과 사용 편의성을 목표로 한다. 또한 멀티 GPU 스케일링 및 PCle P2P 데이터 전송으로 높은 추론 성능을 발휘하도록 최적화되었으며, ECC, SRIOV, 텔레메트리(telemetry) 및 원격 펌웨어 업데이트 등과 같은 엔터프라이즈급 안전성 및 관리 용이성을 갖추고 있다. CPU는 AI 시스템에서 계속해서 중요한 역할을 수행하고 있다. 오케스트레이션 허브로서 CPU는 데이터 전처리, 전송 및 전반적인 시스템 조율을 담당한다. 지난 4년간 인텔은 CPU 기반 AI 성능을 지속적으로 향상시켜왔다. P 코어를 탑재한 인텔 제온 6는 MLPerf 추론 v5.1에서 이전 세대 대비 1.9배의 성능 향상을 달성했다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 이슈인 AI 에이전트(agent) 개발 시 필수적인 함수 호출(function call) 방법을 오픈소스를 이용해 구현해 본다. 이를 위해 구글에서 공개한 젬마 3(Gemma 3) LLM(대규모 언어 모델)과 역시 오픈소스인 LLM 관리도구 올라마(Ollama)를 활용하여 간단한 AI 에이전트를 로컬 PC에서 개발해본다. 아울러, 이런 함수 호출 방식의 한계점을 개선하기 위한 설루션을 나눔한다.   ■  강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/ GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   이번 호의 글은 다음 내용을 포함한다. AI 에이전트 구현을 위한 사용자 도구 함수 호출 방법 올라마를 통한 젬마 3 사용법 채팅 형식의 프롬프트 및 메모리 사용법 그라디오(Gradio) 기반 웹 앱 개발   그림 1. AI 에이전트 내부의 함수 호출 메커니즘(Akriti, 2025)   이 글의 구현 코드는 다음 링크에서 확인할 수 있다. AI_agent_simple_function_call   젬마 3 모델의 특징 젬마 3는 구글이 개발해 2025년 3월 10일에 출시한 LLM이다. 차세대 경량 오픈 멀티모달 AI 모델로, 텍스트와 이미지를 동시에 처리할 수 있는 기능을 갖추고 있다. 이 모델은 다양한 크기와 사양으로 제공되어 단일 GPU 또는 TPU 환경에서도 실행 가능하다. 젬마 3는 1B, 4B, 12B, 27B의 네 가지 모델 크기로 제공되며, 각각 10억, 40억, 120억, 270억 개의 파라미터를 갖추고 있다. 1B 모델은 텍스트 전용으로 32K 토큰의 입력 컨텍스트를 지원하고, 4B/12B/27B 모델은 멀티모달 기능을 지원하며 128K 토큰의 입력 컨텍스트를 처리할 수 있다. 이는 이전 젬마 모델보다 16배 확장된 크기로, 훨씬 더 많은 양의 정보를 한 번에 처리할 수 있게 해 준다. 이 모델은 텍스트와 이미지 데이터를 동시에 처리하고 이해하는 멀티모달 기능을 제공한다. 이미지 해석, 객체 인식, 시각적 질의응답 등 다양한 작업을 수행할 수 있으며, 텍스트 기반 작업에 시각적 정보를 효과적으로 활용할 수 있도록 지원한다.   그림 2. 출처 : ‘Welcome Gemma 3 : Google's all new multimodal, multilingual, long context open LLM(Hugging Face)’   그림 3. 출처 : ‘Welcome Gemma 3 : Google's all new multimodal, multilingual, long context open LLM(Hugging Face)’   젬마 3는 140개 이상의 언어를 지원하여 전 세계 다양한 언어 사용자를 대상으로 하는 AI 애플리케이션 개발에 매우 유리하다. 사용자는 자신의 모국어로 젬마 3와 상호작용할 수 있으며, 다국어 기반의 텍스트 분석 및 생성 작업도 효율적으로 수행할 수 있다. 이 모델은 다양한 작업 수행 능력을 갖추고 있다. 질문–답변, 텍스트 요약, 논리적 추론, 창의적인 텍스트 형식 생성(시, 스크립트, 코드, 마케팅 문구, 이메일 초안 등), 이미지 데이터 분석 및 추출 등 광범위한 자연어 처리 및 컴퓨터 비전 관련 작업을 수행할 수 있다. 또한, 함수 호출 및 구조화된 출력을 지원하여 개발자가 특정 작업을 자동화하고 에이전트 기반의 경험을 구축하는 데 도움을 준다. 젬마 3는 다양한 도구 및 프레임워크와 원활하게 통합된다. Hugging Face Transformers, Ollama, JAX, Keras, PyTorch, Google AI Edge, UnSloth, vLLM, Gemma. cpp 등 다양한 개발 도구 및 프레임워크와 호환되어 개발자들이 자신이 익숙한 환경에서 젬마 3를 쉽게 활용하고 실험할 수 있다. 이 모델은 다양한 벤치마크 테스트에서 동급 모델 대비 최첨단 성능을 입증했다. 특히, Chatbot Arena Elo Score에서 1338점을 기록하며, 여러 오픈 소스 및 상용 모델보다 높은 성능을 보였다.  젬마 3는 오픈 모델로, 개방형 가중치를 제공하여 사용자가 자유롭게 조정하고 배포할 수 있다. 캐글(Kaggle)과 허깅 페이스(Hugging Face)에서 다운로드 가능하며, Creative Commons 및 Apache 2.0 라이선스를 따름으로써 개발자와 연구자에게 VLM 기술에 대한 접근성을 높여준다.   개발 환경 개발 환경은 다음과 같다. 미리 설치 및 가입한다. 오픈 LLM 관리 도구 올라마 : https://ollama.com/download/ windows LLM 모델 젬마 3 : https://ollama.com/search dashboard 웹 검색 도구 Serper 서비스 가입 : https://serper.dev/ 설치되어 있다면 다음 명령을 터미널(윈도우에서는 도스 명령창)에서 실행한다. ollama pull gemma3:4b     ■ 자세한 기사 내용은 PDF로 제공됩니다.

어도비가 새로운 기업용 애플리케이션인 ‘어도비 LLM 옵티마이저(Adobe LLM Optimizer)’를 발표했다. 생성형 AI 구동 인터페이스를 통해 브랜드와 소통하는 소비자가 증가하는 가운데, 이 애플리케이션은 기업이 새로운 방식으로 고객과 접점을 확보할 수 있도록 지원한다. 기업은 웹과 모바일 등 주요 디지털 채널 전반에서 경험을 관리하고 최적화하기 위해 어도비 익스피리언스 클라우드(Adobe Experience Cloud) 애플리케이션을 활용해 왔다. 새로운 어도비 LLM 옵티마이저를 통해, 기업은 변화하는 소비자 행동에 보다 빠르게 대응하고 AI 시대에 브랜드 인지도를 유지할 수 있다. 어도비 LLM 옵티마이저는 AI 기반 트래픽을 모니터링하고 브랜드 가시성을 벤치마크 대비 평가할 수 있는 다양한 기능을 제공한다. 또한 노출 가능성, 참여도 및 전환율 향상을 위한 실질적인 제안을 하고, 이를 기업의 디지털 채널 전반에 신속히 적용할 수 있도록 지원한다.     브랜드는 어도비 LLM 옵티마이저를 통해 AI 기반 트래픽 증대 및 모니터링과 콘텐츠 최적화를 통한 노출 가능성 향상 등의 작업을 수행할 수 있다. LLM 옵티마이저는 AI 구동 인터페이스에서 사용자 질의에 대한 응답으로 활용되고 있는 자사 콘텐츠(예 : 웹사이트 정보)를 식별할 수 있다. 이를 통해 브랜드가 브라우저 및 채팅 서비스에서 어떻게 노출되고 있는지를 실시간으로 파악할 수 있다. 또한 높은 가치를 지닌 검색어 전반에 걸쳐 경쟁사 대비 가시성을 나란히 비교하는 벤치마킹 기능을 통해 콘텐츠 전략 등의 영역에서 조직 프로세스에 정보를 제공하는 역할을 할 수 있다. 권장 엔진은 신뢰할 수 있는 출처의 양질의 정보 성 콘텐츠를 포함해, LLM이 우선순위를 둔 속성을 기반으로 웹 페이지, FAQ 와 같은 자사 채널뿐 아니라 위키피디아(Wikipedia), 공개 포럼 등 외부 채널 전반에서 브랜드 가시성의 부족한 부분을 감지하고 개선 사항을 제시한다. 팀은 제안에 따라 즉시 조치를 취하고 클릭 한 번으로 변경 사항을 적용할 수 있다. 또한 AI 가시성을 사용자 행동 및 비즈니스 성과에 연결하는 기여도 역량을 통해 팀이 참여도, 전환율 및 다운스트림 트래픽 지표에 미치는 영향을 입증할 수 있도록 지원한다. 또한 바로 사용 가능한 리포팅 기능을 활용해 내부 이해관계자와 신속하게 인사이트를 공유하고 비즈니스에 미치는 영향을 전달할 수 있다. LLM 옵티마이저는 SEO 담당자, 콘텐츠 전략가, 디지털 마케터, 웹 퍼블리셔 등 다양한 역할의 기존 워크플로우를 지원하도록 설계돼, 조직 전체가 AI 기반 트래픽에 대한 인사이트와 제안을 쉽게 활용할 수 있도록 돕는다. 또한 이 애플리케이션은 에이전트 투 에이전트(Agent-to-Agent : A2A) 및 모델 컨텍스트 프로토콜(Model Context Protocol : MXP)과 같은 기업용 프레임워크를 지원해, LLM 옵티마이저를 서드파티 설루션이나 에이전시 파트너와도 원활하게 통합할 수 있는 경로를 제공한다. 어도비 LLM 옵티마이저는 단일 애플리케이션으로 활용 가능할 뿐만 아니라 콘텐츠 관리 시스템인 어도비 익스피리언스 매니저 사이트(Adobe Experience Manager Sites)와도 네이티브로 통합되어 있다. 어도비의 로니 스타크(Loni Stark) 익스피리언스 클라우드 전략 및 제품 부문 부사장은 “생성형 AI 인터페이스는 고객이 브랜드를 인지하고 소통하며, 구매를 결정하는 전 과정에서 핵심적인 도구로 자리 잡고 있다”면서, “어도비 LLM 옵티마이저는 브랜드가 새로운 환경 속에서도 자신 있게 대응하고, 브랜드 가시성을 높여 중요한 순간에 성공할 수 있도록 지원한다”고 말했다.

웨스턴디지털(WDC)은 컴퓨텍스 2025에서 클라우드 서비스 제공업체(CSP), 엔터프라이즈, 서비스형 스토리지(STaaS) 기업을 위한 AI/ML, 분산형 스토리지, 소프트웨어 정의 스토리지(SDS) 기반의 차세대 스토리지 인프라 비전을 제시했다. 웨스턴디지털 플랫폼 사업부는 고신뢰성의 대용량 JBOD(Just a Bunch of Disks)부터 AI 워크로드에 최적화된 초고속 EBOF(Ethernet Bunch of Flash) NVMe-oF 기반 분산형 스토리지 설루션까지, HDD 및 SSD를 기반으로 한 스토리지 설루션을 통해 높은 수준의 처리 성능을 요구하는 워크로드를 지원하고 있다. 웨스턴디지털은 고객의 인프라 확장을 용이하게 만들고 파트너 의존도를 줄이기 위해 ▲ 오픈 컴포저블 컴패터빌리티 랩(Open Composable Compatibility Lab, 이하 OCCL) 확장 ▲신규 울트라스타 데이터102 ORv3 JBOD(Ultrastar Data102 ORv3 JBOD) ▲단일 포트 SSD 기반 오픈플렉스 데이터24 4100(OpenFlex Data24 4100) ▲오픈플렉스 데이터24 NVMe-oF 스토리지 플랫폼(OpenFlex Data24 NVMe-oF storage platform)에 대한 SSD 인증도 확대했다고 밝혔다. 미국 콜로라도 스프링스에 위치한 웨스턴디지털의 OCCL은 패브릭 연결 기기 및 소프트웨어 정의 스토리지(SDS)의 업계 전반 상호운용성을 향상시키기 위한 테스트 환경을 제공한다. 클라우드 서비스 제공업체와 엔터프라이즈 고객을 위해 설립된 OCCL은 실제 환경과 유사한 워크로드를 시뮬레이션할 수 있는 벤더 중립 테스트 공간으로, 시스템 호환성, 상호운용성, 에너지 효율성, 성능 최적화에 대한 핵심 인사이트를 제공한다. OCCL 2.0은 컴포저블 분리형 인프라의 효율적인 구축 및 운영을 위한 세부 설루션 아키텍처를 제공하며, 기업이 효율과 확장성을 극대화할 수 있도록 분산형 스토리지 운영에 대한 모범 사례를 제시한다. 또한, OCCL 2.0은 컴포저블 인프라 분야에서 전략적 인사이트와 기술 혁신을 지속적으로 제공하며, SSD 파트너의 성능을 평가한 종합적인 벤치마크 결과를 제공해 고객이 최적의 스토리지 설루션을 채택하도록 지원한다. 웨스턴디지털은 “이러한 개선을 통해 OCCL은 고객 및 공급업체와의 협업을 더욱 강화하고, 아키텍처 설계의 핵심 기준을 마련하기 위한 벤치마킹 역할을 수행하게 된다. 또한, 독점적 구조를 대체할 수 있는 새로운 개방형 생태계의 도입과 확산을 주도하는 업계 선도 테스트 랩으로서의 입지를 더욱 공고히 할 것”이라고 전했다.   ▲ 오픈플렉스 데이터24 4000 시리즈   웨스턴디지털은 컴퓨텍스에서 자사의 ‘Data24 4200’ 시리즈를 확장한 신제품인 ‘오픈플렉스 데이터24 4100 EBOF(OpenFlex Data24 4100 EBOF)’를 선보인다. 이번 신규 제품은 기존에 출시된 데이터24 4200 듀얼 포트 SSD 모델을 보완하는 구성으로, 고가용성이 필수적이지 않은 클라우드 환경 등을 위해 설계되었다. 데이터24 4100은 단일 포트 SSD를 사용해 각 SSD에 단일 연결을 통해 성능을 최적화하며, 스토리지 시스템 미러링을 통해 이중화도 구현한다. 이를 통해 고객은 스토리지 인프라를 최적화할 수 있는 다양한 선택지를 확보할 수 있다. 이 제품은 2025년 3분기에 출시될 예정이다. 웨스턴디지털은 증가하는 클라우드 데이터센터 수요를 충족시키기 위해 ‘울트라스타 데이터102 3000 Orv3 JBOD(Ultrastar Data102 3000 ORv3 JBOD)’를 출시할 예정이다. 이번 신제품은 글로벌 오픈 컴퓨트 프로젝트(Open Compute Project, OCP) 이니셔티브에 부합하도록 Open Rack v3(ORv3) 사양을 충족하며, 특히 랙 설계와 전원 공급 규제를 중심으로 설계되었다. 또한 데이터102 3000 ORv3는 동일 시리즈의 컨트롤러, 인클로저, CRU(고객 교체용 부품) 등 핵심 부품을 공통으로 사용해 설계 효율을 높였으며, FIPS 140-3 Level 3 및 TAA 인증을 모두 충족해 신뢰성과 안정성을 제공한다. 이 제품은 올해 4분기 출시 예정이다.   ▲ 울트라스타 데이터102 ORv3   웨스턴디지털 플랫폼 사업부는 고객이 스토리지 인프라를 구축할 때 더욱 유연하고 폭 넓은 선택이 가능하도록 지원한다. 멀티 SSD 벤더 전략을 통해 다푸스토어, 키옥시아, 파이슨, 샌디스크, 스케일플럭스 등 주요 업체들의 SSD를 공식 인증했으며, 추가 벤더에 대한 인증 절차도 진행 중이다. 이를 통해 고객은 다양한 SSD 브랜드를 선택해 최적의 성능과 비용 효율성을 갖춘 스토리지 시스템을 구성할 수 있다.  웨스턴디지털의 커트 챈(Kurt Chan) 플랫폼사업부 부사장 겸 총괄은 “워크로드가 점점 더 복잡해지고 AI가 인프라 수요를 가속화하는 지금, 더 스마트하게 확장하고 더 빠르게 대응하며 자신 있게 구축할 수 있는 역량이 미래를 좌우할 것”이라면서, “웨스턴디지털은 OCCL 2.0과 최신 플랫폼 혁신을 통해 변화에 대응하는 것을 넘어, 분산형·소프트웨어 정의 데이터센터의 새로운 기준을 제시한다”고 말했다. 이어 그는 “앞으로도 변화하는 데이터 환경에 맞춰 고객이 유연하게 확장 가능한 인프라를 구축할 수 있도록, 개방적이고 유연한 아키텍처 제공에 최선을 다하겠다”고 덧붙였다.

인텔은 ML커먼스(MLCommons)가 발표한 최신 MLPerf 추론 v5.0(MLPerf Interference v5.0) 벤치마크에서 인제온 6 P-코어(Intel Xeon 6 with Performance-cores)의 성능을 입증했다고 밝혔다. 6가지 주요 벤치마크에서 진행된 테스트 결과, 제온 6는 이전 세대 프로세서 대비 인공지능(AI) 성능이 1.9배 향상된 것으로 나타났다. AI 도입이 가속화됨에 따라, CPU는 데이터 전처리, 전송, 시스템 오케스트레이션 등 핵심 기능을 관리하는 호스트 노드로서 AI 시스템 운영에 필수 요소로 자리잡고 있다. 인텔은 MLPerf에 서버용 CPU 성능 결과를 제출했는데, 인텔 제온 6 P-코어는 MLPerf 추론 v5.0의 ResNet50, RetinaNet, 3D-UNet 및 신규 GNN-RGAT를 포함한 주요 벤치마크에서 5세대 인텔 제온 프로세서 대비 평균 1.9배 높은 성능을 기록했다. 이런 결과에 대해 인텔은 “제온 6가 AI에 적합한 CPU임을 입증하는 동시에, 소형 언어 모델(SLM)을 위한 경쟁력 있는 대안이 될 수 있음을 보여준다”고 설명했다.     인텔은 지난 2021년 3세대 인텔 제온 프로세서를 MLPerf에 처음 제출한 이후 ResNet50 성능은 15 배 향상됐으며, 소프트웨어 최적화를 통해 GPT-J에서는 22%, 3D U-Net에서는 11% 추가 성능 향상을 달성했다고 소개했다. 또한, “새로운 MLPerf 결과는 OEM(주문자 상표부착 생산) 및 생태계 파트너 설루션 전반에서 인텔 제온의 성능을 입증한다”면서, “AI 워크로드가 엔터프라이즈 시스템과 점점 더 통합됨에 따라, OEM은 고객이 최상의 AI 성능을 구현할 수 있도록 제온 기반 시스템을 우선 채택하고 있다”고 전했다. 인텔은 시스코, 델 테크놀로지스, 콴타, 슈퍼마이크로 등 4개의 주요 OEM 파트너사와 협력해 인텔 제온 6 P코어에 대한 MLPerf 결과를 함께 제출하며 다양한 AI 워크로드와 배포 역량을 선보였다. 인텔의 데이터센터 및 AI 그룹을 임시 총괄하는 카린 엡시츠 시갈(Karin Eibschitz Segal) 부사장은 “이번 MLPerf 벤치마크 결과는 인텔 제온 6가 고성능과 에너지 효율의 완벽한 균형을 제공하는 AI 워크로드에 가장 적합한 중앙처리장치(CPU)임을 입증한다”면서, “세대를 거듭할수록 다양한 AI 벤치마크에서도 꾸준히 성능이 개선되고 있어, 인텔 제온이 여전히 AI 시스템용 CPU 시장에서 선도적인 입지를 유지하고 있음을 보여준다”고 설명했다.