텐센트는 AI 기반 차세대 3D 모델링 툴을 제공하는 훈위안(Hunyuan) 3D 생성 엔진을 글로벌 출시한다고 발표했다. 이번 출시를 통해 사용자는 텍스트 설명, 이미지, 스케치 등 멀티모달(multimodal) 입력만으로 고품질 3D 애셋을 즉시 생성할 수 있게 됐다. 텐센트는 이를 통해 기존 수일에서 수주까지 소요되던 제작 기간을 몇 분으로 단축하고, 전통적 워크플로의 복잡성도 해소할 것으로 기대하고 있다. 훈위안 3D 인터내셔널 플랫폼은 전무가 수준의 모델 편집 및 조정 기능을 제공하며, OBJ 및 GLB와 같은 주요 3D 포맷 출력을 지원한다. 또한, 유니티, 언리얼 엔진, 블렌더 등 전문 소프트웨어와도 손쉽게 연동되어 다양한 워크플로에 유연하게 적용할 수 있으며, 생성된 3D 애셋을 실제 프로젝트에 즉시 활용할 수 있다. 훈위안 3D는 ▲자연어 기반 설명으로 스타일, 형태, 소재 등 정밀하게 반영한 3D 모델을 생성하는 텍스트 투 3D(Text-to-3D) ▲최대 네 장의 멀티뷰 이미지를 업로드하여 형태, 질감을 갖춘 높은 정확도의 3D 모델을 재현하는 이미지 투 3D(Image-to-3D) ▲간단한 스케치를 기반으로 색상, 분류, 소재 등 텍스트 속성을 추가해 완전한 3D 모델로 변환하는 스케치 투 3D(Sketch-to-3D) ▲삼각형 및 사각형 폴리곤을 모두 지원하며, 효율적 렌더링 및 기술 표준 준수를 위해 메시 토폴로지(mesh topology)를 자동 최적화하는 스마트 토폴로지(Smart Topology) 등의 멀티모달 입력 방식을 지원한다.     또한, 텐센트의 클라우드 사업 부문인 텐센트 클라우드는 글로벌 기업 고객을 대상으로 훈위안 3D 모델 API를 제공한다. 기업은 게임 개발, 이커머스 프로모션, 영상 특수효과, 광고 제작, 소셜미디어 콘텐츠 제작, 3D 프린팅 등 다양한 워크플로에 고급 3D 생성 기능을 손쉽게 통합할 수 있다. 훈위안 3D 글로벌 버전 사용자는 매일 20회의 무료 생성이 가능하며, 텐센트 클라우드를 통해 훈위안 3D 모델 API를 연동한 기업 사용자는 3D 애셋 생성에 사용할 수 있는 200 크레딧을 무료로 제공받는다. 텐센트가 자체 개발한 생성형 AI 대형 모델 훈위안 3D는 훈위안 시리즈 중에서도 가장 발전된 모델로 평가된다. 2024년 11월 오픈소스 3D 모델로 공개된 이래 현재까지 허깅페이스(Hugging Face)에서 누적 300만 건 이상의 커뮤니티 다운로드를 기록했다. 훈위안 3D 시리즈는 이후 지속적인 업데이트를 통해 생성 품질과 모델링 정확도를 향상시켜왔다. 현재 훈위안 3D 3.0은 오브젝트 중심의 고품질 3D 애셋 제작에 특화되어 있으며, 훈위안 3D 월드(Hunyuan3D World) 모델은 대규모 인터랙티브 환경 구축을 지원해 게임, VR, 디지털 콘텐츠 제작 분야에서 새로운 창작 가능성을 열고 있다. 현재 중국 본토에서는 글로벌 실시간 3D 엔진 기업 유니티 차이나(Unity China), 소비자용 3D 프린팅 기업 뱀부랩(Bambu Lab), AI 콘텐츠 제작 플랫폼 립립(Liblib) 등 150개 이상의 기업이 텐센트 클라우드를 통해 훈위안 3D 모델을 도입했다.

엔비디아가 양자화를 통해 스테이블 디퓨전 3.5(Stable Diffusion 3.5) 모델의 성능을 향상시켰다고 발표했다. 생성형 AI는 사람들이 디지털 콘텐츠를 만들고, 상상하며, 상호작용하는 방식을 혁신적으로 바꾸고 있다. 그러나 지속적으로 AI 모델의 기능이 향상되고 복잡성이 증가면서 더 많은 VRAM이 요구되고 있다. 예를 들어 기본 스테이블 디퓨전 3.5 라지(Large) 모델은 18GB 이상의 VRAM을 사용하므로 고성능 시스템이 아니면 실행이 어렵다. 엔비디아는 이 모델에 양자화를 적용하면 중요하지 않은 레이어를 제거하거나 더 낮은 정밀도로도 실행할 수 있다고 설명했다. 엔비디아 지포스(GeForce) RTX 40 시리즈와 에이다 러브레이스(Ada Lovelace) 세대 엔비디아 RTX PRO GPU는 FP8 양자화를 지원해 이러한 경량화된 모델을 실행할 수 있다. 또한 최신 엔비디아 블랙웰(Blackwell) GPU는 FP4도 지원한다.     엔비디아는 스태빌리티 AI(Stability AI)와 협력해 최신 모델인 스테이블 디퓨전 3.5 라지를 FP8로 양자화해 VRAM 사용량을 40%까지 줄였다. 여기에 엔비디아 텐서RT(TensorRT) 소프트웨어 개발 키트(SDK)를 통한 최적화로 스테이블 디퓨전 3.5 라지와 미디엄 모델의 성능을 2배로 끌어올렸다. 또한, 텐서RT가 RTX AI PC 환경을 위해 새롭게 설계됐다. 높은 성능과 JIT(Just-In-Time), 온디바이스 엔진 구축 기능을 더하고 패키지 크기를 8배 줄여 1억 대 이상의 RTX AI PC에 AI를 원활하게 배포할 수 있게 됐다. RTX용 텐서RT는 이제 개발자를 위한 독립형 SDK로 제공된다. 엔비디아와 스태빌리티 AI는 인기 있는 AI 이미지 생성 모델 중 하나인 스테이블 디퓨전 3.5의 성능을 높이고 VRAM 요구 사항을 낮췄다. 엔비디아 텐서RT 가속과 양자화 기술을 통해, 사용자는 엔비디아 RTX GPU에서 이미지를 더 빠르고 효율적으로 생성하고 편집할 수 있다. 스테이블 디퓨전 3.5 라지의 VRAM 한계를 해결하기 위해 이 모델은 텐서RT를 활용해 FP8로 양자화됐다. 그 결과, VRAM 요구량이 40% 줄어 11GB면 충분해졌다. 즉, 단 한 대의 GPU가 아닌 다섯 대의 지포스 RTX 50 시리즈 GPU가 메모리에서 모델을 동시에 실행할 수 있게 됐다. 또한 스테이블 디퓨전 3.5 라지와 미디엄 모델은 텐서RT를 통해 최적화됐다. 텐서RT는 텐서 코어를 최대한 활용할 수 있도록 설계된 AI 백엔드로, 모델의 가중치와 모델 실행을 위한 명령 체계인 그래프를 RTX GPU에 맞게 최적화한다.  FP8 텐서RT는 스테이블 디퓨전 3.5 라지의 성능을 BF16 파이토치 대비 2.3배 향상시키면서 메모리 사용량은 40% 줄여준다. 스테이블 디퓨전 3.5 미디엄의 경우, BF16 텐서RT는 BF16 파이토치 대비 1.7배 더 빠르다. FP8 텐서RT를 적용한 결과, 스테이블 디퓨전 3.5 라지 모델은 BF16 파이토치(PyTorch)에서 실행했을 때보다 성능이 2.3배 향상됐고, 메모리 사용량은 40% 감소했다. 스테이블 디퓨전 3.5 미디엄 모델도 BF16 텐서RT를 통해 BF16 파이토치 대비 1.7배 더 높은 성능을 발휘했다. 최적화된 모델은 현재 스태빌리티 AI의 허깅페이스(Hugging Face) 페이지에서 이용할 수 있다. 또한 엔비디아와 스태빌리티 AI는 스테이블 디퓨전 3.5 모델을 엔비디아 NIM 마이크로서비스 형태로도 출시할 계획이다. 이를 통해 크리에이터와 개발자는 다양한 애플리케이션에서 보다 쉽게 모델을 접근하고 배포할 수 있게 된다. 이 NIM 마이크로서비스는 오는 7월 출시될 예정이다.

알리바바가 영상 생성 및 편집을 위한 최신 오픈소스 AI 모델인 ‘Wan2.1-VACE(Video All-in-one Creation and Editing)’를 공식 발표했다. 이번 모델은 다양한 영상 처리 기능을 하나로 통합해 영상 제작 과정을 간소화하고, 크리에이터의 효율성과 생산성을 극대화하는 데 중점을 두었다. Wan2.1-VACE는 알리바바의 영상 생성 특화 대규모 모델 시리즈인 ‘Wan2.1’에 속하며, 영상 생성 및 편집 기능을 갖춘 오픈소스 통합 모델이다. 이 모델은 텍스트, 이미지, 영상 등 다양한 멀티모달 입력을 기반으로 영상 생성이 가능하다. 이미지나 특정 프레임을 참조해 편집하거나, 영상 내 선택 영역을 수정·재구성하고, 시공간 확장까지 지원하는 고급 편집 기능을 제공한다. 이를 통해 사용자는 여러 작업을 유연하게 결합해 더욱 창의적인 결과물을 만들 수 있다는 것이 알리바바의 설명이다. Wan2.1-VACE는 이미지 샘플을 바탕으로 상호작용하는 객체가 포함된 영상을 생성하거나, 정적인 이미지를 자연스럽게 움직이게 하여 생동감을 부여할 수 있다. 포즈 전환, 움직임 제어, 깊이 조절, 색상 재처리 등의 기능도 포함돼 고도화된 영상 리페인팅을 지원한다. 또한, 영상 내 특정 영역을 주변에 영향을 주지 않고 수정하거나 삭제·추가할 수 있으며, 영상 경계를 확장하고 자동으로 자연스러운 콘텐츠를 생성해 시각적 풍부함을 더한다. 사용자는 정적인 이미지를 영상으로 변환하는 동시에 객체의 이동 경로를 지정해 움직임을 제어하거나, 특정 인물·사물을 참조해 치환 및 애니메이션 처리도 가능하다. 수직 이미지를 가로 영상으로 확장하면서 새로운 요소를 추가하는 작업 역시 손쉽게 수행할 수 있다.     알리바바는 Wan2.1-VACE에 다양한 영상 편집 작업의 니즈를 고려한 첨단 기술을 다수 적용했다고 설명했다. Wan2.1-VACE는 텍스트, 이미지, 영상, 마스크 등 멀티모달 입력을 일괄 처리하는 통합 인터페이스 ‘VCU(Video Condition Unit)’를 도입했으며, 시간적·공간적 요소를 정형화된 방식으로 표현하는 ‘컨텍스트 어댑터(Context Adapter)’ 구조를 통해 각 작업 개념을 효율적으로 모델에 주입할 수 있도록 설계되었다. 이를 기반으로 폭넓은 영상 합성 작업을 유연하게 관리할 수 있다. 알리바바는 이 같은 구조적 혁신 덕분에 Wan2.1-VACE가 ▲SNS 숏폼 영상의 빠른 제작 ▲광고·마케팅용 콘텐츠 창작 ▲영상 후반 작업 및 특수효과 적용 ▲교육용 트레이닝 콘텐츠 제작 등 다양한 분야에서 폭넓게 활용될 수 있을 것으로 보고 있다. 영상 기반 AI 모델을 훈련하려면 막대한 연산 자원과 고품질 학습 데이터가 필요하다. Wan2.1-VACE는 오픈소스를 통해 이러한 장벽을 낮추고, 더 많은 기업이 빠르고 경제적인 방식으로 자사 니즈에 맞춘 고품질 영상 콘텐츠를 제작할 수 있도록 지원한다. Wan2.1-VACE는 파라미터 수 기준으로 140억(14B) 버전과 13억(1.3B) 버전 두 가지 형태로 제공된다. 현재 해당 모델은 허깅페이스(Hugging Face), 깃허브(GitHub), 알리바바 클라우드 오픈소스 커뮤니티 모델스코프(ModelScope)에서 무료로 다운로드할 수 있다.

알리바바 클라우드가 새로운 오픈소스 영상 생성 모델인 ‘Wan2.1-FLF2V-14B’를 공개했다. 이번 모델은 시작 프레임과 종료 프레임을 입력값으로 활용해, 보다 정교하고 직관적인 영상 생성이 가능하도록 설계되었다. 이를 통해 숏폼 콘텐츠 제작자는 자신만의 AI 모델과 애플리케이션을 보다 효율적이고 경제적으로 개발할 수 있을 것으로 기대된다. Wan2.1-FLF2V-14B는 알리바바 클라우드의 파운데이션 모델 시리즈인 ‘Wan2.1’에 속하며, 텍스트와 이미지 입력을 기반으로 고품질의 이미지와 영상을 생성하는 데 최적화된 모델이다. 현재 이 모델은 오픈소스 플랫폼인 허깅페이스(Hugging Face), 깃허브(GitHub), 알리바바 클라우드의 오픈소스 커뮤니티 모델스코프(ModelScope)를 통해 누구나 자유롭게 활용할 수 있다. 이 모델은 사용자 명령어의 정밀한 실행은 물론, 첫 프레임과 마지막 프레임 사이의 시각적 일관성을 유지하며, 복잡한 동작을 자연스럽게 연결해 사실적인 영상 결과물을 제공한다. Wan 시리즈의 공식 웹사이트에서는 해당 모델을 활용해 720p 해상도의 5초 분량 영상을 무료로 생성 가능하다.     이번 모델의 핵심 기술은 ‘제어 조정 메커니즘(Control Adjustment Mechanism)’이다. 사용자가 제공한 시작 프레임과 종료 프레임을 제어 조건으로 활용함으로써, 두 장면 사이의 부드럽고 정밀한 전환을 가능하게 한다. 또한 시각 안정성을 확보하기 위해, 해당 메커니즘은 시작 프레임과 종료 프레임에 포함된 의미 정보를 생성 과정에 반영하는데, 이를 통해 프레임을 동적으로 변형하면서도 스타일과 콘텐츠, 구조적 일관성을 함께 유지할 수 있다. 알리바바 클라우드는 지난 2월에 Wan2.1 시리즈 내 4종의 AI 모델을 오픈소스로 공개한 바 있다. 해당 시리즈는 현재까지 허깅페이스와 모델스코프에서 누적 220만 건 이상의 다운로드를 기록했다. Wan2.1 시리즈는 중국어와 영어 기반 텍스트 효과를 모두 지원하는 영상 생성 AI 모델로, 복잡한 움직임과 픽셀 표현, 명령 수행 정확도 면에서 높은 성능을 보인다. 한편, 알리바바 클라우드는 2023년 8월 최초의 오픈형 대규모 언어모델 ‘큐원-7B(Qwen-7B)’를 공개했다. 큐원 시리즈는 허깅페이스의 오픈 LLM 리더보드에서 지속적으로 최상위권을 기록하며, 다양한 벤치마크에서 세계 주요 AI 모델과 대등한 성능을 입증한 바 있다. 지난 수년간 알리바바 클라우드는 200개 이상의 생성형 AI 모델을 오픈소스로 공개해 왔으며, 현재까지 허깅페이스를 기반으로 약 10만 개 이상의 파생 모델이 개발되었다.

알리바바 클라우드가 오픈소스 커뮤니티 활성화를 위한 조치의 일환으로 AI 기반 영상 생성 모델을 오픈소스로 무료 공개한다고 발표했다. 알리바바 클라우드는 비디오 파운데이션 모델 ‘Tongyi Wanxiang(통이 완샹)’의 최신 버전인 Wan2.1 시리즈 중 140억(14B) 및 13억(1.3B) 매개변수 모델 4종을 오픈소스로 공개하며, AI 기술의 개방성과 확장성을 더욱 강화해 나갈 계획이다. 이번에 공개된 모델은 T2V-14B, T2V-1.3B, I2V-14B-720P, I2V-14B-480P 등 4종으로, 텍스트 및 이미지 입력을 기반으로 고품질 이미지와 영상을 생성하도록 설계됐다. 이들 모델은 알리바바 클라우드의 AI 모델 커뮤니티인 ‘모델스코프(ModelScope)’와 협업형 AI 플랫폼 ‘허깅페이스(Hugging Face)’에서 다운로드 가능하며, 전 세계 학계 연구자 및 기업이 자유롭게 활용할 수 있도록 공개됐다. 올해 초 공개된 Wan2.1 시리즈는 중국어와 영어에서 텍스트 효과를 지원하는 최초의 AI 영상 생성 모델로 복잡한 움직임을 정밀하게 처리하고, 픽셀 품질을 향상시키며, 물리적 원칙을 준수하며, 명령 실행 정확도를 최적화하는 등 사실적인 영상 생성 능력에서 강점을 발휘한다. 알리바바 클라우드는 “이런 명령 수행 정밀도에 힘입어 Wan2.1은 영상 생성 모델의 종합 벤치마크인 Vbench 리더보드에서 1위를 기록했다. 또한, 허깅페이스의 VBench 리더보드 상위 5개 모델 중 유일한 오픈소스 영상 생성 모델로 자리매김하며 글로벌 AI 커뮤니티에서 그 기술력을 입증하고 있다”고 전했다. VBench에 따르면, Wan2.1 시리즈는 종합 점수 86.22%를 기록하며, 움직임의 자연스러움, 공간적 관계, 색상 표현, 다중 객체 상호작용 등 핵심 평가 항목에서 높은 성능을 입증했다.     영상 생성 AI 모델을 훈련하려면 대량의 컴퓨팅 자원과 고품질 학습 데이터가 필수이다. 이러한 모델을 오픈소스로 개방하면 AI 활용의 장벽을 낮출 수 있으며, 기업들은 보다 효율적이고 경제적인 방식으로 자사 비즈니스에 최적화된 고품질 영상 콘텐츠를 제작할 수 있다. T2V-14B 모델은 복잡한 동작이 포함된 고품질 영상 생성에 최적화되어 있으며, T2V-1.3B 모델은 생성 품질과 연산 효율성의 균형을 맞춰 연구 및 2차 개발 작업을 진행하는 다양한 개발자에게 적합한 설루션을 제공한다. 예를 들어, T2V-1.3B 모델은 일반적인 개인용 노트북에서도 480p 해상도의 5초 길이 영상을 약 4분 만에 생성할 수 있어, 연구자 및 개발자들이 보다 쉽고 효율적으로 이를 활용할 수 있도록 지원한다. 또한, I2V-14B-720P 및 I2V-14B-480P 모델은 텍스트 기반 영상 생성뿐만 아니라 이미지 기반 영상 생성 기능까지 지원한다. 사용자는 한 장의 이미지와 간단한 텍스트 설명만 입력하면 역동적인 영상 콘텐츠를 손쉽게 제작할 수 있으며, 플랫폼은 특정 크기에 제한 없이, 다양한 해상도의 이미지를 정상적으로 입력받아 처리할 수 있도록 설계됐다.

엔비디아가 지포스 RTX(GeForce RTX) 50 시리즈 GPU의 AI 워크로드를 가속화하는 엔비디아 NIM과 AI 블루프린트(AI Blueprint)를 공개했다. NIM과 AI 블루프린트는 개발자와 애호가들이 AI를 로컬에서 구축, 반복, 배포할 수 있도록 도와 AI 접근성을 확대한다. 엔비디아 지포스 RTX 5090, 5080 GPU는 블랙웰(Blackwell) 아키텍처를 기반으로 설계됐다. 블랙웰 아키텍처는 새로운 DLSS 멀티 프레임 생성(Multi Frame Generation)을 지원해 렌더링된 프레임당 최대 3개의 프레임을 생성하는 AI를 사용해 FPS를 향상시킨다. 엔비디아는 이들 GPU가 엔비디아 DLSS 4 기술로 최대 8배 빠른 프레임 속도, 엔비디아 리플렉스 2(Reflex 2)로 낮은 지연 시간, 엔비디아 RTX 뉴럴 셰이더로 향상된 그래픽 충실도를 제공한다고 밝혔다. 또한, 지포스 RTX 50 시리즈는 최신 생성형 AI 워크로드를 가속화하기 위해 제작됐다. 초당 최대 3352조 개의 AI 연산(TOPS)을 처리하는 한편, 5세대 텐서 코어와 FP4 정밀도 지원 기능을 갖춰 고급 AI 모델의 실행 속도를 높이고 효율성을 증가시킨다. 이에 따라 AI 애호가, 게이머, 크리에이터, 개발자들에게 향상된 경험을 선사한다.     엔비디아는 지난 CES 2025 전시회에서 AI 개발자와 애호가들이 이러한 기능을 활용할 수 있도록 지포스 RTX 50 시리즈 GPU에 최적화된 엔비디아 NIM과 AI 블루프린트를 공개했다. 엔비디아 NIM 마이크로서비스는 사전 패키지 생성형 AI 모델이다. 이는 개발자와 애호가들이 생성형 AI를 쉽게 시작하고, 빠르게 반복하며, RTX의 성능을 활용해 윈도우 PC에서 AI를 가속화할 수 있도록 한다. 엔비디아 AI 블루프린트는 개발자들에게 NIM 마이크로서비스를 사용해 차세대 AI 경험을 구축하는 방법을 보여주는 참조 프로젝트이다. AI 모델 개발이 빠르게 발전하고 있지만, 이러한 혁신을 PC에 적용하는 것은 많은 사람들에게 여전히 어려운 과제이다. 허깅페이스(Hugging Face)와 같은 플랫폼에 게시된 모델은 PC에서 실행하기 위해 선별, 조정, 정량화돼야 한다. 아울러 기존 도구와의 호환성을 보장하기 위해 새로운 AI 애플리케이션 프로그래밍 인터페이스(API)에 통합돼야 한다. 또한, 최고의 성능을 발휘할 수 있도록 최적화된 추론 백엔드로 변환돼야 한다. RTX AI PC와 워크스테이션을 위한 엔비디아 NIM 마이크로서비스는 커뮤니티 기반과 엔비디아가 개발한 AI 모델에 대한 접근을 제공함으로써 이러한 과정의 복잡성을 줄일 수 있다. 이 마이크로서비스는 업계 표준 API를 통해 쉽게 다운로드하고 연결할 수 있으며, AI PC에 필수적인 주요 양식을 포괄한다. 나아가 다양한 AI 도구와 호환되며 PC, 데이터센터, 클라우드 등 어디에서나 유연한 배포 옵션을 제공한다. NIM 마이크로서비스는 RTX GPU가 탑재된 PC에서 최적화된 모델을 실행하는 데 필요한 요소를 포함한다. 여기에는 특정 GPU용 사전 구축 엔진, 엔비디아 텐서RT(TensorRT) 소프트웨어 개발 키트(SDK), 텐서 코어(Tensor Core)를 사용한 가속 추론용 오픈 소스 엔비디아 텐서RT-LLM 라이브러리 등이 있다. 마이크로소프트와 엔비디아는 리눅스용 윈도우 서브시스템(Windows Subsystem for Linux, WSL2)에서 RTX용 NIM 마이크로서비스와 AI 블루프린트를 활성화하기 위해 협력했다. WSL2를 사용하면 데이터센터 GPU에서 실행되는 것과 동일한 AI 컨테이너를 RTX PC에서 효율적으로 실행할 수 있다. 덕분에 개발자는 플랫폼 전반에 걸쳐 보다 쉽게 AI 모델을 구축, 테스트, 배포할 수 있다. 또한, NIM과 AI 블루프린트는 5세대 텐서 코어와 FP4 정밀도 지원 등, 지포스 RTX 50 시리즈의 기반이 되는 블랙웰 아키텍처의 주요 혁신을 활용한다. AI 계산은 매우 까다롭고 막대한 처리 능력을 필요로 한다. 이미지나 비디오 생성, 언어 이해, 실시간 의사 결정 등 AI 모델은 매초마다 수백 조의 수학적 연산을 수행해야 한다. 이를 따라잡기 위해 컴퓨터는 AI 전용으로 제작된 특수 하드웨어가 필요하다. 엔비디아 지포스 RTX GPU는 지난 2018년 이러한 집중적인 워크로드를 처리하도록 설계된 전용 AI 프로세서인 텐서 코어를 도입했다. 기존의 컴퓨팅 코어와 달리, 텐서 코어는 더 빠르고 효율적으로 계산을 수행함으로써 AI를 가속화하도록 설계됐다. 이 혁신적인 기술 덕분에 AI 기반 게임, 창작 도구, 생산성 애플리케이션이 주류로 자리 잡을 수 있었다. 블랙웰 아키텍처는 AI 가속을 한 차원 더 발전시킨다. 블랙웰 GPU의 5세대 텐서 코어는 최대 3,352 AI TOPS를 제공해 더욱 까다로운 AI 작업을 처리하고 동시에 여러 AI 모델을 실행할 수 있다. 즉, 실시간 렌더링에서 지능형 어시스턴트에 이르기까지 더 빠른 AI 기반 경험을 제공해 게이밍, 콘텐츠 제작과 그 밖의 분야에서 더 큰 혁신을 이룰 수 있는 길을 열어준다. NIM 마이크로서비스에 기반한 엔비디아 AI 블루프린트는 사전 패키지화되고 최적화된 참조 구현을 제공한다. 이를 통해 디지털 휴먼, 팟캐스트 생성기 또는 애플리케이션 어시스턴트 등 고급 AI 기반 프로젝트를 보다 쉽게 개발할 수 있도록 해 준다. 엔비디아는 CES 2025에서 사용자가 PDF를 재미있는 팟캐스트로 변환하고, 이후 AI 팟캐스트 호스트와의 Q&A를 만들 수 있는 블루프린트인 PDF 투 팟캐스트(PDF to Podcast)를 시연했다. 이 워크플로는 동기화된 7가지 다른 AI 모델을 통합해 역동적이고 상호작용적인 경험을 제공한다. PDF 투 팟캐스트는 여러 AI 모델을 활용해 PDF를 흥미로운 팟캐스트로 매끄럽게 변환하는 AI 블루프린트이다. AI 기반 팟캐스트 호스트가 진행하는 대화형 Q&A 기능도 포함한다. AI 블루프린트를 사용하면 RTX PC와 워크스테이션에서 AI를 실험하는 것에서 개발하는 단계로 빠르게 넘어갈 수 있다. 엔비디아는 “생성형 AI는 게이밍, 콘텐츠 제작 등 다양한 분야에서 가능성의 한계를 넓혀가고 있다”면서, “NIM 마이크로서비스와 AI 블루프린트를 사용하면 최신 AI의 발전이 더 이상 클라우드에만 국한되지 않고, RTX PC에 최적화돼 제공된다. RTX GPU를 사용하면 개발자와 애호가들은 PC와 워크스테이션에서 바로 AI를 실험하고 구축하고 배포할 수 있다”고 전했다. NIM 마이크로서비스와 AI 블루프린트는 곧 출시될 예정이다. 지포스 RTX 50 시리즈, 지포스 RTX 4090과 4080, 엔비디아 RTX 6000과 5000 전문가용 GPU에 대한 초기 하드웨어 지원이 함께 제공될 예정이며, 향후 추가 GPU도 지원될 계획이다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 전문적인 BIM 자료를 이해할 수 있는 대규모 언어 모델(LLM, Large Language Model)을 개발하는 방법을 알아본다. BIM 기반 LLM을 개발하는 방법은 여러 가지가 있으나, 여기에서는 그 중 하나인 RAG(Retrieval Augumented Generation, 증강 검색 생성) 시 LLM이 잘 추론할 수 있도록 모델을 파인튜닝(fine-turning)하는 기술을 사용해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   LLM 모델 파인튜닝의 개념 파인튜닝이란 사전에 학습된 LLM을 특정 도메인이나 작업에 맞게 최적화하는 과정이다. 기본적으로 LLM은 일반적인 자연어 처리 작업을 수행하도록 설계되어 있지만, 전문적인 특정 지식 도메인(예 : 건설 분야의 BIM 데이터)이나 문제를 다룰 때는 환각 현상이 심해지므로 해당 도메인에 특화된 데이터로 모델을 재학습시켜야 한다. 이를 통해 모델이 특정 영역에서 더 정확하고 유용한 결과를 생성하도록 만든다. 파인튜닝 과정은 다음과 같은 단계로 이루어진다.  ① 사전 학습된 모델 선택 : 이미 대규모 데이터로 학습된 LLM을 선택한다. ② 도메인 특화 데이터 준비 : 대상 분야와 관련된 고품질 데이터를 수집하고, 이를 정제 및 전처리한다. ③ 모델 파라미터 조정 : LoRA(Low-Rank Adaptation)같은 기법을 사용하여 모델 파라미터를 특정 도메인에 맞게 업데이트한다.  ④ 훈련 및 검증 : 준비된 데이터로 모델을 학습시키고, 성능을 검증하며 최적화한다. 여기서, LoRA 기술은 LLM을 파인튜닝하는 데 사용되는 효율적인 기법이다. 이 방법은 모델 전체를 다시 학습시키는 대신, 모델의 일부 파라미터에만 저차원(lowrank) 업데이트를 적용하여 파인튜닝한다. 이를 통해 학습 비용과 메모리 사용량을 대폭 줄이면서도 높은 성능을 유지할 수 있다. 이 글에서 사용된 라마 3(Llama 3)는 메타가 개발한 LLM 제품이다. 모델은 15조 개의 토큰으로 구성된 광범위한 데이터 세트에서 훈련되었다.(라마 2의 경우 2T 토큰과 비교) 700억 개의 파라미터 모델과 더 작은 80억 개의 파라미터 모델의 두 가지 모델 크기가 출시되었다. 70B 모델은 MMLU 벤치마크에서 82점, HumanEval 벤치마크에서 81.7점을 기록하며 이미 인상적인 성능을 보여주었다. 라마 3 모델은 컨텍스트 길이를 최대 8192개 토큰(라마 2의 경우 4096개 토큰)까지 늘렸으며, RoPE를 통해 최대 32k까지 확장할 수 있다. 또한 이 모델은 128K 토큰 어휘가 있는 새로운 토크나이저를 사용하여 텍스트를 인코딩하는 데 필요한 토큰 수를 15% 줄인다.   개발 환경 준비 개발 환경은 엔비디아 지포스 RTX 3090 GPU(VRAM 8GB), 인텔 i9 CPU, 32GB RAM으로 구성되었다. 이러한 하드웨어 구성은 대규모 BIM 데이터를 처리하고 모델을 학습시키는 최소한의 환경이다. 이 글에서는 사전 학습모델은 허깅페이스(HF)에서 제공하는 Llama-3-8B 모델을 사용한다. 파인튜닝을 위해서는 다음과 같은 환경이 준비되어 있다고 가정한다.  파이토치 설치 : https://pytorch.org/get-started/locally  올라마(Ollama) 설치 : https://ollama.com 허깅페이스에서 제공하는 LLM 모델을 사용할 것이므로, 접속 토큰(access token)을 얻어야 한다. 다음 링크에서 가입하고 토큰을 생성(Create new token)한다. 이 토큰은 다음 소스코드의 해당 부분에 입력해야 동작한다.  허깅페이스 가입 및 토큰 획득 : https://huggingface.co/ settings/tokens   그림 1   명령 터미널에서 다음을 실행해 라이브러리를 설치한다.   pip install langchain pypdf fastembed chardet pandas pip install -U transformers pip install -U datasets pip install -U accelerate pip install -U peft pip install -U trl pip install -U bitsandbytes pip install -U wandb   개발된 BIM LLM 모델 성능이 향상되었는지를 검증할 수 있도록, 기초 모델이 인터넷에서 쉽게 수집 후 학습할 수 있는 BIM 자료를 제외한 데이터를 학습용으로 사용할 필요가 있다. 이런 이유로, 최근 릴리스되어 기존 상용 대규모 언어 모델이 학습하기 어려운 ISO/TS 19166에 대한 기술 논문 내용을 테스트하고, 학습 데이터 소스로 사용한다. 참고로, ISO/TS 19166은 BIM-GIS conceptual mapping 목적을 가진 국제표준으로 기술 사양(TS)을 담고 있다. 학습 데이터로 사용될 파일을 다음 링크에서 PDF 다운로드하여 저장한다.  BIM-GIS 매핑 표준 논문 PDF 파일 : https://www.mdpi. com/2220-9964/7/5/162   BIM 기반 LLM 모델 학습 데이터 준비와 파인튜닝 파라미터 설정 학습 데이터를 자동 생성하기 위해, 미리 다운로드한 PDF 파일을 PyPDF 및 라마 3를 이용해 질문-답변 데이터를 자동 생성한 후 JSON 파일로 저장한다. 이를 통해 수 백개 이상의 QA 데이터셋을 자동 생성할 수 있다. 이 중 품질이 낮은 데이터셋은 수작업으로 삭제, 제거한다.    그림 2. 자동화된 BIM 기반 LLM 학습 데이터 생성 절차     ■ 자세한 기사 내용은 PDF로 제공됩니다.

뉴타닉스는 새로운 클라우드 네이티브 제품인 ‘뉴타닉스 엔터프라이즈 AI(Nutanix Enterprise AI, 이하 NAI)’를 출시했다고 발표했다. NAI는 기업의 AI 인프라 플랫폼을 확장하며, 에지, 코어 데이터센터와 아마존 EKS(Amazon Elastic Kubernetes Service), 애저 쿠버네티스 서비스(Azure Kubernetes Service : AKS), 구글 쿠버네티스 엔진(Google Kubernetes Engine : GKE)과 같은 퍼블릭 클라우드 서비스 등 모든 쿠버네티스 플랫폼에 배포될 수 있다. NAI는 가속화된 AI 워크로드를 위한 일관된 하이브리드 멀티클라우드 운영 모델을 제공한다. 이를 통해 조직은 선택한 안전한 위치에서 모델과 데이터를 활용하면서 투자 수익(ROI)을 개선할 수 있다. 엔비디아 NIM(NVIDIA Inference Microservices)을 활용해 파운데이션 모델의 성능을 최적화한 NAI는 조직이 대규모 언어 모델(LLM)의 추론 엔드포인트를 안전하게 배포, 실행 및 확장할 수 있게 한다. 이로써 생성형 AI 애플리케이션을 몇 분 내에 배포할 수 있다. 생성형 AI는 본질적으로 하이브리드 워크로드로, 새로운 애플리케이션은 주로 퍼블릭 클라우드에서 구축되고, 사설 데이터를 사용한 모델의 미세 조정은 온프레미스에서 이루어진다. 추론은 비즈니스 로직과 가장 가까운 곳에 배포되는데, 이는 에지, 온프레미스 또는 퍼블릭 클라우드일 수 있다. 이러한 분산된 하이브리드 생성형 AI 워크플로는 복잡성, 데이터 프라이버시, 보안 및 비용 측면에서 조직에게 과제를 제시할 수 있다.     NAI는 일관된 멀티클라우드 운영 모델과 엔비디아 NIM에 최적화된 추론 마이크로서비스 및 허깅페이스(Hugging Face)의 오픈 파운데이션 모델을 사용해 LLM을 안전하게 배포, 확장 및 실행할 수 있는 간단한 방법을 제공한다. 이를 통해 고객은 비즈니스 핵심 애플리케이션에 필요한 복원력, 데이 2(day 2) 운영 역량 및 보안성을 갖춘 엔터프라이즈 생성형 AI 인프라를 온프레미스 또는 아마존 EKS, 애저 쿠버네티스 서비스, 구글 쿠버네티스 엔진에 구축할 수 있다. 또한, NAI는 예측하기 어려운 사용량 또는 토큰 기반 가격 책정과는 달리, 인프라 리소스를 기반으로 한 투명하고 예측 가능한 가격 모델을 제공한다. 이는 생성형 AI 투자에서 ROI를 최대화하려는 고객에게 중요하다. 뉴타닉스는 NAI가 ▲AI 기술 격차 해소 ▲ AI 준비 플랫폼 구축의 장벽 제거 ▲데이터 프라이버시 및 보안 우려 해소 ▲ 생성형AI 워크로드에 엔터프라이즈급 인프라 제공 등의 이점을 고객에게 제공한다고 설명했다. NAI는 뉴타닉스 GPT인어박스(Nutanix GPT-in-a-Box) 2.0의 구성 요소이다. GPT 인어박스에는 뉴타닉스 클라우드 인프라(Nutanix Cloud Infrastructure : NCI), 뉴타닉스 쿠버네티스 플랫폼(Nutanix Kubernetes Platform : NKP), 뉴타닉스 통합 스토리지(Nutanix Unified Storage : NUS)와 함께 온프레미스 훈련 및 추론을 위한 맞춤형 서비스가 포함된다. 퍼블릭 클라우드 배포를 원하는 고객은 NAI를 모든 쿠버네티스 환경에 배포될 수 있으며, 온프레미스 배포와 운영 일관성을 유지할 수 있다. NAI는 엔비디아 전체 스택 AI 플랫폼과 함께 배포될 수 있으며 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼으로 검증됐다. 여기에는 엔비디아 NIM이 포함되는데, 이는 고성능 AI 모델 추론을 안전하고 안정적으로 배포하기 위해 설계된 사용하기 쉬운 마이크로서비스 세트이다. 또한 뉴타닉스 GPT인어박스는 엔비디아 인증시스템(NVIDIA-Certified System)으로 성능의 안전성을 보장한다.  뉴타닉스는 NAI를 활용하는 주요 사용 사례로 ▲고객 피드백과 문서 분석을 통한 생성형 AI로 고객 경험 개선 ▲코파일럿과 지능형 문서 처리를 활용한 코드 및 콘텐츠 생성 가속화 ▲특정 도메인 데이터로 모델을 미세 조정해 코드 및 콘텐츠 생성 효율화 ▲사기 탐지, 위협 탐지, 경고 강화, 자동 정책 생성을 위한 AI 모델 활용으로 보안 강화 ▲사내 데이터로 미세 조정된 모델을 활용한 분석 개선 등을 소개했다. 뉴타닉스의 토마스 코넬리(Thomas Cornely) 제품 관리 부문 수석 부사장은 “뉴타닉스는 NAI를 통해 고객이 온프레미스나 퍼블릭 클라우드에서 생성형 AI 애플리케이션을 쉽고 안전하게 실행할 수 있도록 지원하고 있다”면서, “NAI는 모든 쿠버네티스 플랫폼에서 실행 가능하며, 고객의 AI 애플리케이션을 예측 가능한 비용으로 안전한 환경에서 운영할 수 있게 한다”고 말했다. 엔비디아의 저스틴 보이타노(Justin Boitano) 엔터프라이즈 AI 부사장은 “생성형 AI 워크로드는 본질적으로 하이브리드 특성을 가지고 있어, 훈련, 맞춤화, 추론이 퍼블릭 클라우드, 온프레미스 시스템, 에지 환경에 걸쳐 이루어진다”면서, “엔비디아 NIM을 NAI에 통합하면 안전한 API를 갖춘 일관된 멀티클라우드 모델을 제공해, 고객이 비즈니스 핵심 애플리케이션에 필요한 높은 성능과 보안으로 다양한 환경에서 AI를 배포할 수 있게 된다”고 말했다.