엔비디아가 에지 환경에서 실시간 AI 추론을 수행할 수 있는 엔비디아 젯슨 토르(NVIDIA Jetson Thor) 모듈을 출시했다. 젯슨 토르는 연구와 산업 현장의 로봇 시스템에서 두뇌 역할을 수행하며, 휴머노이드와 산업용 로봇 등 다양한 로봇이 보다 스마트하게 동작하도록 지원한다. 로봇은 방대한 센서 데이터와 저지연 AI 처리를 요구한다. 실시간 로봇 애플리케이션을 실행하려면 여러 센서에서 동시 발생하는 데이터 스트림을 처리할 수 있는 충분한 AI 컴퓨팅 능력과 메모리가 필요하다. 현재 정식 출시된 젯슨 토르는 이전 모델인 엔비디아 젯슨 오린(Orin) 대비 AI 컴퓨팅이 7.5배, CPU 성능이 3.1배, 메모리 용량이 2배 향상돼 이러한 처리를 디바이스에서 가능하게 한다. 이러한 성능 도약은 로봇 연구자들이 고속 센서 데이터를 처리하고 에지에서 시각적 추론을 수행할 수 있도록 한다. 이는 기존에는 동적인 실제 환경에서 실행하기에는 속도가 너무 느려 실행하기 어려웠던 워크플로이다. 이로써 휴머노이드 로보틱스와 같은 멀티모달 AI 애플리케이션의 새로운 가능성을 열어주고 있다.   ▲ 엔비디아 젯슨 AGX 토르 개발자 키트   휴머노이드 로보틱스 기업인 어질리티 로보틱스(Agility Robotics)는 자사의 5세대 로봇인 디지트(Digit)에 엔비디아 젯슨을 통합했다. 이어서 6세대 디지트에는 온보드 컴퓨팅 플랫폼으로 젯슨 토르를 채택할 계획이다. 이를 통해 디지트는 실시간 인식과 의사결정 능력을 강화하고 점차 복잡해지는 AI 기술과 행동을 지원할 수 있게 된다. 디지트는 현재 상용화됐으며, 창고와 제조 환경에서 적재, 상차, 팔레타이징(palletizing) 등 물류 작업을 수행하고 있다. 30년 넘게 업계 최고 수준의 로봇을 개발해온 보스턴 다이내믹스(Boston Dynamics)는 자사 휴머노이드 로봇 아틀라스(Atlas)에 젯슨 토르를 탑재하고 있다. 이를 통해 아틀라스는 이전에는 서버급에서만 가능했던 컴퓨팅, AI 워크로드 가속, 고대역폭 데이터 처리, 대용량 메모리를 디바이스 내에서도 활용할 수 있게 됐다. 휴머노이드 로봇 외에도, 젯슨 토르는 더 크고 복잡한 AI 모델을 위한 실시간 추론을 통해 다양한 로봇 애플리케이션을 가속화할 예정이다. 여기에는 수술 보조, 스마트 트랙터, 배송 로봇, 산업용 매니퓰레이터(manipulator), 시각 AI 에이전트 등이 포함된다. 젯슨 토르는 생성형 추론 모델을 위해 설계됐다. 이는 차세대 피지컬 AI 에이전트가 클라우드 의존도를 최소화하면서 에지에서 실시간으로 실행될 수 있도록 한다. 차세대 피지컬 AI 에이전트는 대형 트랜스포머 모델, 비전 언어 모델(vision language model : VLM), 비전 언어 행동(vision language action : VLA) 모델을 기반으로 구동된다. 젯슨 토르는 젯슨 소프트웨어 스택으로 최적화돼 실제 애플리케이션에서 요구되는 저지연과 고성능을 구현한다. 따라서 젯슨 토르는 모든 주요 생성형 AI 프레임워크와 AI 추론 모델을 지원하며, 탁월한 실시간 성능을 제공한다. 여기에는 코스모스 리즌(Cosmos Reason), 딥시크(DeepSeek), 라마(Llama), 제미나이(Gemini), 큐원(Qwen) 모델과 함께, 로보틱스 특화 모델인 아이작(Isaac) GR00T N1.5 등이 포함된다. 이를 통해 개발자는 손쉽게 로컬 환경에서 실험과 추론을 실행할 수 있다. 젯슨 토르는 생애 주기 전반에 걸쳐 엔비디아 쿠다(CUDA) 생태계의 지원을 받는다. 또한 젯슨 토르 모듈은 전체 엔비디아 AI 소프트웨어 스택을 실행해 사실상 모든 피지컬 AI 워크플로를 가속화한다. 여기에는 로보틱스를 위한 엔비디아 아이작, 영상 분석 AI 에이전트를 위한 엔비디아 메트로폴리스(Metropolis), 센서 처리를 위한 엔비디아 홀로스캔(Holoscan) 등의 플랫폼이 활용된다. 이러한 소프트웨어 도구를 통해 개발자는 다양한 애플리케이션을 손쉽게 구축하고 배포할 수 있다. 실시간 카메라 스트림을 분석해 작업자 안전을 모니터링하는 시각 AI 에이전트, 비정형 환경에서 조작 작업을 수행할 수 있는 휴머노이드 로봇, 다중 카메라 스트림 데이터를 기반으로 외과의에게 안내를 제공하는 스마트 수술실 등이 그 예시이다. 젯슨 토르 제품군에는 개발자 키트와 양산용 모듈이 포함된다. 개발자 키트에는 젯슨 T5000 모듈과 다양한 연결성을 제공하는 레퍼런스 캐리어 보드, 팬이 장착된 액티브 방열판, 전원 공급 장치가 함께 제공된다. 엔비디아는 젯슨 생태계가 다양한 애플리케이션 요구사항과 고속 산업 자동화 프로토콜, 센서 인터페이스를 지원해 기업 개발자의 시장 출시 시간을 단축한다고 전했다. 하드웨어 파트너들은 다양한 폼팩터로 유연한 I/O와 맞춤형 구성을 갖춰 생산에 준비된 젯슨 토르 시스템을 개발하고 있다. 센서 및 액추에이터 업체들은 엔비디아 홀로스캔 센서 브릿지(Sensor Bridge)를 활용하고 있다. 이 플랫폼은 센서 융합과 데이터 스트리밍을 간소화하며, 카메라, 레이더, 라이다 등에서 발생한 센서 데이터를 초저지연으로 젯슨 토르 GPU 메모리에 직접 연결할 수 있게 해준다. 수천 개의 소프트웨어 기업들은 젯슨 토르에서 구동되는 다중 AI 에이전트 워크플로를 통해 기존 비전 AI와 로보틱스 애플리케이션 성능을 향상시킬 수 있다. 그리고 200만 명 이상의 개발자들이 엔비디아 기술을 활용해 로보틱스 워크플로를 가속화하고 있다.

엔비디아는 글로벌 컴퓨터 그래픽 콘퍼런스인 ‘시그라프(SIGGRAPH) 2025’에서, 아마존 디바이스 앤 서비스(Amazon Devices & Services)가 엔비디아 디지털 트윈 기술을 활용해 제조 분야의 혁신을 이끌고 있다고 밝혔다. 아마존 디바이스 생산 시설에 이달 도입된 이 설루션은 시뮬레이션 우선 접근 방식을 적용한 ‘제로 터치(zero-touch)’ 제조 방식을 구현했다. 제로 터치의 핵심은 로봇 팔이 다양한 장비의 제품 품질을 자율적으로 검사하고, 새로운 제품을 생산 라인에 통합하도록 훈련하는 과정 전체를 하드웨어 변경 없이 합성 데이터를 기반으로 수행하는 것이다. 이를 위해 아마존 디바이스가 자체 개발한 조립 라인 공정 시뮬레이션 소프트웨어와 엔비디아 기술 기반의 디지털 트윈을 결합했다. 모듈형 AI 기반 워크플로를 통해 기존보다 더 빠르고 효율적인 검사를 진행하며, 제조업체의 워크플로를 간소화해 신제품을 소비자에게 전달하는 시간을 줄일 수 있다는 것이 엔비디아의 설명이다.     또한, 이 설루션은 공장 작업대와 장비의 사실적인 물리 기반 표현에 기반한 합성 데이터를 생성해 로봇 운영을 위한 ‘제로샷(zero-shot)’ 제조를 가능하게 한다. 공장에 특화된 데이터는 시뮬레이션과 실제 작업 환경에서 AI 모델의 성능을 높이는 데에 쓰이며, 시뮬레이션과 실제 작업 환경에서의 AI 모델 성능 격차를 최소화할 수 있다. 엔비디아는 “제로샷 제조를 통해 물리적 프로토타입 없이도 다양한 제품과 생산 공정을 유연하게 처리할 수 있는 범용 제조 시대를 향한 중요한 도약을 이뤄냈다”고 평가했다. 아마존 디바이스 앤 서비스는 디지털 트윈 환경에서 로봇을 훈련시켜 새로운 장비를 인식하고 다루도록 한다. 이를 통해 소프트웨어 변경만으로 한 제품의 감사 작업에서 다른 제품으로 손쉽게 전환할 수 있으며, 더 빠르고 제어가 용이한 모듈화 제조 파이프라인을 구축했다. 이를 위해 엔비디아의 아이작(Isaac) 기술 제품군을 활용한다. 아마존은 신규 장치가 도입되면 CAD 모델을 엔비디아 옴니버스(Omniverse) 플랫폼 기반의 오픈소스 로보틱스 시뮬레이션 애플리케이션인 엔비디아 아이작 심(Sim)에 적용한다. 아이작 심은 각 장치의 CAD 모델을 통해 물체 및 결함 탐지 모델 훈련에 필수인 5만 개 이상의 합성 이미지를 생성한다. 이후 엔비디아 아이작 ROS를 활용해 제품 취급을 위한 로봇 팔 궤적을 생성하고 조립부터 테스트, 포장, 검사까지 모든 과정을 구성한다. 로봇이 작업 환경을 이해하고 충돌 없는 궤적을 생성하는 데에는 엔비디아 젯슨 AGX 오린(Jetson AGX Orin) 모듈에서 실행되는 쿠다(CUDA) 가속 동작 계획 라이브러리 엔비디아 cu모션(cuMotion)이 사용된다. 또한, 500만 개의 합성 이미지로 훈련된 엔비디아의 파운데이션 모델 파운데이션포즈(FoundationPose)는 로봇이 장비의 정확한 위치와 방향을 파악하도록 돕는다. 파운데이션포즈는 사전 노출 없이도 새로운 물체에 맞춰 일반화할 수 있어, 모델 재훈련 없이 다양한 제품 간의 원활한 전환을 가능하게 한다. 한편, 이 기술을 더욱 빠르게 개발하기 위해 아마존 디바이스 앤 서비스는 AWS 배치(Batch)와 아마존 EC2 G6 인스턴스를 통해 분산 AI 모델 훈련을 수행했으며, 생성형 AI 서비스인 아마존 베드록(Bedrock)으로 제품 사양 문서를 분석해 공장 내 고수준 작업과 특정 검사 테스트 사례를 계획했다. 아마존 베드록 에이전트코어(Bedrock AgentCore)는 생산 라인 내 다중 공장 작업대를 위한 자율 워크플로 계획에 사용되며, 3D 설계와 표면 특성 등 멀티모달 제품 사양 입력을 처리할 수 있다.

구글은 국내 대학생 및 대학원생들이 AI 기술을 더 쉽게 활용하도록 돕고, 캠퍼스 생활 전반에 AI 활용 문화를 확산하기 위해 ‘구글 AI 프로(Google AI Pro)’ 요금제를 1년간 무료 제공하는 한편, 대학(원)생 앰배서더 프로그램도 운영한다고 밝혔다. 이번 대학(원)생 한정 ‘구글 AI 프로’ 플랜은 만 18세 이상의 국내 대학생이 학교 이메일 인증을 완료하고 계정을 등록하면, 개인 구글 계정 1개에 한해 ‘구글 AI 프로’ 요금제를 1년간 무료로 이용할 수 있다. 8월 7일부터 10월 6일까지 전용 링크에서 신청 가능하며, 신청한 학생은 멀티모달 검색, 코딩 지원, 동영상 생성 등 ‘구글 AI 프로’의 고급 기능을 1년간 자유롭게 경험할 수 있다. ‘구글 AI 프로’는 구글의 AI 모델인 ‘제미나이 2.5 프로(Gemini 2.5 Pro)’를 기반으로 한 요금제로, 과제나 글쓰기 등 학업 전반에 대한 빠른 지원은 물론, 수백 개의 웹사이트에서 복잡한 주제에 대한 정보를 수집해 요약해주는 ‘딥 리서치(Deep Research)’, 5배 더 많은 AI 오디오와 동영상 개요가 지원되는 AI 기반 사고 툴 ‘노트북LM(NotebookLM)’, 텍스트나 이미지를 입력하면 오디오와 함께 8초 분량의 영상을 생성해주는 ‘비오 3(Veo 3)’, 버그 수정부터 기능 개발까지 지원하는 AI 코딩 에이전트 ‘줄스(Jules)’ 등 다양한 생성형 AI 툴을 제공한다. 또한, 사진, 문서, 과제 등을 저장할 수 있는 2TB 용량의 저장 공간도 함께 제공된다. 구글은 이번 ‘구글 AI 프로’ 지원이 단순한 설루션 제공을 넘어, 학생들의 사고력과 이해도를 높이는 AI 기반 학습 파트너 역할도 할 것으로 기대하고 있다. 예를 들어, 복잡한 수학 문제를 단계별로 해결하거나 논리적인 글쓰기 구조를 함께 설계할 수 있는 ‘가이드 학습(Guided Learning)’, 강의 자료를 바탕으로 핵심을 정리해주는 맞춤형 학습 가이드(Study Guides), 이미지 및 영상 등을 활용한 인터랙티브 퀴즈 기능을 통해 학생들이 개념을 스스로 익히고 더 깊이 있는 학습으로 이어질 수 있도록 지원한다. 특히, 멀티모달 응답 기능을 통해 학습 몰입도와 이해도를 한층 높일 수 있는 것이 특징이다. 이 밖에도, 캔버스(Canvas)로 친구들과의 추억을 쌓을 수 있는 게임 만들기, 비오 3를 활용한 재미난 밈 제작, 학교 축제를 위한 아이디어 브레인스토밍 등에도 활용할 수 있다.      한편, 구글은 이번 대학(원)생 전용 무료 혜택의 인지도를 높이고 학생들의 AI 활용 문화 확산을 위해 전국 20여 개 대학교에서 선발된 총 100명의 앰배서더를 대상으로 '제미나이 대학생 앰배서더’ 프로그램도 운영한다고 전했다. 최종 선발된 학생들은 오는 8월 11일 발대식을 시작으로, 12월까지 약 5개월 간 자체 콘텐츠 제작, 오프라인 캠페인, 커뮤니티 연계 활동 등 다양한 홍보 활동과 실습 프로그램을 통해 캠퍼스 내외에서 제미나이 활용법을 소개하고, AI 기술 중심의 캠퍼스 문화 조성에 참여할 예정이다. 발대식에는 유튜브 메가 크리에이터 ‘미미미누’가 명예 앰버서더 자격으로 참석할 예정이다. 최종 선발된 학생들에게는 구글 AI 기술 기반 콘텐츠 제작에 필요한 다양한 툴이 제공되며, 일부 대학 캠퍼스에서는 학생 참여형 AI 실습 이벤트인 ‘스트리트 AI 챌린지’도 진행될 예정이다. 구글 관계자는 “이번 대학(원)생 전용 ‘구글 AI 프로’ 요금제와 대학생 앰배서더 프로그램은 대학생들이 AI 기술을 실질적인 학습 도구로 활용해 AI 기술에 대한 접근성을 높이고, 더 창의적이고 실용적인 방식으로 경험을 확장하도록 지원하기 위해 기획됐다”며, “앞으로도 구글은 더 많은 학생들이 AI를 통해 성장하고 기회를 넓혀가도록 지속적으로 지원할 것”이라고 밝혔다.

가트너(Gartner)가 ‘2025 AI 하이프 사이클(2025 Gartner Hype Cycle for Artificial Intelligence)’ 보고서를 통해 주목해야 할 주요 AI 혁신 기술을 발표했다. 가트너는 2025년 가장 빠르게 발전하는 기술로 ‘AI 에이전트(AI Agents)’와 ‘AI 레디(AI-Ready) 데이터’를 꼽았다. 이들 기술은 올해 높은 관심을 받고 있으며, 낙관적인 전망 및 투기적인 약속이 이어지면서 부풀려진 기대의 정점에 도달한 것으로 나타났다. 가트너 하이프 사이클은 기술 및 애플리케이션의 성숙도와 도입 현황을 시각적으로 표현하고, 실제 비즈니스 문제 해결 및 새로운 기회 창출과의 잠재적 연관성을 제시한다. 이 방법론은 시간 흐름에 따른 기술 또는 애플리케이션 발전 과정을 조망하고, 특정 비즈니스 목표의 맥락에서의 효과적인 도입 관리를 위한 신뢰 있는 인사이트를 제공한다.     AI 에이전트는 AI 기술을 활용해 디지털, 물리 환경에서 인지하고, 의사결정을 내리며, 행동을 수행하고 목표를 달성하는 자율 또는 반자율 소프트웨어다. 기업은 대형 언어 모델(LLM)을 비롯한 다양한 AI 기술과 사용 사례를 활용해 복잡한 작업을 수행할 수 있는 AI 에이전트를 개발 및 배포하고 있다. AI 레디 데이터는 데이터 세트가 AI 애플리케이션에 최적화되도록 보장해 정확성과 효율성을 향상시킨다. 데이터의 준비 상태는 특정 AI 사용 사례에 대해 얼마나 적합한 데이터인지로 결정되며, 이는 해당 사용 사례와 AI 기술 맥락에서 결정될 수 있다. 이는 데이터 관리에 대한 새로운 접근 방식을 요구한다. 가트너는 AI에 대규모로 투자하는 기업이 데이터 관리 관행과 역량을 AI 환경에 맞게 발전시켜야 한다고 조언했다. 이를 통해 기존 및 향후 비즈니스 요구사항 충족, 신뢰 확보, 위험 및 준수 문제 방지, 지적 재산 보호, 편향과 환각 감소를 달성할 수 있다고 전했다. 또한, 가트너는 ‘멀티모달(Multimodal) AI’와 ‘AI 신뢰, 위험, 보안 관리(TRiSM)’가 향후 5년 내 AI 혁신 기술의 주류가 될 것이며 부풀려진 기대의 정점을 주도하고 있다고 분석했다. 이러한 기술 발전은 보다 강력하고 혁신적이며 책임감 있는 AI 애플리케이션을 구현해 기업의 운영 방식을 변화시킬 것으로 전망된다. 멀티모달 AI는 이미지, 비디오, 오디오, 텍스트 등 여러 유형의 데이터를 동시에 학습하는 모델이다. 다양한 데이터 소스를 통합하고 분석함으로써 단일 유형의 데이터만 사용하는 모델보다 복잡한 상황을 더 효과적으로 이해할 수 있다. 이를 통해 사용자에게 더 명확한 정보를 제공하고 AI 애플리케이션의 새로운 가능성을 열 수 있다. 가트너는 멀티모달 AI가 향후 5년 동안 모든 산업 분야의 애플리케이션과 소프트웨어 제품의 성능 향상에 점점 더 필수 요소로 자리 잡을 것으로 전망했다. AI TRiSM은 윤리적이고 안전한 AI 도입을 위한 핵심 기술 프레임워크이다. 이는 모든 AI 사용 사례에 대한 기업 정책을 지원하고, AI 거버넌스, 신뢰성, 공정성, 안전성, 보안, 개인정보 보호, 데이터 보호를 보장하는 기술 계층으로 구성되어 있다. 가트너의 하리타 칸다바투(Haritha Khandabattu) 시니어 디렉터 애널리스트는 “올해도 AI에 대한 투자가 활발하게 이어지는 가운데 운영 확장성, 실시간 인텔리전스를 위한 AI 활용이 주목받고 있다”며, “생성형 AI 중심에서 AI 에이전트, AI 레디 데이터와 같은 지속 가능한 AI 제공을 지원하는 기반 기술로 이동하는 추세”라고 전했다. 이어서 칸다바투 시니어 디렉터 애널리스트는 “AI는 막대한 비즈니스 잠재력을 가지고 있지만 이는 저절로 실현되지 않는다. 목표 달성을 위한 핵심은 비즈니스와 연계된 파일럿 프로젝트, 인프라 벤치마킹, 가치 창출을 위한 AI와 비즈니스 팀 간 협력”이라고 강조했다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 이슈인 AI 에이전트(agent) 개발 시 필수적인 함수 호출(function call) 방법을 오픈소스를 이용해 구현해 본다. 이를 위해 구글에서 공개한 젬마 3(Gemma 3) LLM(대규모 언어 모델)과 역시 오픈소스인 LLM 관리도구 올라마(Ollama)를 활용하여 간단한 AI 에이전트를 로컬 PC에서 개발해본다. 아울러, 이런 함수 호출 방식의 한계점을 개선하기 위한 설루션을 나눔한다.   ■  강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/ GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   이번 호의 글은 다음 내용을 포함한다. AI 에이전트 구현을 위한 사용자 도구 함수 호출 방법 올라마를 통한 젬마 3 사용법 채팅 형식의 프롬프트 및 메모리 사용법 그라디오(Gradio) 기반 웹 앱 개발   그림 1. AI 에이전트 내부의 함수 호출 메커니즘(Akriti, 2025)   이 글의 구현 코드는 다음 링크에서 확인할 수 있다. AI_agent_simple_function_call   젬마 3 모델의 특징 젬마 3는 구글이 개발해 2025년 3월 10일에 출시한 LLM이다. 차세대 경량 오픈 멀티모달 AI 모델로, 텍스트와 이미지를 동시에 처리할 수 있는 기능을 갖추고 있다. 이 모델은 다양한 크기와 사양으로 제공되어 단일 GPU 또는 TPU 환경에서도 실행 가능하다. 젬마 3는 1B, 4B, 12B, 27B의 네 가지 모델 크기로 제공되며, 각각 10억, 40억, 120억, 270억 개의 파라미터를 갖추고 있다. 1B 모델은 텍스트 전용으로 32K 토큰의 입력 컨텍스트를 지원하고, 4B/12B/27B 모델은 멀티모달 기능을 지원하며 128K 토큰의 입력 컨텍스트를 처리할 수 있다. 이는 이전 젬마 모델보다 16배 확장된 크기로, 훨씬 더 많은 양의 정보를 한 번에 처리할 수 있게 해 준다. 이 모델은 텍스트와 이미지 데이터를 동시에 처리하고 이해하는 멀티모달 기능을 제공한다. 이미지 해석, 객체 인식, 시각적 질의응답 등 다양한 작업을 수행할 수 있으며, 텍스트 기반 작업에 시각적 정보를 효과적으로 활용할 수 있도록 지원한다.   그림 2. 출처 : ‘Welcome Gemma 3 : Google's all new multimodal, multilingual, long context open LLM(Hugging Face)’   그림 3. 출처 : ‘Welcome Gemma 3 : Google's all new multimodal, multilingual, long context open LLM(Hugging Face)’   젬마 3는 140개 이상의 언어를 지원하여 전 세계 다양한 언어 사용자를 대상으로 하는 AI 애플리케이션 개발에 매우 유리하다. 사용자는 자신의 모국어로 젬마 3와 상호작용할 수 있으며, 다국어 기반의 텍스트 분석 및 생성 작업도 효율적으로 수행할 수 있다. 이 모델은 다양한 작업 수행 능력을 갖추고 있다. 질문–답변, 텍스트 요약, 논리적 추론, 창의적인 텍스트 형식 생성(시, 스크립트, 코드, 마케팅 문구, 이메일 초안 등), 이미지 데이터 분석 및 추출 등 광범위한 자연어 처리 및 컴퓨터 비전 관련 작업을 수행할 수 있다. 또한, 함수 호출 및 구조화된 출력을 지원하여 개발자가 특정 작업을 자동화하고 에이전트 기반의 경험을 구축하는 데 도움을 준다. 젬마 3는 다양한 도구 및 프레임워크와 원활하게 통합된다. Hugging Face Transformers, Ollama, JAX, Keras, PyTorch, Google AI Edge, UnSloth, vLLM, Gemma. cpp 등 다양한 개발 도구 및 프레임워크와 호환되어 개발자들이 자신이 익숙한 환경에서 젬마 3를 쉽게 활용하고 실험할 수 있다. 이 모델은 다양한 벤치마크 테스트에서 동급 모델 대비 최첨단 성능을 입증했다. 특히, Chatbot Arena Elo Score에서 1338점을 기록하며, 여러 오픈 소스 및 상용 모델보다 높은 성능을 보였다.  젬마 3는 오픈 모델로, 개방형 가중치를 제공하여 사용자가 자유롭게 조정하고 배포할 수 있다. 캐글(Kaggle)과 허깅 페이스(Hugging Face)에서 다운로드 가능하며, Creative Commons 및 Apache 2.0 라이선스를 따름으로써 개발자와 연구자에게 VLM 기술에 대한 접근성을 높여준다.   개발 환경 개발 환경은 다음과 같다. 미리 설치 및 가입한다. 오픈 LLM 관리 도구 올라마 : https://ollama.com/download/ windows LLM 모델 젬마 3 : https://ollama.com/search dashboard 웹 검색 도구 Serper 서비스 가입 : https://serper.dev/ 설치되어 있다면 다음 명령을 터미널(윈도우에서는 도스 명령창)에서 실행한다. ollama pull gemma3:4b     ■ 자세한 기사 내용은 PDF로 제공됩니다.

오라클은 전 세계 AI 혁신 기업이 AI 모델의 훈련 및 AI 추론과 애플리케이션 배포를 위해 오라클 클라우드 인프라스트럭처 AI 인프라스트럭처(OCI AI Infrastructure)와 OCI 슈퍼클러스터(OCI Supercluster)를 활용하고 있다고 밝혔다. “파이어웍스AI(Fireworks AI), 헤드라(Hedra), 누멘타(Numenta), 소니옥스(Soniox)를 비롯해 수백 개의 선도적인 AI 혁신 기업이 AI 워크로드 실행 위치에 대한 제어, 컴퓨트 인스턴스 선택권, 확장성, 고성능, 비용 효율성 등의 이유로 OCI를 선택하고 있다”는 것이 오라클의 설명이다. 산업 전반에서 AI 도입이 빠르게 확산됨에 따라, AI 기업들은 신속하고 경제적인 GPU 인스턴스 확장을 지원하는 안전하고 검증된 고가용성 클라우드 및 AI 인프라를 필요로 한다. AI 기업들은 OCI AI 인프라스트럭처를 통해 AI 훈련 및 추론, 디지털 트윈, 대규모 병렬 HPC 애플리케이션 등에 필요한 고성능 GPU 클러스터와 확장성 높은 컴퓨팅 파워에 접근할 수 있다.     파이어웍스 AI는 텍스트와 이미지, 오디오, 임베딩, 멀티모달 형식의 100개 이상의 최첨단 오픈 모델을 서비스하는 고성능 생성형 AI 애플리케이션 플랫폼으로, 개발자와 기업이 최적화된 생성형 AI 애플리케이션을 구축할 수 있도록 지원한다. 파이어웍스 AI는 엔비디아 호퍼(NVIDIA Hopper) GPU로 가속화된 OCI 컴퓨트(OCI Compute) 베어메탈 인스턴스와 AMD MI300X GPU를 탑재한 OCI 컴퓨트를 활용해 플랫폼에서 매일 2조 건 이상의 추론 토큰을 처리하고 글로벌 서비스 확장을 지원한다. 헤드라는 AI 기반 영상 생성전문 회사로, 사용자가 생생한 캐릭터 영상을 제작할 수 있도록 지원한다. 헤드라는 엔비디아 호퍼 GPU로 가속화된 OCI 컴퓨트 베어메탈 인스턴스에서 생성형 이미지, 영상, 오디오를 위한 멀티모달 기반 모델을 배포함으로써 GPU 비용 절감, 훈련 속도 향상, 모델 반복 시간 단축에 성공했다. 누멘타는 딥러닝 시스템의 성능과 효율성을 극대화하는 데 집중하는 AI 전문 기술회사다. 누멘타는 엔비디아 GPU로 가속화된 OCI 컴퓨트 베어메탈 인스턴스를 활용함으로써 고성능의 검증된 훈련 인스턴스에 접근할 수 있게 되었으며, 더 빨라진 훈련 속도 및 증가한 학습 사이클을 경험했다. 소니옥스는 오디오 및 음성 AI 분야 선도 회사로, 오디오, 음성, 언어 이해를 위한 기초 AI 모델을 개발하고 있다. 소니옥스는 OCI 상에서 다국어 음성 인식 AI 모델을 구동하며, 엔비디아 호퍼 GPU 기반 OCI 컴퓨트 베어메탈 인스턴스를 활용해 60개 언어의 음성을 실시간으로 정확하게 인식하고 이해할 수 있도록 학습했다. 오라클의 크리스 간돌포(Chris Gandolfo) OCI 및 AI 부문 수석 부사장은 “OCI는 다양한 규모의 훈련 및 추론 요구사항을 충족시켜 주며, AI 혁신 기업들이 선호하는 클라우드 플랫폼으로 빠르게 자리매김했다”면서, “OCI AI 인프라스트럭처는 초고속 네트워크, 최적화된 스토리지, 최첨단 GPU를 제공하여 AI 기업의 차세대 혁신을 돕는다”고 강조했다.