아마존웹서비스(AWS)는 최근 진행한 설문조사를 통해 국내 기업들의 AI 활용 현황과 과제를 짚었다. 또한, 신뢰할 수 있는 고성능의 인공지능 에이전트(AI agent)를 구축하고 배포할 수 있는 환경을 제공하면서 한국 시장에 지원을 강화하고 있다고 밝혔다. AWS는 AI의 도입과 활용 과정에서 기업이 겪는 기술적 어려움을 줄이고, 더 많은 기업이 쉽고 안전하게 생성형 AI를 도입하여 비즈니스 가치를 창출할 수 있도록 돕는 데 집중하고 있다. ■ 정수진 편집장    기업의 AI 도입률 높지만…고도화 위한 과제는?  AWS와 스트랜드 파트너스(Strand Partners)는 2025년 4월 한국 기업 1000곳과 일반인 1000명을 대상으로 AI에 대한 행동과 인식에 대한 설문조사를 진행하고, 그 결과를 바탕으로 한국 기업의 AI 활용 현황을 평가했다. 이 조사는 유럽에서는 3년째 진행되어 왔는데, 이번에 글로벌로 확장해 동일한 방법론을 적용했다. 스트랜드 파트너스의 닉 본스토우(Nick Bonstow) 디렉터는 설문조사 보고서의 내용을 소개하면서, 한국 기업의 AI 도입 현황과 주요 과제를 분석했다. 조사에서는 한국 기업의 48%가 AI를 도입 및 활용하고 있는 것으로 나타났는데, 이는 전년 대비 40% 성장한 수치이다. 유럽 기업의 평균 AI 도입률인 42%보다 높았는데, 특히 지난해에만 약 49만 9000 개의 한국 기업이 AI를 처음 도입한 것으로 추정된다. 본스토우 디렉터는 “AI를 도입한 기업들은 실질적인 이점을 경험하고 있다. 56%가 생산성 및 효율성 향상으로 매출 증가를 경험했고, 79%는 업무 생산성 향상 효과를 확인했다. 그리고 AI 도입에 따라 주당 평균 13시간의 업무 시간을 절감했다”고 소개했다. AI 도입률은 높지만, 국내 기업의 70%는 여전히 챗봇이나 간단한 반복 업무 자동화와 같은 기초적인 수준의 AI 활용에 머무르고 있는 상황이다. AI를 다양한 업무 영역에 통합하는 중간 단계는 7%, 여러 AI 도구나 모델을 결합하여 복잡한 업무를 수행하거나 비즈니스 모델을 혁신하는 변혁적 단계는 11%에 불과했다. 본스토우 디렉터는 “기업들이 AI의 잠재력을 완전히 활용하기 위해 더 높은 단계로 나아가야 할 필요가 있다”고 짚었다. 본스토우 디렉터는 국내 기업의 AI 도입이 양극화되고, AI 혁신의 편차를 키울 수 있다고 전했다. 한국 스타트업의 70%가 AI를 확대하고 있는데 이는 유럽의 58%보다 높은 수치로, 국내 스타트업 생태계는 AI 도입에서 뚜렷한 강점을 보였다. 스타트업의 33%는 AI를 비즈니스 전략 및 운영의 핵심 요소로 두고 있으며, 32%는 가장 고도화된 방식으로 AI를 활용하고 있다. 또한, 21%는 AI 기반의 새로운 제품 및 서비스를 개발 중이다. 반면, 국내 대기업의 69%는 여전히 AI를 효율 개선, 업무 간소화 등 기초적인 수준에서만 활용하고 있는 것으로 나타났다. 대기업의 10%만이 AI 기반 신제품 또는 서비스 개발 단계에 진입했는데, 이는 스타트업의 절반 수준이다. 이번 조사에서는 AI 도입의 주요 장애 요인으로 기술 및 디지털 인재의 부족, 자금 접근성, 규제 환경 등이 꼽혔다. 조사 응답 기업의 43%가 디지털 인재를 확보하지 못해 AI 도입 또는 확산에 어려움을 겪고 있다고 응답했고, 지난 1년간 디지털 역량 교육에 참여한 직원은 약 34%였다. 67%의 기업은 정부의 지원 정책이 AI 도입 결정에 중요하다고 응답했으며, 45%의 스타트업은 벤처 자본 56 · 접근성이 성장을 위한 핵심 요소라고 평가했다. 그리고 국내 기업들은 기술 예산 가운데 평균 23%를 규제 준수 비용에 투입하고 있으며, 34%는 AI 기본법 등 관련 입법으로 인해 이 비용이 증가할 것으로 예상했다. 본스토우 디렉터는 “한국이 AI 부문에서 세계를 선도할 수 있는 인프라와 스타트업 생태계 그리고 강한 열정을 가지고 있음을 확인했다. 하지만 AI 활용의 깊이를 더해주는 변혁적인 활용으로 나아가지 못하고 있는 점과 인재 부족, 규제 불확실성 등의 장애 요인을 해결해야 AI를 미래의 성장 동력과 경쟁력의 원천으로 삼을 수 있을 것”이라고 평가했다. 그리고, 이를 위해 한국 정부가 ▲기술 인재에 대한 투자 ▲혁신 친화적이고 명확한 규제 환경 조성 ▲공공 부문의 기술 현대화 및 디지털 전환 추진 등에 관심을 기울일 것을 제안했다.   ▲ AWS 김선수 AI/ML 사업 개발 수석 스페셜리스트   기업의 생성형 AI 활용 문턱 낮춘다 AWS의 김선수 AI/ML 사업 개발 수석 스페셜리스트는 국내 기업들이 AI를 잘 활용할 수 있도록 돕는 AWS의 생성형 AI 기술 스택과 주요 서비스를 소개했다. 그는 “2023년이 생성형 AI 개념 검증(PoC)의 해였다면 2024년은 생산 적용, 2025년은 비즈니스 가치 실현의 해가 될 것”이라고 짚었다. 또한 복잡한 작업을 자율적으로 수행하는 에이전트 AI에 대한 관심이 커지고 있다면서, 가트너(Gartner)의 전망을 인용해 “2026년까지 기업의 80% 이상이 생성형 AI API(애플리케이션 프로그래밍 인터페이스)를 사용하거나 관련 기능이 탑재된 애플리케이션을 배포할 것”이라고 전망했다. AWS는 생성형 AI를 위한 기술 스택을 세 가지 계층으로 제공한다. 가장 아래쪽에는 GPU, AI 프로세서 등을 포함해 모델 훈련과 추론에 필요한 인프라 레이어가 있고, 중간에는 AI 모델에 연결하여 각 기업에 최적화된 생성형 AI 애플리케이션을 구현하도록 돕는 모델/도구 레이어, 가장 위쪽에는 복잡한 개발 없이 쉽고 빠르게 활용할 수 있는 생성형 AI 애플리케이션 레이어가 있다. 이 기술 스택의 핵심으로 AWS가 내세운 것이 아마존 베드록(Amazon Bedrock)이다. 베드록은 생성형 AI 애플리케이션을 쉽게 구축하고 확장할 수 있도록 지원하는 완전 관리형 서비스이다. 앤트로픽, 메타, 미스트랄 AI 등 12개가 넘는 AI 기업의 파운데이션 모델(FM)을 선택해 활용할 수 있다는 점이 특징이다. 아마존 베드록은 비용, 지연 시간, 정확도를 최적화할 뿐만 아니라 기업의 필요에 맞게 모델을 맞춤 설정하거나 유해 콘텐츠/프롬프트 공격 등을 필터링해 안전한 AI 활용 환경을 갖출 수 있도록 돕는다. 김선수 수석 스페셜리스트는 “베드록은 프롬프트 엔지니어링, 검색 증강 생성(RAG), 미세조정(파인 튜닝) 등 다양한 방식으로 모델을 활용할 수 있도록 지원한다. 특히 RAG 구현을 위한 지식 베이스 및 벡터 검색 기능을 기본으로 제공해, 기업의 내부 데이터를 안전하게 연결하고 관련성 높은 답변을 생성할 수 있다”고 전했다. 최근 생성형 AI는 어시스턴트(assistant)를 넘어 워크플로를 자동화하는 에이전트(agent)로 진화하고 있으며, 궁극적으로는 사람의 개입 없이 AI끼리 자율적으로 협업하는 에이전틱 AI(agentic AI) 시스템으로 나아갈 것으로 보인다. AWS는 생성형 AI 에이전트 구축을 위해 ▲아마존 Q 디벨로퍼(Amazon Q Developer)와 같이 사전 구축된 에이전트 제품 ▲아마존 베드록 에이전트(Amazon Bedrock Agents)와 같이 내장된 오케스트레이션을 제공하는 완전 관리형 설루션 ▲스트랜드 에이전트(Strands Agents)와 같은 경량 오픈소스 SDK(소프트웨어 개발 키트)를 활용해 직접 에이전트를 구축할 수 있는 제품 등을 선보이고 있다.    ▲ AWS는 AI 에이전트의 구축과 배포를 위해 다양한 기술을 제공한다.     ■ 기사 내용은 PDF로도 제공됩니다.

아마존웹서비스(AWS)가 5월 14일~15일 서울 코엑스에서 ‘AWS 서밋 서울 2025’를 진행했다. 4만여 명이 사전 등록한 이번 서밋에는 생성형 AI를 중심으로 다양한 산업 분야와 기술 주제에 대해 130개 이상의 강연이 진행됐고, 60개 이상의 고객사가 AWS 도입 경험과 성공 사례를 소개했다. 또한 현실에 적용 가능한 도구로서 생성형 AI 활용 사례를 체험할 수 있는 엑스포 등 다양한 프로그램이 진행됐다. ■ 정수진 편집장   생성형 AI와 클라우드 전환 중심의 시장 전략 AWS 코리아의 함기호 대표이사는 생성형 AI가 일상을 빠르게 변화시키고 있다고 짚었다. 연구 결과에 따르면 한국 기업의 54%가 2025년 IT 예산에서 생성형 AI를 최우선 투자 항목으로 꼽았다. 그리고 63%의 조직이 최고 AI 책임자(CAIO)를 임명하는 등, AI는 기업의 조직 구조에도 변화를 가져왔다. 생성형 AI의 도입 속도는 매우 빨라서 94%의 기업이 이미 도입했고, 85%는 활발한 실험을 진행 중이다. 하지만 이러한 실험이 실제 활용으로 이어지는 비율은 아직 절반 이하에 머물고 있는 것으로 나타났다.   ▲ AWS코리아 함기호 대표   AWS는 고객들이 클라우드 전환을 지속적인 혁신의 여정으로 인식하고 있다는 점에 주목하고 있다. 과거에는 클라우드가 단순히 비용 절감 수단 또는 일회성 프로젝트로 여겨졌지만, 이제는 비즈니스 민첩성과 경쟁력 확보를 위해 클라우드 네이티브 환경으로의 전환을 더욱 중요하게 생각하고 있다는 것이다. 함기호 대표이사는 “AWS는 이러한 변화와 함께 고객의 디지털 전환을 지속적으로 지원하고 있다”면서, 작년에 이어 올해도 생성형 AI와 IT 현대화를 주요 사업 전략으로 진행하고 있다고 소개했다. 그는 또한 한국 시장에 대한 지원과 성과에 대해서도 소개했다. 올해에는 AWS 마켓플레이스(AWS Marketplace)가 한국에 정식으로 출시되었다. 지난 3월에는 한국인터넷진흥원의 클라우드 보안 인증(CSAP) 3등급을 획득하여, 공공기관에 클라우드 서비스를 제공할 수 있게 되었다. 개발자를 위한 생성형 AI 서비스인 아마존 Q 디벨로퍼(Amazon Q Developer)가 4월부터 한국어 지원을 시작했다. 이외에도 AWS는 한국 기업이 파운데이션 모델(FM)을 개발하고 해외로 빠르게 진출할 수 있도록 지원을 이어갈 예정이다.   컴퓨팅/스토리지/보안 등 주요 클라우드 기술 요소 소개 AWS는 이번 서밋이 기술 중심에서 기술 경험 중심으로 초점을 옮겨, 생성형 AI를 포함한 자사의 기술이 실제 문제 해결에 어떻게 기여하는지 보여주는 데 초점을 맞추었다고 설명했다. 서밋의 첫째 날인 5월 14일 기조연설에서 AWS의 야세르 알사이에드(Yasser Alsaied) IoT 부문 부사장은 “AWS가 불가능해 보이는 것을 상상하고 만들 수 있도록 돕는 기술을 제공한다”고 소개했다. 그가 소개한 주요 기술은 보안, 확장성, 컴퓨팅, 스토리지 등이다. AWS는 칩부터 클라우드까지 모든 수준에서 보안을 구축하고 고객 데이터에 접근할 수 없도록 했다. 또한, 전 세계의 인프라 리전(region)과 가용 영역(availability zone)을 연결하는 600만 킬로미터 이상의 광케이블을 보유하고 있으며, 2024년에는 네트워크 백본 용량을 80% 늘렸다. AWS는 클라우드 기반으로 필요한 만큼 컴퓨팅 리소스를 사용할 수 있도록 지원하며 가상 서버, 컨테이너 등 다양한 옵션을 제공한다. 특히 생성형 AI와 같은 복잡한 워크로드를 위해서는 엔비디아와 협력하여 GPU 인스턴스를 출시했다. 알사이에드 부사장은 세계에서 가장 빠른 슈퍼컴퓨터를 개발하기 위한 프로젝트 세이바(Project Ceiba) 및 고수요의 GPU 컴퓨팅에 즉시 예측 가능하게 액세스할 수 있는 아마존 EC2 캐퍼시티 블록을 소개했으며, “자체 개발한 프로세서인 AWS 그래비톤4(AWS Graviton4)는 이전 세대 대비 45% 빠르고 에너지 소비를 60% 줄였다. AWS는 지난 2년간 데이터센터 CPU의 50% 이상을 그래비톤으로 교체했다”고 설명했다.   ▲ AWS 야세르 알사이에드 IoT 부문 부사장   스토리지 서비스인 아마존 S3(Amazon S3)에는 현재 400조 개 이상의 오브젝트가 저장되어 있다. 한편, AWS는 대규모 분석 데이터셋을 위한 툴인 아파치 아이스버그(Apache Iceberg)를 오픈소스로 공개했고, 오브젝트 크기, 스토리지 클래스, 통계 등의 시스템 메타데이터를 자동으로 생성해 대규모 데이터셋 관리의 오버헤드를 줄이는 S3 메타데이터 등 스토리지 관련 서비스를 제공한다. 알사이에드 부사장은 이러한 스토리지 기술이 대규모 데이터를 효율적으로 관리하고 활용하는 데 있어 중요하며, 이를 통해 혁신적인 설루션을 구축할 수 있다고 강조했다.   앱 현대화 및 비즈니스 혁신을 위한 AI 기술 알사이에드 부사장은 비즈니스 혁신을 돕는 AWS의 생성형 AI 및 관련 서비스에 대해서도 소개했다. 아마존 베드락(Amazon Bedrock)은 고객에게 폭넓은 파운데이션 모델(FM) 선택권을 제공해, 아마존 및 다양한 회사의 모델 가운데 개발하는 애플리케이션에 가장 적합한 모델을 선택할 수 있도록 돕는다. 베드락은 검색 증강 생성(RAG)을 지원해 더욱 관련성 높고 정확한 응답을 제공하며, 가드레일 포 아마존 베드락(Guardrails for Amazon Bedrock)을 통해 유해한 콘텐츠를 차단할 수 있다. 알사이에드 부사장은 AI 응답의 불확실성을 줄이는 데에 도움을 주는 자동화 추론 및 프롬프트에 적합한 모델을 선택할 수 있는 지능형 프롬프트 라우팅 등의 기능도 소개했다. 또한 알사이에드 부사장은 AI 및 에이전트 기술을 활용한 애플리케이션의 현대화 사례를 소개하면서, “AWS는 고객들이 마이그레이션 과제를 극복하도록 꾸준히 지원해왔으며, 마이그레이션을 자동화하는 서비스를 제공한다”고 전했다. “닷넷 코드 변환 서비스는 애플리케이션의 현대화 시간 및 윈도우 라이선스 비용을 줄일 수 있게 돕고, VM웨어 워크로드 변환 서비스는 네트워크 설정 변환 속도를 80배 높일 수 있다. 복잡한 메인프레임 애플리케이션의 변환도 에이전트의 도움으로 몇 달 만에 완료할 수 있다”는 것이 알사이에드 부사장의 설명이다.   ▲ AWS는 생성형 AI가 제조 산업의 복잡한 업무에 도움을 줄 수 있다고 소개했다.   제조 산업 디지털 전환을 위한 데이터 통합 및 AI 활용 이번 서밋은 이틀에 걸쳐 ‘인더스트리 데이(5월 14일)’와 ‘코어 서비스 데이(5월 15일)’로 진행됐다. 5월 14일에는 현대카드와 트웰브랩스가 기조연설에서 생성형 AI 관련 인사이트를 소개했고 기술 트렌드, 생성형 AI, 산업별 트랙 등 다양한 주제의 강연이 진행되었다. 15일에는 아마존의 워너 보겔스(Werner Vogels) CTO와 디팍 싱(Deepak Singh) 데이터베이스 및 AI 부사장, 삼성전자 서치영 상무, 티맵모빌리티 김재순 CTO가 기조연설을 진행했으며, 9개 트랙에서 50여 개의 세부 강연을 통해 생성형 AI, 머신러닝, 데이터 분석, 클라우드, 데이터베이스, 보안 및 거버넌스 등 서비스별 업데이트와 활용 사례가 소개되었다. 이 가운데 14일 진행된 제조 및 하이테크 트랙에서는 디지털 전환과 인공지능을 통한 제조산업의 혁신 전략을 짚고, 국내 기업들의 사례가 소개됐다. AWS 코리아의 박천구 솔루션즈 아키텍트 매니저는 변화하는 시장 환경에서 제조 기업이 직면한 문제로 “엔지니어링 디자인, 제조, 공급망, 운영 등 각 부서의 시스템이 사일로화되어 필요한 데이터를 제때 얻기 어렵다”는 점을 꼽았다. 그러면서 “이런 문제를 해결하기 위한 디지털 전환은 전통적인 제조에서 첨단 제조로 완전히 전환하는 것을 뜻하며, 긴 여정을 통해 비즈니스 가치를 실현할 수 있어야 한다”고 전했다. 특히 제조산업 디지털 전환의 핵심 요소로 AWS가 주목한 것은 데이터의 통합이다. 박천구 매니저는 “공장에는 많은 데이터가 있고 산업 데이터는 2년마다 두 배씩 늘어나는데, 특히 OT 데이터가 대다수를 차지한다. 디지털 전환의 성공은 OT에 중점을 두고 OT-IT 데이터를 효과적으로 통합하는 데에 달려 있다”면서, “이렇게 통합된 데이터를 잘 관리하고 빅데이터・AI 등과 결합해 활용할 수 있는 구조를 갖춤으로써 각 제조 단위 및 전체 공정의 최적화가 가능하다. 특히 올해는 생성형 AI를 통한 비즈니스 전환에 대한 고민이 본격화될 것으로 보이는데, 탄탄한 데이터 기반을 구축하는 것은 생성형 AI의 효과를 실현하는 필수 조건”이라고 짚었다.     ■ 기사 내용은 PDF로도 제공됩니다.

황재선 지음 / 25,000원 / 좋은습관연구소 생성형 AI를 통해 이미 100배의 생산성 향상을 경험하고 있는 지금, 이러한 경험은 이제 개인을 넘어 조직으로 확대되어야 한다. 신간 'AX 100배의 법칙'은 나와 조직의 능력을 100배 높이는 AI 경영을 위한 5단계 프로세스를 제시해 주목받고 있다. AX 5단계, 기업 규모별 맞춤형 전략 제시 이 책에서는 1인 기업이나 소규모 회사부터 글로벌 대기업까지, 각 기업의 규모에 맞춰 AX(AI 트랜스포메이션)를 발전시킬 수 있는 구체적인 로드맵을 제공한다. 각 단계별로 필요한 자원, 유의사항, 조직의 준비 사항은 물론, 개인이 앞으로 어떤 역할로 자신을 포지셔닝하고 자기계발해야 하는지에 대한 방향성도 제시했다. SK 디스커버리 DX Lab의 황재선 부사장이 집필한 이 책은 DX(디지털 트랜스포메이션) 시절부터 현재의 AX에 이르기까지, 기업 현장에서 다양한 AI 프로젝트를 직접 지휘한 경험을 바탕으로 현실적이고 체계적인 내용을 담았다. 황재선 부사장은 앞서 "DX는 조직의 습관을 바꾸는 일"이라는 정의로 많은 경영자들에게 큰 영감을 주었으며, 이제 이 메시지는 "AX는 조직의 습관을 바꾸는 일"로 다시금 정의되고 있다. AI 에이전트 시대, 개인과 기업의 공존을 위한 5단계 접근 AI 기술은 기업 경영 전반에 걸쳐 혁신적인 변화를 가져오고 있으며, 특히 생성형 AI의 등장은 AI를 개인의 이슈로 확장시켰다. 'AX 100배의 법칙'은 이러한 변화를 총 5단계로 접근하여 AI 에이전트 시대에 개인과 이들의 공존을 모색한다. 1단계: 생성형 AI 활용  - 일상생활과 업무에 생성형 AI를 적극적으로 활용하는 단계다. 2단계: RAG 및 지능형 RPA 활용 - RAG(Retrieval-Augmented Generation; 검색 증강 생성)를 활용해 사내 DB나 문서 검색 결과를 실시간으로 생성형 AI에 제공함으로써 더 풍부하고 정확한 정보를 기반으로 답변을 생성하도록 한다. 또한, 생성형 AI와 결합된 '지능형 RPA(Robotic Process Automation; 로보틱 프로세스 자동화)'를 통해 단순 반복 업무의 자동화율을 더욱 높인다. 3단계: 분석형 AI와 생성형 AI 결합 - 머신러닝 및 딥러닝 기반의 기존 분석형 AI와 생성형 AI를 결합하여 데이터 전문가가 아닌 비전문가도 자유롭게 분석 데이터를 활용하고 체크할 수 있는 자율성을 확보한다. 4단계: AI 에이전트 등장 - AI가 스스로 목표를 설정하거나 사용자의 목표를 인식한 뒤 여러 서브 태스크를 분해해 직접 실행하는 단계다. 이는 AI 활용의 최종 단계로, 100배를 넘어 100명의 역할을 수행하는 AI를 통해 무인 상태에서 의사결정과 작업 수행이 가능한 시나리오를 구현한다. 5단계: 도메인 특화 AI 모델 판매 - 1단계부터 4단계를 거쳐 만들어진 기업 특화 LLM(Large Language Model)과 SLM(Small Language Model)을 새로운 비즈니스 모델로 판매하는 단계다. 이는 일반 제조 기업이 테크 기업으로 전환하는 효과를 가져온다. 각 단계의 현실화 시기는 달라질 수 있지만, 생성형 AI의 출현으로 급변하는 비즈니스 환경을 고려할 때 예상보다 빠르게 다가올 수 있다. 'AX 100배의 법칙'은 저자의 실전 경험을 바탕으로 AX 준비를 위한 조직, 인프라, 문화 점검 방법, CEO의 역할, 구성원들의 AX 전환 속도 격려를 위한 KPI 설정 방법 등을 상세히 다룬다. 또한, AX 실천을 성공적으로 이어가고 있는 기업 사례와 활발하게 준비 중인 산업 분야를 여러 사례를 통해 요약 정리했다. 나아가 개인이 AX 시대에 인공지능과 함께 일하기 위해 어떤 역할을 담당하고, 인공지능과의 관계 설정은 어떻게 해야 하는지, 인공지능의 오류와 편향을 어떻게 감시하고 체크할 수 있는지 등  'AI 매니저'라는 새로운 개념을 제시하며 개인의 자기계발 방향을 제시한다.

엔비디아가 엔비디아 지포스(NVIDIA GeForce) RTX GPU와 쿠다(CUDA) 12.8을 통해 로컬 대규모 언어 모델(large language model : LLM) 실행 도구인 ‘LM 스튜디오(LM Studio)’의 성능을 향상했다고 밝혔다.  문서 요약에서 맞춤형 소프트웨어 에이전트에 이르기까지 AI 사용 사례가 계속 확장되고 있다. 이에 따라 개발자와 AI 애호가들은 LLM을 더 빠르고 유연하게 실행할 수 있는 방법을 찾고 있다. 엔비디아 지포스 RTX GPU가 탑재된 PC에서 로컬로 모델을 실행하면 고성능 추론, 향상된 데이터 프라이버시, AI 배포와 통합에 대한 제어가 가능하다. 무료로 체험할 수 있는 LM 스튜디오와 같은 도구는 이러한 로컬 AI 실행을 간편하게 구현할 수 있도록 지원한다. 이를 통해 사용자는 자신의 하드웨어에서 LLM을 탐색하고 구축할 수 있다. LM 스튜디오는 로컬 LLM 추론을 위해 가장 널리 채택된 도구 중 하나로 자리잡았다. 고성능 llama.cpp 런타임을 기반으로 구축된 이 애플리케이션은 모델을 완전히 오프라인에서 실행할 수 있도록 한다. 또한 사용자 지정 워크플로에 통합하기 위해 오픈AI(OpenAI) 호환 API(application programming interface) 엔드포인트 역할도 수행할 수 있다. LM 스튜디오 0.3.15 버전은 쿠다 12.8을 통해 RTX GPU에서 성능이 향상되면서 모델 로드와 응답 시간이 개선됐다. 또한 이번 업데이트에는 ‘툴_초이스(tool_choice)’ 파라미터를 통한 도구 활용 개선, 시스템 프롬프트 편집기 재설계 등 개발자 중심의 새로운 기능도 추가됐다. LM 스튜디오의 최신 개선 사항은 성능과 사용성을 향상시켜 RTX AI PC에서 높은 수준의 처리량을 제공한다. 즉, 더 빠른 응답, 더 신속한 상호작용, 그리고 로컬에서 AI를 구축하고 통합하기 위한 더 나은 툴을 제공한다.     LM 스튜디오는 유연성을 염두에 두고 제작돼 간단한 실험부터 맞춤형 워크플로 통합까지 다양한 용도로 활용할 수 있다. 사용자는 데스크톱 채팅 인터페이스를 통해 모델과 상호작용하거나 개발자 모드를 활성화해 오픈AI 호환 API 엔드포인트를 제공할 수 있다. 이를 통해 로컬 LLM을 비주얼 스튜디오 코드(VS Code)나 맞춤형 데스크톱 에이전트와 같은 앱의 워크플로에 쉽게 연결할 수 있다. 예를 들어, LM 스튜디오는 마크다운 기반의 인기 지식 관리 애플리케이션인 옵시디언(Obsidian)에 통합될 수 있다. 사용자는 텍스트 제너레이터(Text Generator), 스마트 커넥션(Smart Connections)과 같은 커뮤니티 개발 플러그인을 사용해 콘텐츠를 생성하고, 연구를 요약하고, 자신의 노트 검색을 수행할 수 있다. 이 모든 기능은 LM 스튜디오를 통해 실행되는 로컬 LLM으로 구동된다. 이러한 플러그인은 LM 스튜디오의 로컬 서버에 직접 연결되므로 클라우드에 의존하지 않고도 빠르고 비공개적인 AI 상호작용이 가능하다. LM 스튜디오 0.3.15 업데이트에는 개발자를 위한 새로운 기능이 추가됐다. 그중에는 ‘툴_초이스’ 매개변수를 통한 도구 사용에 대한 세분화된 제어 기능과 더 길거나 복잡한 프롬프트를 처리할 수 있는 시스템 프롬프트 편집기 업그레이드 등이 포함된다. 개발자는 툴_초이스 파라미터를 통해 도구 호출을 강제하거나, 완전히 비활성화하거나, 모델이 동적으로 결정하도록 허용하는 등 모델이 외부 도구와 연동하는 방식을 제어할 수 있다. 이러한 유연성은 구조화된 상호작용, 검색 증강 생성(retrieval-augmented generation : RAG) 워크플로 또는 에이전트 파이프라인 구축에 특히 유용하다. 이러한 업데이트는 LLM을 사용하는 개발자의 실험과 프로덕션 사용 사례 모두에서 효율성을 높인다. LM 스튜디오는 젬마(Gemma), 라마3(Llama 3), 미스트랄(Mistral), 오르카(Orca) 등 광범위한 개방형 모델과 4비트부터 고정밀까지 다양한 양자화 형식을 지원한다. 또한, 엔비디아는 소형 RTX 기반 시스템에서 효율성을 최적화하든 고성능 데스크톱에서 높은 처리량을 달성하든, LM 스튜디오가 RTX에서 완전한 제어, 속도, 프라이버시를 모두 제공한다고 설명했다. LM 스튜디오 가속화의 핵심은 소비자 하드웨어에서 효율적인 추론을 제공하도록 설계된 오픈 소스 런타임인 llama.cpp이다. 엔비디아는 LM 스튜디오, llama.cpp 커뮤니티와 협력해 RTX GPU 성능을 극대화하기 위해 ▲쿠다 그래프 활성화 ▲플래시 어텐션 쿠다 커널(Flash attention CUDA kernel) ▲최신 RTX 아키텍처 지원 등의 최적화 사항을 통합했다. LM 스튜디오는 윈도우, 맥OS, 리눅스에서 무료로 다운로드해 실행할 수 있다. 최신 0.3.15 버전과 지속적인 최적화를 통해 사용자는 성능, 맞춤화, 사용성에서 지속적인 개선을 기대할 수 있으며, 로컬 AI를 더 빠르고 유연하며 접근 가능하게 만든다. 사용자는 데스크톱 채팅 인터페이스를 통해 모델을 로드하거나 개발자 모드를 활성화해 오픈AI 호환 API를 사용할 수 있다.  LM 스튜디오는 모델 프리셋, 다양한 양자화 형식, 미세 조정된 추론을 위한 툴_초이스와 같은 개발자 제어 옵션을 지원한다. LM 스튜디오의 성능 개선에 관심이 있는 사용자는 커뮤니티와 엔비디아 주도의 성능 개선이 지속적으로 반영되는 llama.cpp 깃허브(GitHub) 리포지토리에 참여할 수 있다.

인텔은 IBM 클라우드가 클라우드 서비스 제공사로는 처음으로 인텔 가우디 3(Intel Gaudi 3) AI 가속기 기반 상용 서비스를 제공한다고 밝혔다. 인텔은 이로써 클라우드 서비스 고객이 고성능 인공지능 역량을 보다 쉽게 활용할 수 있도록 지원하고, AI 특화 하드웨어의 높은 비용 장벽을 낮출 수 있을 것이라고 밝혔다. 이번 IBM 클라우드 상용화는 가우디 3의 첫 대규모 상업 배포이다. 양사는 IBM 클라우드에서 인텔 가우디 3를 활용해 고객이 합리적인 비용으로 생성형 AI를 테스트·혁신·배포하도록 돕는 것을 목표로 하고 있다. 가트너의 최근 조사에 따르면 2025년 전 세계 생성형 AI 관련 지출은 2024년 대비 76.4% 증가한 6440억 달러에 이를 전망이다. 가트너는 “생성형 AI가 IT 지출 전 영역에 변혁적 영향을 미치고 있으며, 이에 따라 AI 기술이 기업 운영과 소비재에 필수 요소로 자리 잡을 것”이라고 분석했다. 많은 기업이 생성형 AI와 같은 도구가 자동화·워크플로 개선·혁신 촉진 등에 분명한 이점이 있다는 것을 알고 있으나, AI 애플리케이션 구축에는 막대한 연산 능력이 필요하고 대개의 경우 고가의 특화된 프로세서를 요구하기 때문에 많은 기업들은 AI 혜택을 누리지 못하고 있다.     인텔 가우디 3 AI 가속기는 개방형 개발 프레임워크를 지원하면서 생성형 AI·대규모 모델 추론·파인튜닝 등에 대한 폭발적인 수요를 충족하도록 설계됐으며, 멀티모달 LLM(대규모 언어 모델)과 RAG(검색 증강 생성) 워크로드에 최적화되어 있다. IBM 클라우드는 다양한 기업 고객, 특히 금융 서비스, 의료 및 생명 과학, 공공 부문 등 규제 산업에 종사하는 고객에게 서비스를 제공한다. 현재 가우디 3는 독일 프랑크푸르트, 미국 워싱턴 D.C., 택사스 댈러스의 IBM 클라우드 리전에 적용되어 사용할 수 있다. 가우디 3은 IBM의 광범위한 AI 인프라스트럭처 제품에도 통합되고 있다. 고객들은 현재 IBM VPC(가상 프라이빗 클라우드)의 IBM 클라우드 가상 서버를 통해 가우디 3를 사용할 수 있으며, 2025년 하반기부터 다양한 아키텍처에 배포할 수 있다. 레드햇 오픈시프트(Red Hat OpenShift)와 IBM 왓슨엑스 AI 플랫폼(IBM’s watsonx AI platform)에 대한 지원은 이번 분기 내 가능해질 예정이다. 인텔의 사우라브 쿨카니(Saurabh Kulkarni) 데이터센터 AI 전략 담당은 “인텔 가우디 3 AI 가속기가 IBM 클라우드에 도입되며 기업 고객에게 추론 및 파인 튜닝을 위해 최적화된 성능으로 생성형 AI 워크로드를 확장할 수 있도록 지원하게 되었다”면서, “이번 협력은 전 세계 기업이 AI를 더 쉽게, 비용효율적으로 구현할 수 있도록 지원하려는 양사의 공동 노력의 일환”이라고 밝혔다. IBM의 사틴더 세티(Satinder Sethi) 클라우드 인프라스트럭처 서비스 총괄은 “더 많은 데이터 처리 능력과 더 높은 성능 구현은 전 세계 고객의 AI 도입을 촉진할 것”이라며 “인텔 가우디 3는 고객에게 AI의 하드웨어에 대한 더 많은 선택권과 더 많은 자유, 더 비용 효율적인 플랫폼을 제공해준다”고 밝혔다.