아마존웹서비스(AWS)가 5월 14일~15일 서울 코엑스에서 ‘AWS 서밋 서울 2025’를 진행했다. 4만여 명이 사전 등록한 이번 서밋에는 생성형 AI를 중심으로 다양한 산업 분야와 기술 주제에 대해 130개 이상의 강연이 진행됐고, 60개 이상의 고객사가 AWS 도입 경험과 성공 사례를 소개했다. 또한 현실에 적용 가능한 도구로서 생성형 AI 활용 사례를 체험할 수 있는 엑스포 등 다양한 프로그램이 진행됐다. ■ 정수진 편집장   생성형 AI와 클라우드 전환 중심의 시장 전략 AWS 코리아의 함기호 대표이사는 생성형 AI가 일상을 빠르게 변화시키고 있다고 짚었다. 연구 결과에 따르면 한국 기업의 54%가 2025년 IT 예산에서 생성형 AI를 최우선 투자 항목으로 꼽았다. 그리고 63%의 조직이 최고 AI 책임자(CAIO)를 임명하는 등, AI는 기업의 조직 구조에도 변화를 가져왔다. 생성형 AI의 도입 속도는 매우 빨라서 94%의 기업이 이미 도입했고, 85%는 활발한 실험을 진행 중이다. 하지만 이러한 실험이 실제 활용으로 이어지는 비율은 아직 절반 이하에 머물고 있는 것으로 나타났다.   ▲ AWS코리아 함기호 대표   AWS는 고객들이 클라우드 전환을 지속적인 혁신의 여정으로 인식하고 있다는 점에 주목하고 있다. 과거에는 클라우드가 단순히 비용 절감 수단 또는 일회성 프로젝트로 여겨졌지만, 이제는 비즈니스 민첩성과 경쟁력 확보를 위해 클라우드 네이티브 환경으로의 전환을 더욱 중요하게 생각하고 있다는 것이다. 함기호 대표이사는 “AWS는 이러한 변화와 함께 고객의 디지털 전환을 지속적으로 지원하고 있다”면서, 작년에 이어 올해도 생성형 AI와 IT 현대화를 주요 사업 전략으로 진행하고 있다고 소개했다. 그는 또한 한국 시장에 대한 지원과 성과에 대해서도 소개했다. 올해에는 AWS 마켓플레이스(AWS Marketplace)가 한국에 정식으로 출시되었다. 지난 3월에는 한국인터넷진흥원의 클라우드 보안 인증(CSAP) 3등급을 획득하여, 공공기관에 클라우드 서비스를 제공할 수 있게 되었다. 개발자를 위한 생성형 AI 서비스인 아마존 Q 디벨로퍼(Amazon Q Developer)가 4월부터 한국어 지원을 시작했다. 이외에도 AWS는 한국 기업이 파운데이션 모델(FM)을 개발하고 해외로 빠르게 진출할 수 있도록 지원을 이어갈 예정이다.   컴퓨팅/스토리지/보안 등 주요 클라우드 기술 요소 소개 AWS는 이번 서밋이 기술 중심에서 기술 경험 중심으로 초점을 옮겨, 생성형 AI를 포함한 자사의 기술이 실제 문제 해결에 어떻게 기여하는지 보여주는 데 초점을 맞추었다고 설명했다. 서밋의 첫째 날인 5월 14일 기조연설에서 AWS의 야세르 알사이에드(Yasser Alsaied) IoT 부문 부사장은 “AWS가 불가능해 보이는 것을 상상하고 만들 수 있도록 돕는 기술을 제공한다”고 소개했다. 그가 소개한 주요 기술은 보안, 확장성, 컴퓨팅, 스토리지 등이다. AWS는 칩부터 클라우드까지 모든 수준에서 보안을 구축하고 고객 데이터에 접근할 수 없도록 했다. 또한, 전 세계의 인프라 리전(region)과 가용 영역(availability zone)을 연결하는 600만 킬로미터 이상의 광케이블을 보유하고 있으며, 2024년에는 네트워크 백본 용량을 80% 늘렸다. AWS는 클라우드 기반으로 필요한 만큼 컴퓨팅 리소스를 사용할 수 있도록 지원하며 가상 서버, 컨테이너 등 다양한 옵션을 제공한다. 특히 생성형 AI와 같은 복잡한 워크로드를 위해서는 엔비디아와 협력하여 GPU 인스턴스를 출시했다. 알사이에드 부사장은 세계에서 가장 빠른 슈퍼컴퓨터를 개발하기 위한 프로젝트 세이바(Project Ceiba) 및 고수요의 GPU 컴퓨팅에 즉시 예측 가능하게 액세스할 수 있는 아마존 EC2 캐퍼시티 블록을 소개했으며, “자체 개발한 프로세서인 AWS 그래비톤4(AWS Graviton4)는 이전 세대 대비 45% 빠르고 에너지 소비를 60% 줄였다. AWS는 지난 2년간 데이터센터 CPU의 50% 이상을 그래비톤으로 교체했다”고 설명했다.   ▲ AWS 야세르 알사이에드 IoT 부문 부사장   스토리지 서비스인 아마존 S3(Amazon S3)에는 현재 400조 개 이상의 오브젝트가 저장되어 있다. 한편, AWS는 대규모 분석 데이터셋을 위한 툴인 아파치 아이스버그(Apache Iceberg)를 오픈소스로 공개했고, 오브젝트 크기, 스토리지 클래스, 통계 등의 시스템 메타데이터를 자동으로 생성해 대규모 데이터셋 관리의 오버헤드를 줄이는 S3 메타데이터 등 스토리지 관련 서비스를 제공한다. 알사이에드 부사장은 이러한 스토리지 기술이 대규모 데이터를 효율적으로 관리하고 활용하는 데 있어 중요하며, 이를 통해 혁신적인 설루션을 구축할 수 있다고 강조했다.   앱 현대화 및 비즈니스 혁신을 위한 AI 기술 알사이에드 부사장은 비즈니스 혁신을 돕는 AWS의 생성형 AI 및 관련 서비스에 대해서도 소개했다. 아마존 베드락(Amazon Bedrock)은 고객에게 폭넓은 파운데이션 모델(FM) 선택권을 제공해, 아마존 및 다양한 회사의 모델 가운데 개발하는 애플리케이션에 가장 적합한 모델을 선택할 수 있도록 돕는다. 베드락은 검색 증강 생성(RAG)을 지원해 더욱 관련성 높고 정확한 응답을 제공하며, 가드레일 포 아마존 베드락(Guardrails for Amazon Bedrock)을 통해 유해한 콘텐츠를 차단할 수 있다. 알사이에드 부사장은 AI 응답의 불확실성을 줄이는 데에 도움을 주는 자동화 추론 및 프롬프트에 적합한 모델을 선택할 수 있는 지능형 프롬프트 라우팅 등의 기능도 소개했다. 또한 알사이에드 부사장은 AI 및 에이전트 기술을 활용한 애플리케이션의 현대화 사례를 소개하면서, “AWS는 고객들이 마이그레이션 과제를 극복하도록 꾸준히 지원해왔으며, 마이그레이션을 자동화하는 서비스를 제공한다”고 전했다. “닷넷 코드 변환 서비스는 애플리케이션의 현대화 시간 및 윈도우 라이선스 비용을 줄일 수 있게 돕고, VM웨어 워크로드 변환 서비스는 네트워크 설정 변환 속도를 80배 높일 수 있다. 복잡한 메인프레임 애플리케이션의 변환도 에이전트의 도움으로 몇 달 만에 완료할 수 있다”는 것이 알사이에드 부사장의 설명이다.   ▲ AWS는 생성형 AI가 제조 산업의 복잡한 업무에 도움을 줄 수 있다고 소개했다.   제조 산업 디지털 전환을 위한 데이터 통합 및 AI 활용 이번 서밋은 이틀에 걸쳐 ‘인더스트리 데이(5월 14일)’와 ‘코어 서비스 데이(5월 15일)’로 진행됐다. 5월 14일에는 현대카드와 트웰브랩스가 기조연설에서 생성형 AI 관련 인사이트를 소개했고 기술 트렌드, 생성형 AI, 산업별 트랙 등 다양한 주제의 강연이 진행되었다. 15일에는 아마존의 워너 보겔스(Werner Vogels) CTO와 디팍 싱(Deepak Singh) 데이터베이스 및 AI 부사장, 삼성전자 서치영 상무, 티맵모빌리티 김재순 CTO가 기조연설을 진행했으며, 9개 트랙에서 50여 개의 세부 강연을 통해 생성형 AI, 머신러닝, 데이터 분석, 클라우드, 데이터베이스, 보안 및 거버넌스 등 서비스별 업데이트와 활용 사례가 소개되었다. 이 가운데 14일 진행된 제조 및 하이테크 트랙에서는 디지털 전환과 인공지능을 통한 제조산업의 혁신 전략을 짚고, 국내 기업들의 사례가 소개됐다. AWS 코리아의 박천구 솔루션즈 아키텍트 매니저는 변화하는 시장 환경에서 제조 기업이 직면한 문제로 “엔지니어링 디자인, 제조, 공급망, 운영 등 각 부서의 시스템이 사일로화되어 필요한 데이터를 제때 얻기 어렵다”는 점을 꼽았다. 그러면서 “이런 문제를 해결하기 위한 디지털 전환은 전통적인 제조에서 첨단 제조로 완전히 전환하는 것을 뜻하며, 긴 여정을 통해 비즈니스 가치를 실현할 수 있어야 한다”고 전했다. 특히 제조산업 디지털 전환의 핵심 요소로 AWS가 주목한 것은 데이터의 통합이다. 박천구 매니저는 “공장에는 많은 데이터가 있고 산업 데이터는 2년마다 두 배씩 늘어나는데, 특히 OT 데이터가 대다수를 차지한다. 디지털 전환의 성공은 OT에 중점을 두고 OT-IT 데이터를 효과적으로 통합하는 데에 달려 있다”면서, “이렇게 통합된 데이터를 잘 관리하고 빅데이터・AI 등과 결합해 활용할 수 있는 구조를 갖춤으로써 각 제조 단위 및 전체 공정의 최적화가 가능하다. 특히 올해는 생성형 AI를 통한 비즈니스 전환에 대한 고민이 본격화될 것으로 보이는데, 탄탄한 데이터 기반을 구축하는 것은 생성형 AI의 효과를 실현하는 필수 조건”이라고 짚었다.     ■ 기사 내용은 PDF로도 제공됩니다.

엔비디아가 에이전트 기반 AI 플랫폼 개발을 가속화하고 기업의 생산성을 높이는 ‘엔비디아 네모 마이크로서비스(NVIDIA NeMo microservices)’를 정식 출시했다고 밝혔다. 이번에 정식 출시된 엔비디아 네모 마이크로서비스는 기업 IT 부서가 데이터 플라이휠(flywheel)을 활용해 직원 생산성을 높일 수 있는 AI 팀원을 빠르게 구축하도록 지원한다. 이 마이크로서비스는 엔드 투 엔드 개발자 플랫폼을 제공한다. 이 플랫폼은 최첨단 에이전틱 AI(Agentic AI) 시스템의 개발을 가능하게 하고, 추론 결과, 비즈니스 데이터, 사용자 선호도에 기반한 데이터 플라이휠을 통해 지속적인 최적화를 지원한다. 데이터 플라이휠을 통해 기업 IT 부서는 AI 에이전트를 디지털 팀원으로 온보딩할 수 있다. 이러한 에이전트는 사용자 상호작용과 AI 추론 과정에서 생성된 데이터를 활용해 모델 성능을 지속적으로 개선할 수 있다. 이를 통해 ‘사용’을 ‘인사이트’로, ‘인사이트’를 ‘실행’으로 전환할 수 있다.     데이터베이스, 사용자 상호작용, 현실 세계의 신호 등의 고품질 입력이 지속적으로 제공되지 않으면 에이전트의 이해력은 약화된다. 그 결과, 응답의 신뢰성은 떨어지고 에이전트의 생산성도 저하될 수 있다. 운영 환경에서 AI 에이전트를 구동하는 모델을 유지하고 개선하기 위해서는 세 가지 유형의 데이터가 필요하다. 인사이트를 수집하고 변화하는 데이터 패턴에 적응하기 위한 추론 데이터, 인텔리전스를 제공하기 위한 최신 비즈니스 데이터, 모델과 애플리케이션이 예상대로 작동하는지를 판단하기 위한 사용자 피드백 데이터가 그것이다. 네모 마이크로서비스는 개발자가 이 세 가지 유형의 데이터를 효율적으로 활용할 수 있도록 지원한다. 또한, 네모 마이크로서비스는 에이전트를 구동하는 모델을 선별하고, 맞춤화하며, 평가하고, 안전장치를 적용하는 데 필요한 엔드 투 엔드 툴을 제공함으로써 AI 에이전트 개발 속도를 높인다. 엔비디아 네모 마이크로서비스는 ▲대규모 언어 모델(LLM) 미세 조정을 가속화해 최대 1.8배 높은 훈련 처리량을 제공하는 네모 커스터마이저(Customizer) ▲개인과 산업 벤치마크에서 AI 모델과 워크플로의 평가를 단 5번의 API 호출로 간소화하는 네모 이밸류에이터(Evaluator) ▲ 0.5초의 추가 지연 시간만으로 규정 준수 보호 기능을 최대 1.4배까지 향상시키는 네모 가드레일(Guardrails)을 포함한다. 이는 네모 리트리버(Retreiver), 네모 큐레이터(Curator)와 함께 사용돼, 맞춤형 엔터프라이즈 데이터 플라이휠을 통해 AI 에이전트를 구축하고, 최적화하며, 확장하는 과정을 기업이 보다 수월하게 수행할 수 있도록 지원한다. 개발자는 네모 마이크로서비스를 통해 AI 에이전트의 정확성과 효율성을 높이는 데이터 플라이휠을 구축할 수 있다. 엔비디아 AI 엔터프라이즈(Enterprise) 소프트웨어 플랫폼을 통해 배포되는 네모 마이크로서비스는 온프레미스 또는 클라우드의 모든 가속 컴퓨팅 인프라에서 엔터프라이즈급 보안, 안정성, 지원과 함께 손쉽게 운영할 수 있다. 이 마이크로서비스는 기업들이 수백 개의 전문화된 에이전트를 협업시키는 대규모 멀티 에이전트 시스템을 구축하고 있는 현재 정식 출시됐다. 각 에이전트는 고유의 목표와 워크플로를 가지고 있으며, 디지털 팀원으로서 복잡한 업무를 함께 해결하며 직원들의 업무를 보조하고, 강화하며, 가속화한다. 엔비디아 네모 마이크로서비스로 구축된 데이터 플라이휠은 사람의 개입을 최소화하고 자율성을 극대화하면서 데이터를 지속적으로 선별하고, 모델을 재훈련하며, 성능을 평가한다. 네모 마이크로서비스는 라마(Llama), 마이크로소프트 파이(Microsoft Phi) 소형 언어 모델 제품군, 구글 젬마(Google Gemma), 미스트랄 등 폭넓은 인기 오픈 모델을 지원한다. 또한, 기업은 엔비디아 가속 인프라, 네트워킹, 그리고 시스코, 델, HPE, 레노버(Lenovo) 등 주요 시스템 제공업체의 소프트웨어를 기반으로 AI 에이전트를 실행할 수 있다. 액센츄어(Accenture), 딜로이트(Deloitte), EY를 비롯한 거대 컨설팅 기업들 역시 네모 마이크로서비스를 기반으로 기업용 AI 에이전트 플랫폼을 구축하고 있다.

엔비디아가 CES 2025서 세 가지 컴퓨터 설루션을 위한 엔비디아 코스모스(NVIDIA Cosmos)를 발표했다. 코스모스는 생성형 월드 파운데이션 모델(World Foundation Model, WFM)과 고급 토크나이저(tokenizer), 가드레일, 가속화를 거친 영상 프로세싱 파이프라인으로 구성된 플랫폼이며, AV와 로봇 등의 물리 AI 시스템 개발을 촉진하고자 구축됐다. 자율주행차(AV)의 개발에는 세 가지 컴퓨터가 필요하다. 데이터센터에서 AI 기반 스택을 훈련하기 위한 엔비디아 DGX 시스템, 시뮬레이션과 합성 데이터 생성을 위해 엔비디아 OVX 시스템에서 구동하는 엔비디아 옴니버스(Omniverse), 안전을 위해 실시간 센서 데이터를 처리하는 차내 컴퓨터인 엔비디아 AGX가 각각 있어야 한다. 이러한 목적으로 특별히 만들어진 풀 스택 시스템은 개발 주기의 지속을 가능하게 하면서, 성능과 안전성의 개선 속도를 높일 수 있다.     세 가지 컴퓨터 설루션에 코스모스가 추가되면서 개발자들은 사람이 운전한 수천 킬로미터의 주행 거리를 수십억 킬로에 달하는 가상 주행 거리로 변환해 훈련 데이터의 품질을 높이는 일종의 데이터 플라이휠(flywheel)을 갖게 됐다. 코스모스 WFM은 허깅 페이스(Hugging Face)와 엔비디아 NGC 카탈로그에서 오픈 모델 라이선스로 사용할 수 있다. 코스모스 모델은 곧 최적화된 엔비디아 NIM 마이크로서비스로 제공될 계획이다. 엔비디아의 산자 피들러(Sanja Fidler) AI 리서치 부문 부사장은 “AV 데이터의 공장이라 할 만한 이 플라이휠은 차량 데이터 수집과 4D의 정확한 재구성, 그리고 AI를 활용해 훈련과 폐순환(closed-loop) 평가에 적합한 장면과 다양한 교통 상황을 생성한다. 엔비디아 옴니버스 플랫폼과 코스모스에 AI 모델을 보조적으로 사용하면 합성 주행 시나리오를 생성해 훈련용 데이터를 크게 증폭시킬 수 있다”고 말했다. 엔비디아의 놈 마크스(Norm Marks) 자동차 부문 부사장은 “물리 AI 모델의 개발은 예로부터 자원 집약적이고 비용이 많이 들었으며, 개발자가 실세계 데이터세트를 확보하고 필터링한 뒤 훈련에 맞춰 큐레이팅과 준비를 거쳐야 했다. 코스모스는 이 과정을 생성형 AI로 가속해 자율주행차와 로보틱스의 AI 모델을 더욱 빠르고 정확하게 개발하게 해 준다”고 전했다.

마이크로소프트가 2025년 주목해야 할 AI 트렌드 6가지를 공개하면서, AI가 이끌어갈 혁신과 과제에 대한 주요 인사이트를 제시했다.  2024년은 전 세계 조직이 AI를 본격 도입하기 시작한 해로 평가된다. 마이크로소프트의 의뢰로 진행된 IDC 2024 AI 보고서에 따르면, 전 세계 조직의 AI 도입률은 지난해 55%에서 올해 75%로 증가했다. 이는 AI가 실험 단계를 넘어, 실제 비즈니스에서 가치를 창출하는 핵심 도구로 자리잡았음을 보여준다. 마이크로소프트는 이러한 변화에 따라 2025년이 AI가 일상과 업무에서 필수적인 기술로 자리 잡는 전환점이 될 것으로 전망하고 있다. AI는 높은 자율성을 기반으로 복잡한 문제를 해결하고, 업무 효율성을 크게 높이며 일상을 단순화할 것으로 기대된다. 나아가 과학, 의료 등 인류가 직면한 주요 과제 해결에도 적극적으로 활용될 것으로 내다보고 있다. 특히, 이러한 흐름은 AI의 논리적 사고와 데이터 처리 능력의 고도화를 통해 더욱 가속화될 것으로 예상된다. 마이크로소프트는 이러한 변화를 지원하기 위해 안전하고 신뢰할 수 있는 AI 기술 개발에 집중하고 있으며, 이를 사용자들이 안심하고 활용할 수 있도록 지원할 계획이다.  마이크로소프트의 크리스 영(Chris Young) 사업개발·전략·투자 담당 부사장은 “AI는 불가능해 보였던 많은 것을 가능하게 하고 있으며, 지난 한 해 동안 많은 조직이 실험 단계를 넘어 실질적인 도입 단계로 진입했다”고 말했다. 이어 그는 "AI 기술은 우리 삶의 모든 영역에 전면적인 변화를 가져올 전환점에 서 있다"고 강조했다.      마이크로소프트가 제시한 2025년 6가지 주요 AI 트렌드는 ▲더 유용하고 유능해질 AI 모델 ▲업무 형태를 변화시킬 AI 에이전트의 활약 기대 ▲모든 일상을 지원하는 AI 역할 확장 ▲지속 가능한 AI 인프라 구축 필요성 증대 ▲테스트와 맞춤화를 통한 책임 있는 AI 구축 ▲과학적 혁신을 가속화하는 AI 등이다. 첫 번째, AI 모델은 더 많은 일을 더 잘 수행할 것이다. 이 AI 모델들은 과학, 코딩, 수학, 법률 및 의학 등 여러 분야에서 혁신을 주도하며, 문서 작성부터 코딩 같은 복잡한 업무에 이르기까지 폭 넓은 업무를 수행할 수 있는 능력을 갖추게 될 것으로 보인다. 특히 AI의 추론 능력도 향상될 전망이다. 고급 추론 AI 모델인 오픈AI o1은 인간이 생각하는 방식과 유사한 논리적 과정을 거쳐 복잡한 문제를 단계적으로 해결하는 데 뛰어난 성능을 입증했다. 데이터 선별과 후속 학습도 AI 모델 발전에서 핵심적인 역할을 하게 된다. 마이크로소프트의 소형언어모델 파이(Phi)는 고품질 데이터를 활용해 모델 성능과 추론 능력을 효과적으로 개선할 수 있음을 보여줬다. 또한, 오르카(Orca) 및 오르카2(Orca 2) 모델은 합성 데이터를 활용한 학습으로 대규모 언어 모델에 준하는 성능을 구현하며 새로운 가능성을 열었다. 두 번째, 개인화된 차세대 AI 에이전트는 반복적이고 일상적인 업무를 자동화하는 데에서 나아가, 복잡하고 전문적인 작업까지 수행하며 조직의 업무 환경과 프로세스를 근본적으로 변화시킬 것으로 기대된다. AI 에이전트는 메모리, 추론, 멀티모달 기술의 발전을 통해 더욱 정교하게 작업을 처리할 수 있다. 예를 들어 조직의 재고 공급에 문제가 발생하면 AI 에이전트가 이를 관리자에게 알리고, 적합한 공급 업체를 추천하거나 직접 주문을 실행해 업무가 중단 없이 진행될 수 있도록 돕는다. 또한, 누구나 AI 에이전트를 설계하고 개발할 수 있는 환경도 마련된다. 마이크로소프트의 코파일럿 스튜디오(Copilot Studio)는 코딩 없이도 AI 에이전트를 개발할 수 있으며, 애저 AI 파운드리(Azure AI Foundry)는 복잡한 프로세스를 처리할 수 있는 고급 AI 에이전트 설계를 지원한다. 이러한 변화는 단순히 사용자와 협력하며 응답하는 프롬프트 기반 AI 에이전트에서, 독립적으로 업무를 수행하고 프로세스를 조율하는 완전 자율형 AI 에이전트까지 다양화될 것으로 예상된다. 세 번째, AI가 일상생활에서 차지하는 역할의 확장이다. 마이크로소프트 코파일럿(Microsoft Copilot)은 AI 동반자로서, 사용자가 하루 일과를 우선 순위에 따라 시간을 효율적으로 관리할 수 있도록 돕는다. 또한, 개인 정보와 데이터 보안을 강화해 보다 안전한 환경에서 AI를 사용할 수 있도록 설계됐다. 사용자는 일상에서 코파일럿을 더욱 밀접하게 활용할 수 있다. 예를 들어, 사용자는 하루를 시작하며 코파일럿 데일리(Copilot Daily)의 음성을 통해 최신 뉴스와 날씨 정보를 확인할 수 있다. 또한, 코파일럿 비전(Copilot Vision)은 사용자가 접속한 웹페이지를 분석해 관련 질문에 답하거나 다음 단계를 제안하는 등 보다 직관적인 상호작용을 지원한다. 코파일럿은 의사결정 과정에서도 유용하게 활용된다. 예를 들어, 새 아파트 인테리어를 위해 어울리는 가구를 추천하고, 효율적인 배치 방안을 제시해 사용자의 공간을 더 편리하고 실용적으로 꾸밀 수 있도록 돕는다. 이는 시작 단계이며, 앞으로 AI는 정서 지능의 고도화를 통해 보다 유연하고 자연스러운 상호작용을 제공할 전망이다. 네 번째, 에너지 자원 효율화를 통한 지속 가능한 AI 인프라 구축에 대한 노력이다. 실제로 전 세계 데이터 센터 처리량은 2010년부터 2020년까지 약 9배 증가했음에도 전력 소비량은 단 10% 증가에 그쳤다. 이는 마이크로소프트가 AMD, 인텔, 엔비디아 등과 협력해 반도체 칩 애저 마이아(Azure Maia)와 코발트(Cobalt), 그리고 대규모 AI 시스템 냉각을 위한 액체 냉각 열교환기 기술을 통해 하드웨어의 에너지 효율을 높인 결과다. 향후 몇 년 내에는 냉각에 물을 전혀 사용하지 않는 워터-프리 데이터센터가 도입될 예정이다. 동시에 초고효율 액체 냉각 기술인 콜드 플레이트(Cold plates)의 사용도 확대된다. 이러한 기술들은 지속 가능한 AI 인프라 조성을 위한 노력의 핵심이다. 이와 함께 마이크로소프트는 저탄소 건축 자재를 도입해 데이터센터 설계를 친환경적으로 혁신하고 있다. 탄소 배출이 거의 없는 철강, 콘크리트 대체 소재, 교차 적층 목재 등이 대표적인 예다. 이와 함께 풍력, 지열, 원자력 및 태양광 등 무탄소 에너지원에도 적극 투자하며, 2030년까지 탄소 네거티브, 워터 포지티브, 제로 웨이스트 목표를 달성하기 위한 장기적인 비전을 실행하고 있다. 다섯 번째, AI의 위험을 측정하고 평가하는 기준의 강화다. 2025년에는 책임 있는 AI를 구현하기 위해 ‘테스트’와 ‘맞춤화’에 대한 기준이 높아질 것으로 예상된다. 포괄적인 테스트 체계는 외부의 정교한 위협을 탐지하고, AI가 생성하는 부정확한 응답(환각)과 같은 내부 문제를 해결하는 데에 효과적이다. 마이크로소프트는 AI 모델이 직면할 수 있는 위협을 정밀하게 분석하고 개선하는 과정을 지속하며, 더욱 안전한 AI 환경 구축을 목표로 하고 있다. 특히 모델의 안전성이 높아질수록 테스트와 측정 기준도 더욱 정교해지고 있다. ‘맞춤화’와 ‘제어’는 미래 AI 응용 프로그램의 핵심으로 자리 잡을 것으로 보인다. 조직은 콘텐츠 필터링과 작업에 적합한 가드레일 설정 등 AI 활용 방식을 자유롭게 조정할 수 있다. 예를 들어, 게임사는 직원이 볼 수 있는 폭력 콘텐츠의 종류를 제한할 수 있다. 마이크로소프트 365 코파일럿은 업무 환경에 적합한 콘텐츠를 설정할 수 있는 맞춤형 제어 기능을 제공한다. 여섯 번째, AI가 과학 연구에 미치는 영향력 확대다. 이미 AI는 슈퍼컴퓨팅과 일기 예보 같은 분야의 연구 속도를 가속화하고 있으며, 앞으로는 자연 과학, 지속 가능한 소재 개발, 신약 연구 및 건강 분야에서 중요한 역할을 할 것으로 예상된다. 2024년, 마이크로소프트 리서치(MSR)는 생체 분자 과학 문제를 해결할 생체분자 역학 시뮬레이션(simulate biomolecular dynamics)을 개발했다. AI2BMD(AI-driven Biomolecular Dynamics)로 불리는 이 시스템은 단백질 설계, 효소 공학, 신약 개발 등의 분야에서 전례 없는 속도와 정밀도로 문제를 해결하며 생물 의학 연구에 새로운 가능성을 열었다. 2025년에는 AI가 지속 가능한 소재 설계와 신약 개발 같은 인류의 공동 과제 해결에 중요한 역할을 할 것으로 보인다. 이를 통해 과학 기관과 연구자들은 AI를 통해 연구 효율을 높이고, 지금까지 불가능했던 새로운 돌파구를 마련할 것으로 기대를 모으고 있다.

스노우플레이크는 기업이 강력한 AI 애플리케이션을 대규모로 쉽게 활용 및 구축할 수 있도록 스노우플레이크 코텍스 AI(Snowflake Cortex AI)에서 메타의 라마 3.1에 대한 호스팅을 개시한다고 발표했다. 라마 3.1은 다중 언어 오픈소스 대규모 언어 모델(LLM)의 컬렉션이다. 이번에 출시한 서비스에는 메타에서 가장 큰 규모이자 강력한 성능의 오픈소스 LLM인 라마 3.1 405B가 제공된다. 스노우플레이크는 실시간의 고처리량 추론을 구현함은 물론 강력한 자연어 처리 및 생성 애플리케이션의 보편화를 증진하는 추론 시스템 스택을 개발하고 오픈 소싱한다. 스노우플레이크의 AI 리서치팀은 추론 및 파인튜닝에 대해 라마 3.1 405B를 최적화함으로써 서비스 개시 첫날부터 거대한 128K 컨텍스트 윈도를 지원한다. 동시에 기존 오픈소스 솔루션에 비해 엔드 투 엔드 지연시간은 최대 3분의 1로 낮아지고 처리량은 1.4배 높아진 실시간 추론을 구현한다. 또한, 코텍스 AI에서 하나의 GPU 노드만을 사용해 거대 모델을 미세 조정할 수 있어 개발자와 사용자 모두에게 비용과 복잡성을 완화해준다. 메타와 협력을 통해 스노우플레이크 고객은 AI 데이터 클라우드에서 메타의 최신 모델에 원활하게 액세스하고 파인튜닝하여 배포할 수 있다. 스노우플레이크는 사용이 간편하고 효율성 및 신뢰도 높은 방법은 물론, 기본적으로 내장된 신뢰도 및 안전성에 대한 포괄적인 접근방식을 제공한다.     스노우플레이크 AI 리서치팀은 AI 커뮤니티에 정기적으로 기여하고 최첨단 LLM 기술 구축 방식에 대한 투명성을 높여 오픈소스 혁신의 한계를 넓혀가고 있다. 또한, 라마 3.1 405B의 출시와 더불어 딥스피드(DeepSpeed), 허깅페이스(HuggingFace), vLLM 및 보다 폭넓은 AI 커뮤니티와의 협업을 통해 자사의 초거대 LLM 추론 및 파인튜닝 시스템 최적화 스택을 오픈 소스화하고 있다. 이러한 혁신을 통해 수천억 개의 매개변수 모델에 대한 오픈소스 추론 및 파인튜닝 시스템에 필요한 새로운 최첨단 솔루션을 구축한다. 초거대 모델의 규모 및 메모리에 대한 요구사항은 실시간 유스케이스에 요구되는 저지연성 추론과 비용 효율을 위한 높은 처리량, 그리고 다양한 엔터프라이즈급 생성형 AI 유스케이스에 필요한 긴 컨텍스트 지원을 실현하고자 하는 사용자에게 있어 상당한 도전 과제다. 모델 및 활성 상태 저장에 대한 메모리 요구사항도 파인튜닝을 어렵게 하며, 훈련을 위한 모델의 상태에 맞춰야 하는 대규모 GPU 클러스터에 데이터 과학자가 액세스할 수 없는 경우도 빈번하다. 스노우플레이크는 초거대 LLM 추론 및 파인튜닝 시스템 최적화 스택은 고급 병렬화 기술과 메모리 최적화를 통해 복잡하고 고비용의 인프라가 없어도 효율적인 AI 처리가 가능하다고 설명했다. 라마 3.1 405B의 경우 스노우플레이크의 시스템 스택은 단일 GPU 노드 하나로도 실시간의 고처리량 성능을 발휘하고 다중 노드 설정 전반에 걸쳐 128k 개의 거대한 컨텍스트 윈도를 지원한다. 이러한 유연성은 차세대 하드웨어와 레거시 하드웨어 모두에 유효해, 보다 광범위한 기업들이 이용할 수 있다. 또한 데이터 과학자들이 전보다 적은 개수의 GPU 상에서 복합 정밀 기술을 사용해 라마 3.1 405B를 파인튜닝할 수 있으므로 대규모 GPU 클러스터에 대한 필요성이 사라진다. 이에 따라 기업들은 강력한 엔터프라이즈급 생성형 AI 애플리케이션을 보다 편리하고 효율적이며 안전하게 채택하고 배포할 수 있다. 스노우플레이크의 AI 리서치팀은 기업들이 이러한 유스케이스를 코텍스 AI에서 쉽게 적용할 수 있도록 모델 증류, 안전 가드레일, 검색 증강 생성(RAG), 합성 데이터 생성 등 파인튜닝에 최적화된 인프라도 개발했다. 한편, 스노우플레이크는 코텍스 AI에 구축된 모든 LLM 애플리케이션 및 자산을 유해한 콘텐츠로부터 더욱 강도 높게 보호하기 위해 업계 선도 기업과 협업하고 있다고 전했다. 메타의 모델 또는 AI21 랩스(AI21 Labs), 구글, 미스트랄 AI(Mistral AI), 레카(Reka) 및 스노우플레이크 등이 제공하는 LLM을 통해 스노우플레이크 코텍스 가드를 일반인들이 이용할 수 있도록 공개하고 있다는 것이다. 스노우플레이크의 비벡 라구나단(Vivek Raghunathan) AI 엔지니어링 부사장은 “스노우플레이크의 AI 리서치팀은 기업과 오픈 소스 커뮤니티가 라마 3.1 405B 등의 최첨단 오픈 모델을 적극 활용해 효율 극대화를 위한 추론 및 파인튜닝을 가능하게 한다”면서, “스노우플레이크는 메타의 첨단 모델을 스노우플레이크 코텍스 AI를 통해 고객에게 직접 제공할 뿐만 아니라, 더 폭넓은 생태계에서 AI를 고도화하기 위해 128K 컨텍스트 윈도와 다중노드 추론, 파이프라인 병렬화, 8비트 부동 소수점 양자화 등을 지원하는 새로운 연구 및 오픈소스 코드로 기업과 AI 커뮤니티의 역량을 강화하고 있다”고 말했다.

아마존웹서비스(AWS)는  AI 모델 훈련 인프라부터 AI 구축 도구, AI를 활용한 애플리케이션까지 폭넓은 생성형 AI(generative AI) 서비스 포트폴리오를 내세우고 있다. 작년부터 300개가 넘는 생성형 AI 기능을 추가하고 있는 AWS는 올해 기업의 생성형 AI 활용이 본격화될 것으로 보고, 이 시장을 리드하기 위한 기술을 적극 소개한다는 계획이다. ■ 정수진 편집장   생성형 AI의 본격 활용 확대 전망 2023년에는 생성형 AI(generative AI)가 전 세계적으로 큰 관심을 받았다. 많은 기업이 생성형 AI에 관심을 갖고, 활용 가능성을 검토하기 시작했다. AWS코리아에서 AI/ML 사업 개발을 담당하는 김선수 수석 스페셜리스트는 “많은 기업이 생성형 AI를 활용하기 위한 시범 과제를 진행했지만, 기술 자체에 매몰되면서 실질적으로 어떻게 적용할지에 대한 고민이 부족한 모습도 보였다. 반면, 올해에는 생성형 AI를 실질적으로 기업 환경에 적용하는 방법에 대한 고민과 논의가 본격화되고 있다”고 짚었다. 기업에서는 AI 모델뿐만 아니라 이를 활용하기 위한 데이터 연계, 내부 시스템과의 통합, 보안, 책임감 있는 AI 구현의 중요성에 주목하고 있다. 김선수 수석 스페셜리스트는 “AWS는 2023년 이후 326개의 생성형 AI 기능을 출시했는데, 이는 지난 18개월동안 다른 주요 AI 서비스 제공업체를 합친 것보다 두 배 이상 많은 숫자”라면서, “AWS는 광범위한 AI 기능과 서비스를 제공하고 있으며, 이를 통해 기업들이 생성형 AI 기술을 효과적으로 활용할 수 있도록 돕고 있다”고 소개했다. AWS의 생성형 AI  서비스는 AI 모델을 직접 구축하고 훈련하며 추론하는 인프라와 플랫폼부터 기업이 다양한 AI 애플리케이션을 구축할 수 있도록 돕는 도구, AI를 활용하는 애플리케이션까지 다양하다. 이 중 아마존 베드록(Amazon Bedrock)은 단일 API를 통해 여러 AI 모델을 손쉽게 사용할 수 있게 해주는 서비스로, 기업들이 파운데이션 모델(FM)을 활용해 생성형 AI 애플리케이션을 구축 및 확장할 수 있도록 돕는다. 특정 AI 모델에 의존하지 않고 필요에 맞는 모델을 선택하여 다양한 산업 요구에 대응할 수 있다는 것이 베드록이 내세우는 주요한 이점이다.   ▲ AWS의 생성형 AI 서비스 3단계 스택   생성형 AI의 구축과 활용 돕는 서비스 강화 AWS는 지난 7월 ‘AWS 서밋 뉴욕 2024’ 이벤트에서 아마존 베드록의 새로운 기능을 발표했다. 아마존 베드록은 아마존뿐 아니라 앤트로픽(Anthropic), 메타(Meta), 미스트랄 AI(Mistral AI) 등 다양한 회사의 AI 모델을 선택해 사용하도록 지원하는데, 이번에 앤트로픽의 클로드 3(Claude 3) 모델에 대한 미세조정(파인튜닝) 작업을 설정할 수 있게 됐다. 이로써 더 많은 생성형 AI 모델에 대한 최적화가 가능해졌다는 것이 AWS의 설명이다. 김선수 수석 스페셜리스트는 생성형 AI 모델을 전문화/개인화하는 데에 쓰이는 검색 증강 생성(Retrieval Augmented Generation) 기법을 소개하면서, AI 모델이 기업의 내부 데이터를 연계하여 더욱 정확하고 산업에 특화된 답변을 제공할 수 있도록 돕는 ‘지식 기반을 위한 확장된 데이터 커넥터’가 추가됐다고 소개했다. 이 커넥터는 CSV, PDF 등 다양한 데이터를 연결해 기업이 AI 모델을 커스터마이징하도록 돕는다. 이를 통해 산업별로 특화된 답변을 제공하거나, 실시간 데이터를 활용해 더욱 정교한 결과를 얻을 수 있다. 또한, AWS는 책임감 있는 AI를 구현하기 위해 보안/보호 기능의 일부로 아마존 베드록에 추가된 가드레일(Guardrails for Amazon Bedrock)을 소개했다. 가드레일은 생성형 AI 애플리케이션을 만들 때 개인정보 보호와 안전 조치를 만들 수 있도록 돕고, 이를 통해 AI 모델이 유해한 콘텐츠를 85% 이상 줄이도록 돕는다. 가드레일의 그라운딩 체크(Grounding Checks) 기능은 AI 모델이 제공하는 답변이 사용자가 의도한 참조 자료와 일치하는지, 그리고 질의 내용과 관련성이 있는지를 평가해 환각 현상을 감지/차단하면서 신뢰할 수 있는 결과를 제공하도록 한다. 김선수 수석 스페셜리스트는 “AWS는 다양한 AI 모델과 기술, 그리고 이를 지원하는 도구와 함께 기업이 필요로 하는 AI 구현에 대한 요구를 충족시키는 다양한 기능을 제공하고 있다”면서, “앞으로도 AWS는 AI 기술과 서비스의 발전을 추진하며, 기업이 생성형 AI를 통해 새로운 비즈니스 기회를 창출할 수 있도록 지원할 것”이라고 전했다.   ▲ 아마존 Q 디벨로퍼의 커스터마이제이션 기능   생성형 AI로 개발자의 업무 효율 높인다 AWS코리아의 윤석찬 수석 테크 에반젤리스트는 “AWS의 생성형 AI 기술은 개발자가 더욱 창의적이고 가치 있는 작업에 집중할 수 있도록 돕고 있으며, 기업의 디지털 혁신을 가속화하는 데에 중요한 역할을 한다”면서, 개발자를 위한 생성형 AI 기술을 소개했다. 가트너(Gartner)에 따르면, 일반적으로 개발자는 27%의 시간을 새로운 기능을 개발하는 데에 사용하고, 73%의 시간은 기존 코드의 유지보수나 보안 취약점 해결에 사용한다. 생성형 AI가 이 73%의 시간을 줄여서 개발 생산성을 높일 수 있다는 것이 윤석찬 수석 테크 에반젤리스트의 설명이다. AWS의 ‘아마존 Q 디벨로퍼(Amazon Q Developer)’는 AWS가 20년간 축적한 데이터를 기반으로 학습된 생성형 AI를 활용해 개발자의 작업을 지원하는 생성형 AI 챗봇 서비스이다. 새로운 코드를 생성하는 것뿐만 아니라 기존 코드의 업그레이드에도 쓰이며, 인프라를 관리하거나 생산성을 높이는 데에 도움을 준다는 것이 AWS의 설명이다. 윤석찬 수석 테크 에반젤리스트는 Q 디벨로퍼가 소프트웨어 개발의 전체 단계에서 쓰일 수 있다고 설명했다. 웹 애플리케이션을 만들 때 챗봇을 통해 개발 방식에 대한 가이드를 받고, 코드를 구현할 때에도 AI가 제안한 코드를 검토해 수용할 수 있다. 코드 테스트와 품질 보장 기능은 보안 취약점이나 비용이 많이 드는 코드 등을 쉽게 확인할 수 있게 한다. 또한, 자바(Java) 8에서 자바 11 또는 17로 코드를 자동 변환하는 기능은 개발자가 수작업으로 코드를 수정하는 번거로움을 덜어준다. AWS는 Q 디벨로퍼에 커스터마이제이션 기능을 추가했는데, 이 기능을 통해 회사 내 소스 코드 저장소나 규정 문서를 기반으로 기존의 코드 및 사내 규정에 맞는 맞춤형 코드 제안을 받을 수 있다. 이 기능은 벡터 데이터베이스에 회사 데이터를 저장하고, 이를 AI 모델에 연결해 제안할 수 있게 한다.  또한, Q 디벨로퍼는 보안과 데이터 관리, 그리고 생성형 AI의 응답에 대한 가드레일 기능을 기본으로 탑재해 안전성을 높였다. 윤석찬 수석 테크 에반젤리스트는 “영국의 브리티시 텔레콤 그룹의 경우, Q 디벨로퍼 도입 후 4개월 동안 10만 줄 이상의 새로운 코드를 생성하고, 반복 작업의 12%를 자동화하여 효율을 높였다. 또한, 생성형 AI가 제안한 코드의 37%는 개발자가 바로 수락해 사용할 정도로 유용성이 입증되었다”고 전했다. 한편, AWS는 개발자 리소스가 부족한 기업에서 일반 직원도 쉽게 애플리케이션을 개발할 수 있도록 돕는 ‘AWS 앱 스튜디오(AWS App Studio)’를 발표했다. 이 로코드 도구는 개발자가 아닌 사람들도 손쉽게 애플리케이션을 만들 수 있도록 도와주며, 이를 통해 업무 효율을 높일 수 있다.     ■ 기사 내용은 PDF로도 제공됩니다.

IBM은 기업이 고품질, 고성능의 다양한 파운데이션 모델을 폭넓게 이용하고, 자사의 필요에 따라 맞춤형으로 배포할 수 있도록 하기 위한 노력의 일환으로 왓슨x.ai(watsonx.ai)에서 미스트랄 라지(Mistral Large) 모델을 제공한다고 발표했다. 인공지능(AI) 개발자를 위한 IBM의 기업용 AI 스튜디오인 왓슨x.ai는 IBM의 그래니트(Granite) 모델 외에도 다양한 오픈소스 및 상용 모델 선택이 가능하며, 이를 용도에 따라 변형하거나 비즈니스 솔루션 및 애플리케이션과 통합해 사용할 수 있다. IBM은 이미 왓슨x.ai 내에서 기업 환경에 적용할 수 있는 소규모 모델인 Mixtral-8x7B를 제공하고 있다. 이 모델은 IBM이 최적화한 모델로, 주어진 시간 동안 처리할 수 있는 데이터의 양이 기존 모델보다 50% 증가했다. 이번에 새롭게 추가된 미스트랄 라지는 서비스형 소프트웨어(SaaS)로 먼저 제공된다. 이제 왓슨x 고객은 추론과 다국어 기능이 필요한 복잡한 전사적 작업을 처리하도록 최적화된 미스트랄 AI의 가장 강력한 모델을 활용할 수 있다. 검색증강생성(RAG) 전문화를 통해 더 장시간의 채팅 상호작용과 대용량 문서 처리가 가능하며, 사용자 정의 함수나 API와 같은 외부 도구에 연결할 수 있고, 뛰어난 코딩 성능으로 특정 용도에 맞는 애플리케이션을 쉽게 구축할 수 있다. 책임감 있는 AI 구축을 위해 안전장치로 사용할 수 있는 ‘가드레일(guardrail)’ 기능이 내장되어 있기도 하다.     아울러, 기업은 이제 왓슨x 플랫폼에서 미스트랄 라지를 통해 데이터 스토어, 프롬프트 랩, 모델 튜닝, 프로세스 모니터링 및 거버넌스 기능을 포함한 추가적인 엔터프라이즈 지원 제품을 활용할 수 있다. 왓슨x 고객은 특정 플랫폼에 종속되지 않고 온프레미스(사내 서버)나 퍼블릭 클라우드 제공업체 등 원하는 환경에서 왓슨x.ai 내 모델을 배포할 수 있다. 빠르게 변화하는 AI 분야에서 기업이 민첩하게 적응하고 인프라 및 개발에 대한 매몰 투자를 피하려면 유연성이 핵심이기 때문이다. IBM은 왓슨 플랫폼에 미스트랄 AI의 상용 모델을 제공함으로써 개방형 멀티 모델 전략을 더욱 확장하고 기업이 혁신, 변화, 확장할 수 있도록 지원한다는 계획이다. 또, 책임감 있게 기업 혁신에 기여하고자 하는 IBM의 의지를 바탕으로, IBM은 한도형 지적 재산권 보상 제도를 통해 미스트랄 라지에 대한 고객 보호를 제공한다고 밝혔다. 이는 IBM이 자사의 AI 모델인 IBM 그래니트 모델에 대한 고객 보증 제도를 적용한 이래 제3자 파운데이션 모델까지 확대한 첫 번째 사례이다.