아마존웹서비스(AWS)는 ‘AWS 리인벤트’ 행사에서 AWS 트레이니움2(AWS Trainium2) 칩 기반의 아마존 EC2(Amazon EC2) 인스턴스를 공식 출시했다고 발표했다. 또한, AWS는 대규모 언어 모델(LLM) 및 파운데이션 모델(FM)의 학습과 추론을 지원하는 트레이니움2 울트라서버(Trn2 UltraServers)와 차세대 트레이니움3(Trainium3) 칩도 함께 공개했다. Trn2 인스턴스는 16개의 트레이니움2 칩을 탑재하여 최대 20.8 페타플롭스(PF)의 연산 성능을 제공한다. 이는 수십억 개의 매개변수를 가진 LLM의 학습 및 배포에 적합하다. Trn2 인스턴스는 동일한 비용으로 기존 GPU 기반 EC2 P5e 및 P5en 인스턴스 대비 30~40% 더 나은 가격 대비 성능을 제공하며, 메모리 대역폭도 개선되어 비용 효율성이 높다는 것이 AWS의 설명이다. Trn2 울트라서버는 새로운 EC2 제품군으로, 초고속 뉴런링크(NeuronLink) 기술을 사용해 64개의 트레이니움2 칩을 연결하여 최대 83.2 피크 페타플롭스의 연산 성능을 제공한다. 이는 단일 Trn2 인스턴스 대비 연산, 메모리, 네트워킹 성능을 각각 4배로 확장해 대규모의 모델 학습과 배포를 가능하게 한다. Trn2 인스턴스는 현재 미국 동부(오하이오) AWS 리전에서 사용 가능하며, 추가 리전에서도 곧 제공될 예정이다. Trn2 울트라서버는 현재 프리뷰 상태로 제공되고 있다. 한편, AWS는 앤스로픽(Anthropic)과 협력해 수십만 개의 트레이니움2 칩을 포함하는 EC2 울트라클러스터(UltraClusters)를 구축하고 있다고 밝혔다. 이 프로젝트는 ‘프로젝트 레이니어(Project Rainier)’로 명명되었으며, 현재 세대의 최첨단 AI 모델 훈련에 사용된 엑사플롭스의 5배 이상의 성능을 갖출 것으로 기대된다. 이외에도 AWS는 차세대 AI 학습 칩인 트레이니움3를 공개했다. 트레이니움3는 트레이니움2 대비 최대 2배 성능과 40% 개선된 에너지 효율성을 제공하며, 이를 통해 고객은 더 큰 모델을 더 빠르게 구축하고 실시간 성능을 극대화할 수 있다. AWS의 데이비드 브라운(David Brown) 컴퓨팅 및 네트워킹 부문 부사장은 “트레이니움2는 AWS가 개발한 칩 중 가장 강력한 성능을 자랑하며, 대규모 및 최첨단 생성형 AI 워크로드를 지원하기 위해 설계되었다. 이 칩은 학습과 추론 모두에서 최고의 가격 대비 성능을 제공한다”면서, “매개변수가 수조 개에 달하는 모델이 등장하면서, 고객들에게 대규모 모델을 효율적으로 학습하고 운영할 수 있는 새로운 접근 방식이 필요해졌다. Trn2 울트라서버는 AWS에서 가장 빠른 학습 및 추론 성능을 제공하며, 모든 규모의 조직이 세계 최대 모델을 더 빠르고 비용 효율적으로 학습하고 배포할 수 있도록 돕는다”고 전했다.

유아이패스가 앤스로픽의 클로드(Anthropic Claude) LLM(대규모 언어 모델)을 자사의 세 가지 핵심 제품에 통합해 더욱 진화된 AI 기능을 선보인다고 밝혔다. '유아이패스 오토파일럿 포 에브리원(UiPath Autopilot for Everyone)', '클립보드 AI(Clipboard AI)', 새로운 생성형 AI 헬스케어 설루션을 통해 기업들은 생산성 향상과 비용 절감은 물론, 더욱 정확하고 신뢰할 수 있는 의사결정 역량을 확보할 수 있게 됐다. 특히 이번 통합으로 고객들은 유아이패스 플랫폼에서 클로드의 고급 AI 기능을 활용해 신뢰할 수 있고 책임감 있는 방식으로 AI를 업무에 활용할 수 있게 됐다. 유아이패스 오토파일럿 포 에브리원은 AI를 통해 일상적인 업무를 간소화한다. 이 설루션은 앤스로픽 클로드 3.5 소넷, 유아이패스 도큐먼트 언더스탠딩(UiPath Document Understanding), 유아이패스 컨텍스트 그라운딩(UiPath Context Grounding)의 기능을 결합했다. 이를 통해 ▲신뢰할 수 있는 기업 지식을 활용해 다양한 업무 관련 질문에 즉각적이고 정확한 답변을 제공하며, 유아이패스 자동화를 통해 여러 시스템에서 작업을 수행 ▲사용자가 기존 회사의 자동화 기능을 발견, 실행, 결합해 복잡한 작업을 완료 ▲디지털 문서에서 정보를 추출하고 클립보드 AI 기술을 사용해 기업 애플리케이션 내에 붙여넣기 ▲사용자가 API와 UI 자동화를 통해 새로운 자동화를 만들고, 비즈니스 시스템을 업데이트하며, 사람의 감독 하에 더 많은 작업을 자동화 등 특징을 제공한다.   현재 고객들은 오토파일럿 포 에브리원을 활용해 직원 셀프 서비스를 개선하고, 도메인 및 비즈니스 특화 지식을 기반으로 응답하며, 반복적인 작업을 자동화하고 있다. 예를 들어 의료 서비스 및 재난 구호 단체에서는 헌혈자 온보딩에 활용하고 있으며, 여러 조직에서는 영업팀의 고객 접근 가이드와 HR 업무 관련 직원 셀프 서비스용으로 사용하고 있다. 유아이패스는 의료 기관이 의료 기록 요약을 혁신하고 생성형 AI와 기업 자동화의 결합된 힘을 최대한 활용할 수 있도록 돕는 새로운 산업 설루션을 출시한다. 임상 전문가들과 협력하여 개발된 이 설루션은 의료 문서를 분석하는 더 효율적이고 정확한 방법을 만들기 위해 앤스로픽 클로드와 유아이패스 도큐먼트 언더스탠딩을 통합했다.    유아이패스 클립보드 AI는 정보를 한 곳에서 다른 곳으로 복사하는 시간 소모적인 수동 작업에서 사람들을 해방시킨다. 이는 반복적인 데이터 입력을 신속하고 지능적인 프로세스로 전환하여, 사용자가 더 큰 가치를 제공하는 작업에 우선순위를 둘 수 있게 한다. 클립보드 AI는 클로드를 활용한 범용 추출 기능을 도입해 신뢰할 수 있는 소스에서 데이터를 빠르고 정확하게 처리하여 수동 복사-붙여넣기 작업의 필요성을 제거한다. 클립보드 AI를 활용하는 기업들은 생산성을 높이고, 고객 및 직원 만족도를 개선하며, 운영 효율성을 향상시킬 수 있다. 예를 들어, 기업 간 유통, 물류 서비스 및 공급망 설루션을 제공하는 기업은 클립보드 AI를 사용해 공급업체로부터 받은 수천 개의 재고 문서를 처리하고 있다. 이 도구는 반구조화된 코멘트에서 데이터를 추출하여 ERP 앱으로 전송한다. 이전에 수동으로 처리하던 이 프로세스를 자동화함으로써 직원들은 주당 수백 시간을 절약하고 있다. 클립보드 AI는 2023년 타임(TIME)이 선정한 최고의 발명품 중 하나로 선정되기도 했다. 앤스로픽의 마이크 크리거(Mike Krieger) 최고제품책임자는 “AI는 기업의 업무 방식과 전문가들의 의사결정 방식을 근본적으로 변화시키고 개선하고 있다”면서, “이는 단순히 일상적인 작업에서 시간을 절약하는 것을 넘어, 사람들이 더 의미 있는 일에 집중할 수 있게 해주는 것이다. 클로드는 오토파일럿을 통한 일상 업무 간소화, 클립보드 AI를 통한 데이터 입력 자동화, 그리고 의료 기록 분석 개선을 통해 다양한 비즈니스 프로세스에서 더 빠르고 정확하며 지능적인 자동화를 가능하게 함으로써 더 큰 고객 가치를 제공할 것”이라고 말했다.

아마존웹서비스(AWS)가 아시아 태평양(서울) 리전에 ‘아마존 베드록(Amazon Bedrock)’을 정식 출시한다고 발표했다. 아마존 베드록은 사용자가 특정 용도에 적합한 고성능 파운데이션 모델(FM) 및 거대언어모델(LLM)을 쉽게 찾고 접근할 수 있도록 하며, 생성형 인공지능(AI) 애플리케이션을 구축하고 확장할 수 있는 기능을 제공한다. AWS는 2023년부터 일부 지역을 시작으로 베드록 서비스를 제공해오고 있다. 이번 AWS 아시아 태평양(서울) 리전의 아마존 베드록 정식 출시에 대해 AWS는 “국내 고객에게 생성형 AI를 활용한 혁신을 지원하고, 생성형 AI 애플리케이션을 실행하고 저장할 수 있는 위치에 대한 폭 넓은 선택지를 제공한다”면서, “최종 사용자에 더 가깝게 생성형 AI 워크로드를 배포하여 저지연 환경이 중요한 고객에게도 유용하다. 낮은 지연 시간은 실시간 콘텐츠 생성, 인터랙티브 사용자 경험, 실시간 대화형 인사이트와 같은 AI 작업에 필수적인 빠른 처리 및 응답 시간을 제공하는 데 특히 중요하다”고 설명했다. 국내 기업들은 생산성 향상, 혁신적인 사용자 경험 제공, 업무 재구상 등 다양한 목적으로 생성형 AI를 사용하고 있다. 아마존 베드록은 완전 관리형 서비스로, 고객에게 엔터프라이즈급 보안과 개인정보 보호로 구축된 고성능 모델과 강력한 모델 커스터마이즈 기능을 제공한다. 또한, AWS는 고객이 책임감 있고 안전한 생성형 AI 혁신을 발전시키는 데 필요한 툴과 리소스, 교육을 제공한다. 국내 고객은 아마존 타이탄(Amazon Titan)의 텍스트 임베딩 v2(Text Embeddings v2), 앤스로픽(Anthropic)의 클로드3.5 소네트(Claude 3.5 Sonnet)와 클로드3 하이쿠(Claude3 Haiku) 등의 최신 모델을 이용할 수 있다. AWS는 국내 다양한 산업 분야의 고객사와 파트너를 보유하고 있으며, 이들이 생성형 AI를 통해 혁신을 이뤄낼 수 있게 지원하고 있다고 전했다. GS리테일은 아마존 베드록을 활용해 클로드 3 멀티모달 모델 기반 차세대 패션 상품 검색 시스템을 구축했다. 이를 통해 GS SHOP의 700만 개 이상의 패션 상품 데이터에서 속성을 자동으로 추출하고 분류할 수 있게 되었으며, 그 결과 비용을 줄이면서 검색 정확도는 향상되었다.  센드버드(Sendbird)는 금융, 커머스, 미디어, 게임 등의 산업에 대규모 오픈채팅 및 그룹 메신저 채팅 기능을 API 형태로 제공하는 국내 SaaS(서비스형 소프트웨어) 기업이다. 아마존 베드록을 통해 센드버드는 더욱 빠르게 새로운 생성형 AI 모델을 도입할 수 있었고, 데이터 및 비용 관리 문제에서도 경쟁력 있는 대안을 제시함으로써 센드버드 챗봇 제품의 경쟁력을 높일 수 있었다.  식신(Siksin)은 모바일 식권 서비스와 맛집 정보 서비스를 제공하는 푸드테크 기업으로, AWS의 인프라를 활용한 LLM 기반의 AI 대시보드 ‘외식메타 인덱스’를 구축했다. 이는 아마존 베드록을 통해 클로드 3.5 소네트 모델을 사용했으며, 식신이 보유한 100만개 이상의 맛집 데이터 및 월간 350만명의 이용자의 데이터 그리고 금융, 공공 검색, SNS 분석 정보 등 다양한 이기종 데이터를 통합 분석할 수 있었다.  외국인 대상 통번역 지원 서비스를 제공해 온 비영리 단체 bbb코리아는 아마존 베드록을 통해 앤스로픽의 클로드 3.5를 활용해 통역 내용 요약 및 분석을 수행하고 있다. bbb코리아는 AWS를 활용해 통역 내용 분석을 위한 자동화된 파이프라인 구축 시간을 단축하는 등 비용을 약 120% 절감했다.  AWS 코리아의 함기호 대표는 “AWS는 고객이 실험에서 생산 단계에 이르는 생성형 AI 여정을 효율적이고 안전한 방식으로 가속화할 수 있도록 지원하고자 최선을 다하고 있다. 고객은 선택의 폭을 중요하게 생각하는데, 어떤 고객은 처음부터 구축하는 것을 선호하는 반면, 어떤 고객은 특정 사용 사례에 맞는 모델을 선호한다”면서, "아마존 베드록을 통해 모든 산업 분야의 고객이 생성형 AI 혁신을 가속화할 수 있도록 지원하게 되어 기쁘게 생각하며, AWS는 한국 내 기업들이 생성형 AI를 구축하는데 필요한 성능과 비용 효율적인 인프라를 제공할 것”이라고 말했다. 한편, AWS는 한국 전역에서 파트너 지원 프로그램, 스타트업 액셀러레이터, LLM 개발 프로그램 등에 투자해 국내 기업이 특화된 생성형 AI 에플리케이션을 더욱 쉽게 구축할 수 있도록 지원하고 있다고 소개했다. AWS는 혁신적인 생성형 AI 솔루션을 개발하는 스타트업을 선별하여 교육, 멘토링, 최대 2억 6200만원(미화 20만 달러) 상당의 AWS 크레딧을 제공하는 AWS 생성형 AI 엑셀러레이터 프로그램을 발표했다. 또한, AWS 크레딧, 기술 교육, 멘토링 및 네트워킹 기회를 제공해주는 AWS 정글 프로그램도 발표하며 스타트업 기업을 지원하고 있다.

몽고DB가 기업이 생성형 AI로 신속하게 최신 애플리케이션을 구축 및 배포하도록 지원하는 ‘몽고DB AI 애플리케이션 프로그램(MongoDB AI Applications Program : MAAP)’을 발표했다. 새롭게 선보인 MAAP은 기업 고객을 위한 몽고DB 및 파트너사의 전략적 자문과 전문 서비스를 비롯해 통합된 엔드투엔드 기술 스택을 제공한다. MAAP에는 컨설팅 및 파운데이션 모델(FM), 클라우드 인프라, 생성형 AI 프레임워크 및 모델 호스팅 제공기업 등이 초기 파트너로 참여해 몽고DB와 함께 고객이 고도화된 AI 기반 애플리케이션으로 비즈니스의 어려움을 해결하도록 지원할 방침이다. 이를 위해 MAAP은 생성형 AI를 빠르고 효율적으로 애플리케이션에 도입하길 원하는 기업을 위해 필요한 기술 스택과 전문성을 제공하는 원스톱 솔루션으로 설계됐다. 모든 기업은 생성형 AI가 주도한 혁신 속에서 경쟁 우위를 점하고 고객의 높아진 기대치를 뛰어넘기 위해 애플리케이션 현대화를 추진하고 있다. 전 산업군의 기업이 새로운 기술 변화의 이점을 누리기 위해 나서고 있지만, 새로운 종류의 애플리케이션을 안전하고 안정적으로 구축, 배포 및 확장하는 데 필요한 데이터 전략과 기술을 갖추지 못한 경우가 많다. 이들 중 상당수는 확장이 불가능한 레거시 기술로 인해 비효율적인 데이터 작업 방식을 고수하고 있으며, 일부는 불필요한 복잡성과 비용을 야기하는 단일 목적의 볼트온(bolt-on) 솔루션을 사용하고 있다. 이러한 경우, 기업은 기존의 기술과 애드온(add-on) 솔루션으로 인해 장기적인 성공보다는 PoC(Proof of Concept) 수준의 단기적인 결과에 머물게 된다. 몽고DB가 새롭게 선보인 MAAP은 기업이 가진 비즈니스 문제를 파악하고 역추적하며, 솔루션을 신속하게 구축 및 반복해 혁신적인 생성형 AI 애플리케이션 생산에 최적화된 전략적 프레임워크와 전문 서비스, 기술 로드맵을 제공한다. 몽고DB는 통합 개발자 데이터 플랫폼에서 기업이 생성형 AI 애플리케이션을 배포할 수 있는 기술을 MAAP에 접목했으며, 이와 함께 컨설팅 및 FM, 클라우드 인프라, 생성형 AI 프레임워크 및 모델 호스팅 제공 기업과의 파트너십을 기반으로 엔드 투 엔드 솔루션을 제공한다. 대표적으로 앤스로픽(Anthropic), 애니스케일(Anyscale), 아마존웹서비스(AWS), 코히어(Cohere), 크레달.ai(Credal.ai), 파이어웍스.ai(Fireworks.ai), 구글 클라우드(Google Cloud), 그래비티나인(gravity9), 랭체인(LangChain), 라마인덱스(LlamaIndex), 마이크로소프트 애저(Microsoft Azure), 노믹(Nomic), 피어아일랜드(PeerIslands), 퓨어인사이트(Pureinsights), 투게더 AI(Together AI) 등 기업이 MAAP의 초기 파트너사로 참여해 고객에게 필요한 기술, 풀 서비스 및 전문가 지원을 제공한다. MAAP은 기업에 대한 고도로 맞춤화된 분석에 기반한다. 먼저 몽고DB 프로페셔널 서비스(MongoDB Professional Services)는 조직의 현재 기술 스택을 평가하고 고객과 협력해 해결해야 할 비즈니스 문제를 파악한다. 이어 컨설팅 파트너와 함께 전략적 로드맵을 개발하고 프로토타입을 신속하게 마련해 결과물이 고객의 기대에 부합하는지 검증하며, 이를 실제 운영 환경에서 사용할 수 있도록 완전하게 구축된 애플리케이션을 최적화한다. 고객은 필요에 따라 새로운 생성형 AI 기능을 개발하기 위한 몽고DB 프로페셔널 서비스를 계속 지원받을 수 있다. 기업은 조직 전반과 고객을 위한 애플리케이션에 배포된 새로운 기술이 예상대로 작동하며 민감한 데이터를 노출하지 않는다는 확신을 가질 수 있어야 한다. MAAP의 파트너사는 안전성과 신뢰성, 유용성을 보장하도록 설계된 FM을 제공한다. 기업은 FM을 강력한 거버넌스 제어와 자체 데이터를 사용하는 검색 증강 생성(RAG) 등의 기술과 결합함으로써 FM이 제공하는 데이터를 정확히 제어하고 정확도 개선에 필요한 컨텍스트를 제공하며 환각현상(hallucination)을 줄일 수 있다. 또한 기업은 MAAP 파트너를 통해 도메인별 사용 사례에 최적화된 미세 조정 및 추론 서비스도 사용하며, 앤스로픽, 코히어, 메타(Meta), 미스트랄(Mistral), 오픈AI(OpenAI) 등 모델을 기반으로 빠른 AI 모델 응답 시간을 확보할 수 있다. 이처럼 MAAP은 사용 사례에 필요한 생성형 AI 참조 아키텍처, 통합 기술, 규정 등 실무 중심의 전문 서비스를 제공해 의도대로 작동하는 안전한 고성능 애플리케이션을 구축할 수 있다. MAAP은 생성형 AI를 대규모로 도입할 준비가 되지 않은 기업에게 안전한 비공개 샌드박스 환경에서 진행되는 맞춤형 프로토타입 세션을 제공한다. 예를 들어 전략, 운영, IT, 소프트웨어 개발 등 조직의 여러 부서가 전문가 세션에 참여해 다양한 의견을 모으고, 생성형 AI를 통해 해결할 수 있는 내부 비즈니스 과제를 파악하는 데 맞춤형 MAAP을 활용할 수 있다. 나아가 몽고DB 프로페셔널 서비스가 주도하는 해커톤을 통해 솔루션을 공동 구축하고 내부 사용 사례에 대한 효과를 테스트한다. 즉, MAAP은 생성형 AI가 특정 비즈니스 문제를 해결하는 실질적인 솔루션을 신속하게 구축하는 데 필요한 교육, 리소스 및 기술을 제공한다. 몽고DB의 앨런 차브라(Alan Chhabra) 월드와이드 파트너 부문 수석부사장은 “기민함이 필요한 스타트업부터 탄탄한 입지를 구축한 글로벌 기업까지 몽고DB의 다양한 고객이 생성형 AI에 많은 관심을 보이고 있다. 이들은 몽고DB의 최신 기술과 포괄적인 서비스를 활용해 혁신적인 아이디어를 실제 애플리케이션으로 전환하고 있으나 일부 기업은 여전히 비즈니스 문제 해결을 위해 생성형 AI를 통합할 최상의 방법을 고민하고 있다”고 전했다. 또한, “MAAP은 강력한 개발자 데이터 플랫폼인 몽고DB 아틀라스(MongoDB Atlas)와 몽고DB가 보유한 전문성 및 서비스, 그리고 생성형 AI 업계 리더들과의 전략적 파트너십을 통해 규모를 막론하고 모든 기업이 생성형 AI를 자신 있게 도입하고 구현할 수 있는 포괄적인 로드맵을 제공한다. 몽고DB와 파트너는 MAAP을 통해 고객의 생산성을 높이고 고객과의 상호 작용을 혁신하며 업계 발전을 주도하는 데 생성형 AI를 활용할 수 있도록 지원한다”고 말했다.