레드햇은 레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server), 레드햇 AI 서드파티 검증 모델 및 라마 스택(Llama Stack)과 모델 컨텍스트 프로토콜(Model Context Protocol, 이하 MCP) API의 통합 그리고 엔터프라이즈 AI 포트폴리오 전반에 걸친 주요 업데이트를 통해 엔터프라이즈 AI에서 고객 선택권을 지속적으로 확대한다고 발표했다.

이러한 개발을 통해 레드햇은 조직이 AI 도입을 가속화하는 데 필요한 역량을 더욱 강화하는 동시에 하이브리드 클라우드 환경 전반에서 생성형 AI 제품 배포에 있어 고객에게 더 많은 선택과 신뢰를 제공한다.

포레스터(Forrester)에 따르면 오픈소스 소프트웨어는 기업 AI 활동을 가속화하는 촉매제가 될 것이다. AI 환경이 점점 더 복잡하고 역동적으로 성장함에 따라 레드햇 AI 인퍼런스 서버 및 서드파티 검증 모델은 효율적인 모델 추론과 레드햇 AI 플랫폼의 성능에 최적화된 검증 AI 모델 컬렉션을 제공한다. 레드햇은 라마 스택 및 MCP를 비롯한 생성형 AI 에이전트 개발을 위한 신규 API 통합을 더해 배포 복잡성을 해결하고 높은 제어력과 효율성으로 AI 이니셔티브를 가속화할 수 있도록 지원한다.

레드햇은 AI 포트폴리오에 새로운 레드햇 AI 인퍼런스 서버가 포함되면서, 하이브리드 클라우드 환경 전반에서 더 빠르고 일관되며 비용 효율적인 추론을 대규모로 제공할 것으로 보고 있다. 이 핵심 기능은 레드햇 오픈시프트 AI(Red Hat OpenShift AI) 및 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)의 최신 출시에 통합되었으며, 독립형 설루션으로도 제공되어 지능형 애플리케이션을 더 효율적이고 유연하며 높은 성능으로 배포할 수 있다.

허깅페이스(Hugging Face)에서 제공되는 레드햇 AI 서드파티 검증 모델은 기업이 특정 요구사항에 적합한 모델을 쉽게 찾을 수 있도록 지원한다. 레드햇 AI는 검증된 모델 컬렉션과 배포 가이드를 제공해 모델 성능 및 결과 재현성(reproducibility)에 대한 고객 신뢰를 높인다. 레드햇으로 최적화된 일부 모델은 모델 압축 기술을 활용해 크기를 줄이고 추론 속도를 높여 자원 소비와 운영 비용을 최소화한다. 

레드햇 AI는 메타(Meta)가 처음 개발한 라마 스택과 앤트로픽(Anthropic)의 MCP를 통합해 사용자에게 AI 애플리케이션 및 에이전트 구축과 배포를 위한 표준화된 API를 제공한다. 현재 레드햇 AI에서 개발자 프리뷰로 제공되는 라마 스택은 모든 생성형 AI 모델 전반에서 vLLM 추론, 검색 증강 생성(RAG), 모델 평가, 가드레일 및 에이전트 기능에 액세스할 수 있는 통합 API를 제공한다. MCP는 API, 플러그인, 데이터 소스를 연결하는 표준 인터페이스를 제공함으로써 에이전트 워크플로에서 외부 도구와의 통합을 지원한다.

레드햇 오픈시프트 AI(v2.20)의 최신 버전은 ▲최적화된 모델 카탈로그 ▲쿠브플로우 트레이닝 오퍼레이터(KubeFlow Training Operator) 기반의 분산 학습 ▲기능 저장소(Feature store) 등 생성형 AI 및 예측형 AI 모델을 대규모로 구축, 학습, 배포, 모니터링할 수 있는 추가 기능을 포함한다. 

또한, RHEL AI 1.5는 레드햇의 기본 모델 플랫폼에 새로운 업데이트를 제공함으로써 대규모 언어 모델(LLM)의 개발, 테스트 및 실행을 지원한다. RHEL AI 1.5의 주요 기능은 ▲구글 클라우드 마켓플레이스(Google Cloud Marketplace) 가용성 제공 ▲스페인어, 독일어, 프랑스어 및 이탈리아어를 위한 향상된 다국어 기능 제공 등이다.
 
래드햇 AI 인스트럭트랩 온 IBM 클라우드(Red Hat AI InstructLab on IBM Cloud)서비스도 출시됐다. 이 신규 클라우드 서비스는 모델 맞춤화 과정을 더욱 간소화하여 확장성과 사용자 경험을 개선하며 기업이 고유한 데이터를 더 쉽고 높은 수준의 제어하에 활용할 수 있도록 지원한다.