레드햇과 구글클라우드는 레드햇의 오픈소스 기술과 구글클라우드의 맞춤형 인프라 및 구글의 개방형 모델 제품군인 젬마(Gemma)를 결합해 엔터프라이즈 애플리케이션용 AI를 향상하기 위한 협력을 확대한다고 발표했다.

양사는 AI 확장을 위한 엔터프라이즈급 사용 사례 개선을 위해 여러 분야에서 협력을 진행할 예정이다. 주요한 협력 내용으로는 ▲구글이 창립 기여자로 참여하는 오픈소스 프로젝트 ‘llm-d’ 론칭 ▲구글 클라우드 TPU(Cloud TPU) 및 GPU 기반 가상머신(VM)에서 vLLM 지원 통해 AI 추론 성능 강화 ▲젬마 3 모델 배포판에서 vLLM에 대한 0일차 지원 제공 ▲구글 클라우드 상에서 레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server) 지원 ▲레드햇이 구글 A2A(Agent2Agent) 프로토콜의 커뮤니티 기여자로서 참여해 에이전틱 AI 활성화 등 있다.
 
젬마 3를 시작으로, 레드햇은 구글의 개방형 모델 제품군인 젬마의 초기 테스터로 참여해 vLLM에 대한 즉각적인 지원을 제공한다. vLLM은 생성형 AI 애플리케이션의 출력 속도를 높이는 오픈소스 추론 서버다. 레드햇은 vLLM의 상용 기여자로서 생성형 AI 애플리케이션을 위한 보다 비용 효율적이고 반응성(responsive)이 높은 플랫폼을 제공할 계획이다.

또한 구글 AI 포트폴리오를 지원하는 고성능 AI 가속기인 구글 클라우드 TPU를 이제 vLLM에서 완전히 사용할 수 있다. 이 통합을 통해 개발자는 빠르고 정확한 추론에 필수인 성능과 효율을 달성하면서 리소스를 최대화할 수 있다.

AI가 연구에서 실제 배포로 전환됨에 따라, 조직은 다양한 AI 생태계의 복잡성과 분산 컴퓨팅 전략으로 전환해야 할 필요성에 직면해 있다. 이를 해결하기 위해 레드햇은 구글이 창립 기여자로 참여한 llm-d 오픈소스 프로젝트를 출시했다. 이 프로젝트는 vLLM 커뮤니티 성과를 기반으로 생성형 AI 추론의 새로운 시대를 선도하며, 이기종 리소스 전반에서 확장성을 높이고 비용을 최적화하며 워크로드 효율성을 향상하는 동시에 지속적인 혁신을 촉진하는 것을 목표로 한다.

이제 구글 클라우드에서 레드햇 AI 인퍼런스 서버 사용이 가능하며 최신 업스트림 커뮤니티의 개선 사항을 기업에 제공한다. 레드햇의 엔터프라이즈용 vLLM 배포판인 레드햇 AI 인퍼런스 서버는 기업이 하이브리드 클라우드 환경 전반에서 모델 추론을 최적화할 수 있도록 지원한다. 기업은 견고하고 신뢰할 수 있는 구글 클라우드의 인프라를 활용하여 반응성이 뛰어나고 비용 효율적인 프로덕션 단계의 생성형 AI 모델을 대규모로 배포할 수 있다.

또한 레드햇은 개방형 AI에 대한 공동의 노력의 일환으로 구글의 A2A 프로토콜에도 기여하고 있다. 이는 다양한 플랫폼과 클라우드 환경에서 최종사용자 또는 에이전트 간의 원활한 커뮤니케이션을 위한 애플리케이션 레벨 프로토콜이다. 레드햇은 A2A 생태계에 적극적으로 참여함으로써 빠른 혁신을 위한 새로운 길을 열어 사용자가 에이전틱 AI를 통해 AI 워크플로를 역동적이고 효과적으로 유지할 수 있도록 지원한다.