红帽AI推理服务器正式发布，助力混合云中任意模型和任意加速器上的生成式AI

2025-05-26 10:37:07 来源：CIO时代抢沙发

2025-05-26 10:37:07 来源：CIO时代

摘要：红帽公司近日宣布推出红帽AI推理服务器（Red Hat AI Inference Server）
关键词：红帽

红帽公司近日宣布推出红帽AI推理服务器（Red Hat AI Inference Server），这是在混合云中普及生成式AI（gen AI）的重要一步。作为红帽AI中的新产品，该企业级推理服务器源自强大的vLLM社区项目，并通过红帽对Neural Magic技术的集成进一步增强，可以提供更高的速度、加速器效率和成本效益，助力实现红帽“在任意云环境中的任意AI加速器上运行任意生成式AI模型”的愿景。无论是独立部署，还是作为红帽企业Linux AI（RHEL AI）和红帽OpenShift AI的集成组件，这一革新性平台赋能企业，在生产环境中高效部署和扩展生成式AI。

推理是AI的关键执行引擎，预训练模型在此将数据转化为实际影响。它是用户交互的核心环节，要求快速且准确的响应。随着生成式AI模型复杂性激增及生产部署规模扩大，推理可能成为关键瓶颈，消耗大量硬件资源，削弱响应能力，并抬高运营成本。强大的推理服务器不再是一种“奢侈品”，而是大规模释放AI的真正潜力，更加轻松地应对底层复杂性的必要条件。

红帽推出红帽AI推理服务器解决这些挑战。红帽AI推理服务器是一款专为高性能设计的开放推理解决方案，配备先进的模型压缩和优化工具。该创新提供响应速度显著提升的用户体验，以及在AI加速器、模型和IT环境选择上无可比拟的灵活性，赋能企业充分利用生成式AI的变革性力量。

vLLM：拓展推理创新

红帽AI推理服务器基于加州大学伯克利分校于2023年中启动的行业领先vLLM项目。该社区项目提供高吞吐量生成式AI推理，支持大规模输入上下文，可实现多GPU模型加速，并支持连续批处理等功能。

vLLM广泛支持公开可用的模型，并具备与先进前沿模型（包括DeepSeek、谷歌的Gemma、Llama、Llama Nemotron、Mistral、Phi等）以及开放的企业级推理模型（如Llama Nemotron）的零日集成。这使它成为未来AI推理创新的事实标准。先进的前沿模型提供商正越来越多地采用vLLM，进一步加强了其在塑造生成式AI未来中的关键作用。

推出红帽AI推理服务器

红帽AI推理服务器将vLLM的前沿创新整合进自身的企业级能力中。红帽AI推理服务器可以作为独立的容器化产品交付，也可以作为RHEL AI和红帽OpenShift AI的一部分提供。

无论在何种部署环境中，红帽AI推理服务器均向用户提供经过加固且具备支持的vLLM发行版，并包含以下功能：

智能LLM压缩工具，可大幅缩减基础AI模型与微调AI模型大小，在保持甚至可能进一步提升模型准确性的同时，最小化计算资源消耗。

优化的模型存储库，托管在红帽AI组织的Hugging Face中，提供对经过验证和优化的前沿AI模型集合的即时访问，这些模型已准备好用于推理部署，可助力效率提升2-4倍，同时不影响模型准确性。

红帽的企业支持，以及在将社区项目带入生产环境方面数十年的专业经验。

第三方支持，实现更大的部署灵活性，支持红帽AI推理服务器在非红帽Linux和Kubernetes平台上部署，具体遵循红帽第三方支持政策。

红帽的愿景：任意模型，任意加速器，任意云，自由部署

AI的未来应当充满无限机遇，而不应受到基础设施孤岛的限制。红帽认为，未来，企业可以在任意云环境中的任意加速器上部署任意模型，提供卓越且更加一致的用户体验，而无需高昂的成本。为了释放生成式AI投资的真正潜力，企业需要一个通用推理平台——一个用以推动当下以及未来数年中，更加无缝、更高性能AI创新的标准。

正如红帽通过将Linux转变为现代IT的基石，开创了开源企业先河，如今红帽正构建AI推理的未来。vLLM拥有成为标准化生成式AI推理核心的潜力，红帽致力于构建一个繁荣的生态系统，不仅围绕vLLM社区，还包括用于大规模分布式推理的llm-d。红帽的愿景非常清晰：无论采用何种AI模型、底层加速器或部署环境，vLLM都能成为新型跨混合云环境推理的开放标准权威。

第四十一届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

责编：lijj

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。