首页 > 人工智能 > 正文

llm-d 1.0 推动面向生产规模的开放式、高性价比 AI 推理发展

2026-11-17 10:25:25  来源:CIO时代

摘要:红帽 AI 产品组合的重大进展,带来AI 作为共享企业服务运行所需的可验证信任、运维控制、标准化架构和性能透明度
关键词: 红帽
近日,llm-d 项目贡献者宣布发布 llm-d 1.0。这是该开源项目的重要里程碑。该项目旨在帮助组织在现代基础设施上更高效地部署和扩展大语言模型推理。llm-d 于 2025 年由红帽、IBM、Google Cloud、CoreWeave 和 NVIDIA 共同创立,现由云原生计算基金会(CNCF)治理,对于在生产环境中大规模部署 AI 的企业,llm-d对其开放基础设施发挥着关键作用。
 
随着各组织竞相将 AI 投入生产,许多组织发现,大规模运行 AI 可能与构建模型一样困难且昂贵。组织需要一种方式,既能为用户提供迅速响应的体验,又能支持智能体工作负载,并最大化利用日益稀缺的计算资源。llm-d 1.0 通过智能分布式推理能力来应对这些挑战,助力提升性能、增加吞吐量,并帮助组织更好地掌控 AI 服务的经济性。
 
让创新真正落地生产环境
 
随着智能体 AI 的兴起,新型工作负载正对基础设施系统施加不同于以往的压力。智能体工作负载在支持并行智能体时,可能产生不可预测的突发活动,这期间智能体会持续访问和复用大量上下文。管理这些上下文所消耗的资源往往超过生成最终输出本身,因此,时延、吞吐量、内存效率和基础设施成本成为实现 AI 投资回报的关键因素。llm-d 已为复杂基础设施环境,提供开箱即用的硬件异构支持和先进推理能力,以及前缀缓存和负载感知路由、KV缓存卸载、预填充/解码分离、宽专家并行和批处理与异步推理等功能,支持包括 vLLM 和 SGLang在内的多个模型服务器。
 
llm-d 1.0 旨在将这些性能带入 Day 2 运维的实际场景,以及在生产中持续运行推理的日常工作,包括服务多个租户、平衡相互竞争的优先级、提供零停机特性并支持新兴智能体的工作负载,所有这些能力都集成在一套协同设计的组件中,这些组件可共同组成一个平台。1.0 中的新能力包括:
 
多租户服务质量——兼顾优先级与公平性的流量控制,保障对时延敏感的请求与突发型智能体工作负载可以共享算力集群,互不抢占资源。
 
零停机运维——路由器高可用,支持热备和滚动更新,确保升级和计划维护期间流量能持续运行。将预填充/解码副本作为一个逻辑单元进行管理,支持协调推出和同步升级,使分离式服务能够切实应用于生产环境。
稳定可靠的基础——v1 配置 API 和经过加固的请求路径,已在多种云和加速器上完成验证,为采用者提供了一个可用于标准化部署的版本。
 
面向智能体的服务——会话感知路由让多轮对话接近其缓存的上下文,而轮次优先级调度和原生 Responses API 状态支持,帮助智能体跨轮次复用上下文并减少重复计算。
 
 
其结果是,基础设施能够支持多样化的 AI 工作负载,从时延敏感的用户交互到大规模的自主智能体工作流,组织无需在响应性和效率之间做出取舍。
 
生态系统势头持续增长
 
llm-d 已在不断扩大的模型开发者、云服务提供商、基础设施供应商和企业用户生态系统中得到使用。目前,该项目拥有来自 25 个以上组织的 500 余名贡献者,共同协作推动分布式 AI 服务的未来,并助力在 AI 基础设施堆栈中构建通用基础。
 
核心用户包括运行大规模分布式推理的组织、优化推理堆栈的前沿模型开发者,以及提供多租户 AI 端点的云服务提供商。这些用户均已从部署 llm-d 中获得了可衡量的收益。
 
在近期的一个应用案例中,开放前沿模型和 llm-d 使 IBM Research 能够以比全专有配置低 11.5 倍的推理成本探索量子纠错硬件3。研究人员报告称,前缀缓存命中率约为 98%,混合服务成本约为每百万token 0.11 美元。
 
在另一项近期使用基准工作负载的演示中,研究人员展示了 llm-d 能够高效地针对智能体工作负载,为大型混合专家(MoE)模型提供服务。研究人员使用 llm-d,在广泛部署的 NVIDIA GPU 上部署了GLM 5.2,一个约有7530亿参数的开放权重模型,展示了企业如何利用现有GPU集群大规模服务前沿 AI。在数百个智能体会话并行运行的工作负载中,该部署在智能体基准测试中峰值输出超过每分钟 660 万个token,可为多达 3000 个并发编程智能体提供服务,且不发生抢占。按当前云租赁费率计算,该部署的每 token 成本比同等商业 API 定价低 5 至 10 倍,其中节省幅度最大的,是智能体工作负载中常见的输入密集型流量模式,这凸显了 llm-d 如何为在生产环境中大规模部署 AI 的企业节省资源和成本4。
 
借助CNCF治理模式和广泛的行业参与,llm-d致力于加速创新,同时为组织管理日益复杂的 AI 基础设施提供开放式替代方案。展望未来,社区将继续适配不断涌现的新硬件和新模型,持续演进软件堆栈以在新架构上实现最佳性能。欲了解更多信息,请阅读 IBM 和红帽发布的博客。

第四十二届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:lijj

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。