2026年8月24日，在加州帕洛阿尔托举行的Hot Chips大会上，NVIDIA发布了一系列面向智能体AI时代的基础设施创新。从Groq 3 LPX推理加速器的全面量产，到Spectrum-X Multiplane网络架构的生产部署，再到Scale-In基础设施新支柱与NVLink Fusion开放生态的推出，NVIDIA正在传递一个清晰的信号：AI的竞争焦点，正从训练侧的算力堆叠，转向推理侧的系统级协同设计。
NVIDIA预言："AI推理的下一个时代，不会由单一突破性芯片、网络或系统来定义，它将由AI工厂每一层的协同运作来定义。"这一判断的背后，是智能体AI（Agentic AI）带来的根本性工作负载变化。推理正成为新前沿，算力基础设施相应也要经历一次革命。
AI工厂的范式转移
传统大模型推理以单轮、可预测的请求为主，基准测试相对直接。而智能体AI系统跨越多个轮次和操作，每一步的工作负载都存在可变性——智能体需要推理、调用工具、执行代码、访问多个数据源、与其他AI系统协作，并维护海量上下文。
这一转变对基础设施提出了三重要求：更高的吞吐量、更低的延迟、更优的经济性。换言之，AI工厂必须从"模型训练工厂"演进为"Token工厂"（Token Factory）——能够同时实现性能、吞吐量、智能完整性和经济效率的一体化生产系统。
Vera Rubin NVL72：每一座AI工厂的通用基石
在NVIDIA的智能体基础设施版图中，Vera Rubin NVL72是当之无愧的核心基座。作为全栈AI工厂平台，Vera Rubin通过计算、网络、存储和软件的极致协同设计（Extreme Co-design）而构建，系统的每一个部分都设计为协同工作，以加速智能体AI这一“世界上已知最复杂的工作负载”。
性能数据印证了这一定位。在SemiAnalysis AgentX基准测试中，Vera Rubin NVL72运行DeepSeek V4 Pro时，相比Blackwell实现了最高30倍的每兆瓦吞吐量提升，每百万Token成本降低至1/35。Vera Rubin是有史以来构建的最通用的机器，小模型、大模型、开源、闭源，一切都能在Vera Rubin NVL72上运行。
这一通用性对于企业CIO而言意义重大。在智能体应用场景日益分化的当下，企业需要一个能够覆盖从训练到推理、从通用大模型到垂直智能体的统一基础设施平台，避免因工作负载变化而频繁重构底层架构。Vera Rubin NVL72的"全场景覆盖"能力，恰恰回应了这一需求。
值得注意的是，NVIDIA引入了" Pareto图表"作为评估AI平台性能与效率的新框架：X轴代表交互性（即每个用户的Token生成速度），直接决定智能体的响应能力和服务定价层级；Y轴代表每兆瓦吞吐量，决定固定功耗预算下AI工厂的收入能力。这一框架提醒企业，评估AI基础设施不能只看峰值算力，而应关注"交互性—吞吐量—经济性"的三维平衡。
Groq 3 LPX：为智能体"解码延迟"而生的专用加速器
如果说Vera Rubin NVL72是AI工厂的通用引擎，那么Groq 3 LPX就是为智能体时代的"最后一公里"——解码延迟——而打造的专用加速器。
智能体AI带来了一项独特的计算挑战：解码延迟（Decode Latency）。当AI智能体进行推理、调用工具并与其他系统交互时，它们逐Token生成响应，即使微小的延迟也会在复杂的工作链中倍增。一个需要数百至数千个推理步骤的智能体任务，如果每一步都增加几十毫秒的延迟，累积效应将严重影响用户体验。
Groq 3 LPX正是为解决这一问题而生。作为Vera Rubin NVL72平台的延伸，它通过专门的Token生成加速，与Rubin GPU形成分工协作：Rubin GPU负责大规模上下文处理，LPX则加速对延迟敏感的解码工作负载。两者联合计算AI模型的每一层，旨在消除速度与吞吐量之间的传统权衡。
性能表现堪称惊艳。在Artificial Analysis运行开源智能体模型Gemma 4 31B的基准测试中，针对10万Token长上下文场景，Groq 3 LPX实现了每秒3,400个输出Token的速度，比最接近的竞品平台快4倍。更大的上下文意味着更难处理，而在智能体工作流中，随着智能体迭代和执行任务，Token长度会复合增长到巨大数字。
对于企业而言，Groq 3 LPX的价值不仅在于速度，更在于它解锁了新的商业可能性。更快的Token生成意味着智能体可以在相同时间内完成更多的检查、编码、测试和迭代步骤，从而将编程等智能体任务从数小时缩短至数分钟。同时，更高的交互性使服务商能够推出高级服务层级，实现差异化定价。
生态层面，领先AI云服务商Nebius已成为首家采用Groq 3 LPX的企业，计划将其引入生产推理平台"Nebius Token Factory"。Nebius CTO Danila Shtan表示：“生成是推理阶段中决定AI系统实际响应速度的环节，作为首家将其投入生产的AI云，我们确保智能体循环的每一步都感觉瞬间完成。”
网络即算力：Spectrum-X Multiplane与Scale-In重构AI工厂的"血管系统"
如果说计算是AI工厂的心脏，那么网络就是贯穿全身的血管系统。随着AI工厂规模日益庞大，网络已成为性能的关键引擎——训练和大规模推理需要数千个GPU作为一个同步系统运行，网络必须在拥塞和故障中保持可预测性能，而不让GPU空闲。
传统单轨两层以太网架构在全带宽下上限约为2,048个GPU，进一步扩展需要第三个交换层，这会增加成本、功耗、延迟和复杂性。NVIDIA Spectrum-X Multiplane采用了截然不同的思路：将每台服务器的网络连接拆分为多个独立路径（平面），每个平面运行自己的轻量级两层网络。其结果是一个扁平、简单的网络，可扩展至512,000个GPU，而无需第三层级的额外成本和复杂性。
Multiplane的技术亮点在于基于硬件的负载均衡。NVIDIA ConnectX SuperNIC内部的专用硬件引擎自动管理跨平面的流量，并在故障发生时即时重新路由，整个过程对应用透明。在八平面拓扑中，如果一个平面发生故障，网络仍保持约90%的总带宽，硬件恢复速度比基于软件的多平面负载均衡快11倍，最终转化为1.6倍的AI工厂有效吞吐量（Goodput）提升——这相当于大规模AI工厂数十亿美元的利用率节省。
目前，CoreWeave已将Spectrum-X Multiplane部署到生产环境，用于连接NVIDIA Vera Rubin机架。基于102.4Tb/s Spectrum-6以太网ASIC的SN6000系列交换机和支持每GPU高达1,600Gb/s的ConnectX-9 SuperNIC，专为Vera Rubin NVL72 AI工厂而打造。
如果说Spectrum-X Multiplane解决的是GPU之间的"横向扩展"问题，那么NVIDIA Scale-In则瞄准了AI工厂的"纵向基础设施"——安全、存储和运营。作为NVIDIA AI网络的第五大支柱，Scale-In由BlueField-4处理器和DOCA软件平台驱动，通过Spectrum-X以太网连接，将传统的南北向接入网络转变为统一的加速基础设施域。
智能体AI时代，共享基础设施需要强大的多租户隔离，安全必须在不损耗性能的情况下延伸至全栈AI，工作负载需要对数据和存储的持续高性能访问。Scale-In提供芯片内安全、高性能AI工厂VPC网络、加速存储访问、弹性配置和实时可观测性，同时保持基础设施处理独立于主机计算资源。这意味着安全、数据访问和运营可以与AI计算同步扩展，而不再成为拖累性能的"附加组件"。
至此，NVIDIA构建了AI工厂网络的五大支柱：纵向扩展（Scale-Up，NVLink）、横向扩展（Scale-Out，Spectrum-X）、跨域扩展（Scale-Across）、上下文扩展（Context-Scale）和Scale-In。这五维一体的网络架构，为智能体AI工厂提供了从芯片级到数据中心级的完整连接能力。
NVLink Fusion：构建"垂直整合、水平开放"的AI工厂
在强化自有全栈能力的同时，NVIDIA也在通过NVLink Fusion向定制芯片开放其机架级架构，使超大规模云服务商和AI原生企业能够以更高的性能、灵活性和速度构建半定制AI工厂。
随着AI模型规模和复杂性不断增长，仅靠原始计算已不够。AI工厂需要高带宽、低延迟的纵向扩展网络、成熟的机架级架构，以及涵盖电力、散热、管理软件和供应链的完整生态系统。NVLink Fusion通过将定制XPU和CPU连接到NVIDIA的纵向扩展和横向扩展技术栈来应对这些挑战。
该平台包括第六代NVIDIA NVLink和专为纵向扩展网络打造的NVLink交换机，以及用于XPU与CPU之间高能效连接的NVLink-C2C。通过NVIDIA MGX生态系统，采用者还可以使用经过生产验证的机架设计、组件、制造合作伙伴解决方案，以及用于分布式计算、分解工作负载和集群管理的开放可扩展软件。
NVLink Fusion的核心价值在于解耦：通过将基于GPU和XPU的系统标准化在统一架构上，数据中心建设可以与芯片就绪状态解耦。运营商可以共享机架空间、网络、散热、供电和管理系统，然后根据供应和工作负载需求的演变调整GPU和XPU的组合。这对于面临供应链不确定性和工作负载快速变化的企业而言，无疑降低了基础设施投资的风险。
合作伙伴生态方面，SpaceXAI的案例尤为引人注目。该公司计划围绕NVIDIA Vera Rubin构建并扩展其未来AI架构，从地球上的数据中心到轨道卫星，并在生产环境中大规模部署NVIDIA Vera CPU，以加速智能体AI背后的CPU密集型工作——包括编排、工具调用、代码执行、数据处理和仿真。Vera CPU作为首款专为智能体工作负载构建的CPU，提供领先的单核性能、卓越的内存带宽和负载下的可预测性能，帮助智能体更快完成任务并保持GPU基础设施的充分利用。
智能体时代，CIO应如何重新审视AI基础设施
NVIDIA在Hot Chips 2026上的密集发布，为企业CIO和IT决策者勾勒出了智能体AI时代基础设施的清晰图景。从中可以提炼出几个关键启示：
首先，评估AI基础设施的范式需要更新。传统的FLOPS和内存带宽指标已不足以衡量智能体时代的平台能力。企业应引入"交互性—吞吐量—经济性"的三维评估框架，关注每兆瓦吞吐量、Token成本、长上下文下的解码延迟等新指标，并重视智能体工作负载基准测试（而非仅传统推理基准）的表现。
其次，异构协同是必然方向。Groq 3 LPX的推出并非GPU的替代，而是“为工作负载的每个部分使用正确的处理器”这一理念的实践。企业在规划智能体基础设施时，应考虑GPU与专用推理加速器、CPU、DPU的协同部署，而非追求单一芯片的万能能力。
再次，网络和基础设施服务不再是"配角"。Spectrum-X Multiplane和Scale-In的推出表明，在万卡乃至十万卡级别的AI工厂中，网络的可扩展性、弹性和有效吞吐量直接决定了GPU的利用率和投资回报。安全、存储、运营等基础设施服务也必须通过硬件加速和协同设计，与AI计算同步扩展。
最后，开放生态降低锁定风险。NVLink Fusion使企业能够在利用NVIDIA成熟机架级架构和生态的同时，引入定制XPU，实现基础设施投资的灵活性和可演进性。对于需要长期规划的企业CIO而言，这种"垂直整合、水平开放"的模式值得关注。
智能体AI的基础设施竞赛才刚刚拉开帷幕，而NVIDIA已经用全栈协同设计的理念，为这场竞赛设定了新的起跑线。对于每一位正在规划智能体AI战略的CIO而言，理解这场基础设施范式转移，将是把握下一个十年AI竞争力的关键。
第四十二届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训
责编：lijj
免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。
抢沙发
