六大行业大规模专家并行优秀实践正式发布

当前，MoE模型成大模型落地重要方向，但企业部署面临多重难题：传统方式需频繁切换硬件集群、适配底层硬件，导致推理系统搭建周期长、成本高；且现有方案难平衡性能与资源利用率，高并发场景下吞吐不足、时延高，“碎片化”部署无法满足规模化应用需求，阻碍AI技术产业渗透。

为有效解决以上问题，昇腾依托AI基础软硬件优势，联合伙伴打造“开箱即用”的大规模专家并行（大EP）解决方案。硬件上，以昇腾384超节点为核心，基于灵衢互联协议，通信带宽提升15倍、时延降至200ns内；架构上，首创“1卡1专家”模式，配合昇腾基础软件加速，系统推理吞吐提升4倍以上，实现“1份投入，4份产出”；软件上，方案内置全新MindIE Motor推理服务加速库，提供大EP部署、PD分离配置、DP负载均衡、分钟级故障恢复等能力，大幅降低大EP开发部署维护门槛。

目前，该方案已在六大行业规模化落地。运营商领域支撑高并发业务，部分企业相关调用成本降超50%；政务场景助力打造AI辅助审判系统；教育领域服务数万师生，2k输入输出场景吞吐性能提3倍以上；金融行业风控等业务响应能力提3倍以上；电力系统高效处理供电方案生成等需求；大模型企业完成多行业分布式推理系统部署。

此次实践发布，标志AI推理进入高效可靠新阶段，彰显昇腾技术引领地位。未来，昇腾将持续携手伙伴，深化全链路创新，推动大模型与行业深度融合，提供更多“开箱即用”方案，加速全场景、全行业AI应用落地，开启AI推理新时代。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。