首页 > IT业界 > 正文

OneFlow助力通信龙头企业超大规模AI应用落地

2022-05-16 17:33:23  来源:

摘要:图像识别是目前人工智能比较常见的落地方向之一,在合规、安防、自动驾驶等领域均有应用。
关键词: AI
图像识别是目前人工智能比较常见的落地方向之一,在合规、安防、自动驾驶等领域均有应用。该领域开源算法众多,对于广大企业来说,入门并不困难。但随着应用范围被不断拓宽,企业对图像识别的要求日益增强,要求训练图片的数量更大、种类更多、速度更快……如何满足这些需求,成了摆在人工智能企业面前的重要课题。

  近日,一家头部通信企业使用国产深度学习框架OneFlow在短短一周内就完成了超大规模图像识别的应用落地,为业界展示了一种全新的解决方案,极大地降低了大规模图像识别在工业场景中的落地难度。

  项目痛点一:上亿级别图像库待训练

  该企业作为通信行业内的龙头企业,服务范围非常广泛且用户众多,导致其待训练的数据库图像量级达到上亿级别。曾经,该企业用开源深度学习框架PyTorch进行训练,但需要对源代码进行大范围的“魔改”才能满足训练的性能需求,对于企业的人才技术实力有很高的挑战。

  项目痛点二:400多张GPU要应用,短期还无法扩容

  为了训练上亿规模的数据库,该企业配备了400多张GPU以增强算力,但一段时间后该企业发现只是单纯增加GPU的数量并不能保证算力的线性增长,因为显卡间的传输效率会限制算力,形成“内存墙”问题。另外,从成本角度考虑,GPU高昂的价格也无法让该企业短期内扩容来提升算力。

  项目痛点三:数据量大、硬件受限,还要短期内上线

  由于从易用性角度选用了PyTorch,却在大规模训练和部署时问题重重,该企业的工程师们一直在尝试各种解决方案,项目进度严重落后于规划。为了弥补前面耽误的时间,该企业迫切需要一个可执行、易上手、周期短的全新方案,以免给业务造成损失。

  在综合评估了市面上所有的深度学习框架后,该企业选择了新一代国产深度学习框架OneFlow。OneFlow是北京一流科技研发的、具有完全自主知识产权的产品,以“效率为王、易学易用”为产品特色,尤其是在多GPU的分布式环境下表现更是出色。在2020年5月由中国信通院发布的《首轮开源深度学习软件框架测试报告》中,OneFlow就已在同样的算法和硬件条件下,从吞吐率和加速比两个维度领先国外产品。针对本次的难题,OneFlow给出了如下解决方案:

  兼容:一键切换PyTorch到OneFlow

  OneFlow 最新发布的 0.7.0 版本对 PyTorch 接口的兼容性有了进一步的完善,对已经支持的算子都能保证和 PyTorch 的接口在语义和结果上一致。该企业仅用一行代码就完成了模型代码的迁移工作,精度对齐也非常方便,为后续工作节省了大量的时间的同时,还为工程师们节省了学习成本。

  加速:并行策略助力加速效果提升25倍

  OneFlow从诞生之初就将“提升分布式大模型效率”设为目标,模型越大、GPU数量越多,OneFlow的自身优势就越突出。本次上亿的参数量级与400多块GPU的基础设定在OneFlow“全局视角”的特色加持下,通过动态转静态、算法逻辑约减、提高并行度、静态编译优化四大技术,让该企业在每个性能优化点上均可加速至少125%,最终实现了较传统方案25倍的加速效果提升。

  轻松部署:接口开箱即用,部署大模型简单易学

  “行百里者半九十”,模型训练好了,但如果无法完整部署,与现有业务系统有机融合,也就无法发挥其真正价值。所以,轻松部署也是深度学习框架需要优化的维度,分布式环境下的超大模型部署更是个复杂的问题。好在OneFlow 内置的 XRT 模块,并提供了开箱即用的用户接口,让该企业在部署训练好的模型时,仅通过简单调试就可以完成与业务系统的对接,无需深度修改。

  最终,在OneFlow一系列高效易用的技术手段“加持”下,该企业仅用一周时间就完成了从训练到部署上线的全过程,追回项目进度的同时,并未增加工程师们的工时,真正做到了人工智能应该带给企业的“降本增效”。该企业AI负责人表示,未来在面临“大模型、大数据、分布式”的场景时,还会优先选择OneFlow作为底层支持。


第三十六届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:baxuedong

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。