首页 > IT业界 > 正文

那些穿格子衬衫的AI开发者学到了什么“独家秘笈”?

2019-12-06 10:57:22  来源:中国资讯网

摘要:AI、IoT、云计算等技术的不断发展,为企业提供了前所未有的发展良机。在迈向智能化的过程中,企业的创新、效率、体验等得到了大幅度的提升,但与此同时,也在面临种种挑战。
关键词: AI IoT 云计算
AI、IoT、云计算等技术的不断发展,为企业提供了前所未有的发展良机。在迈向智能化的过程中,企业的创新、效率、体验等得到了大幅度的提升,但与此同时,也在面临种种挑战。12月4日,“DevRun·选择不凡,华为云开发者沙龙 2019”上海站,面向企业、开发者开启了技术布道之旅。来自华为云的5位资深技术专家,分别从AI模型构建、IoT平台布局、鲲鹏移植、企业应用软件开发、数据库查询优化等角度,为开发者分享了实战经验与心得体会。

1、 GaussDB OLTP数据库SQL优化

OLTP数据库在企业数字化转型中必不可少。这类系统事务性非常高,需要具备企业级的稳定性和性能。每秒执行的Transaction以及Execute SQL的数量往往是衡量OLTP数据库性能的重要指标之一。OLTP的数据块变化及SQL提交都非常频繁,如何提高查询效率,并极大改善高并发请求下的系统性能,是企业普遍面临的问题。

 

GaussDB OLTP数据库是华为全字研的分布式数据库,支持x86和华为鲲鹏硬件架构,基于创新性数据库内核,可以提供高并发事务实时处理能力、两地三中心金融级高可用能力和分布式高扩展能力。现场,华为GaussDB资深技术专家贾新华介绍,GaussDB OLTP数据库在业内首创了Switch Turbo技术,通过全局页面缓存(GBP)、RDMA软硬件垂直整合、高速网络及网络协议创新等关键技术,实现主机异常后备机立刻升主并对外提供服务,RTO从30~300s降低到10s以内,弥补了开放平台可靠性差距。有效解决了业务负载大,耗时不确定等问题。

 

据贾新华介绍,GaussDB OLTP数据库是一款全自研的分布式数据库,主要面向OLTP场景,其特点是:

● 高可用:故障倒换时间<10s,支持闪回。

● 高性能:基于鲲鹏920处理器,性能超越业界其他TOP商业数据库30%。

● 高扩展:分布式强一致,TPC-C扩展比>0.8。

● 兼容性:支持SQL-92、SQL:1999、SQL:2003等一系列标准的常用语法,兼容业界其他TOP商业数据库常用的SQL语法,支持离线/在线迁移。

 

1575527164332194.png 

华为GaussDB资深技术专家贾新华

2、基于华为智能IoT平台,快速构建行业应用

经过近几年技术与市场的培育,物联网即将进入快速发展期,给 ICT 行业带来了广阔的市场空间,但仍有众多企业仍旧面临着创新投入大、技术门槛高、生态资源难以获取、全球化业务落地困难等问题。

 

华为LiteOS高级产品经理苏振表示,万亿“物连接”将迎来红利,而要获取“物联接”的红利,需要解决数字化感知、联接和商业价值闭环的问题。因此,华为推出 IoT 云服务,为加速产业规模化商用助力,推动行业数字化转型。

 

1575527178700746.png 

华为LiteOS高级产品经理苏振

 

华为云 OceanConnect IoT 云服务汇聚了华为的关键技术积累,聚焦”Access + Insight + Action“使能行业服务,解决设备协同管理、数据分析成本高、行业差异性大等问题。基于对 IoT 产业的深入理解,华为云 IoT 平台抽象出通用 API,降低 IoT 技术门槛,易于开发者使用。

 

1575527191943634.png 

 

华为云 IoT 平台采用多终端介入方式,屏蔽不同终端差异性,让应用开发者可以聚焦应用逻辑实现。面对 IoT 设备服务能力、设备通信协议、设备交互方式各异,难以面对行业持续扩充的业务诉求,华为云 IoT 平台提供模型管理服务,按设备服务能力进行抽象,供面向业务应用统一发放管理,助力标准化进程推进,并用完整的设备管理,支撑起业务运维。

3、华为鲲鹏工具链开放,实现应用无忧迁移

业务和数据的多样性需要新的计算架构,海量的数据增长带来了更高的计算需求,鲲鹏由此而生,面向智能世界持续提供先进算力支持,使能各个行业加速数字化转型。

 

那么,已有的软件如何从x86迁移到鲲鹏计算平台?华为智能计算架构&设计专家张汝涛为参会者详细讲解了鲲鹏生态下的应用迁移全流程。

 

1575527205447419.png 

华为智能计算架构&设计专家张汝涛

 

在应用迁移的过程中,分析扫描工具、移植工具、调优工具以及加速库往往是备受关注的四个部分。其中,分析扫描工具(Dependency Advisor)用于软件的评估可移植性,并通过分析移植软件代码文件,评估移植代码量和工作量。用户在准备移植已有软件到鲲鹏服务器之前,可先用该工具分析可移植性和移植工作量。

 

代码移植工具可分析待移植软件源码文件,给出代码移植指导报告。用户在有源代码的软件移植到Kunpeng服务器上时,可用该工具自动分析出需修改的代码内容,并指导如何修改。

 

性能优化工具 (Tuning Kit) 在软件运行状态下,通过采集系统数据,分析出系统性能指标,定位到瓶颈点及热点函数,从而给出调优建议。用户的软件在鲲鹏服务器上运行时遇到性能或体验问题时,可用该工具来快速分析、定位及调优。

 

加速库从底层算力进一步提升应用软件性能。华为云为开发者提供了glibc 基础库和HMPP两种加速库。glibc基础库已优化16个最常用接口,采用主流的benchmark测试指标性能提升4.16%,在数据库、DPDK、分布式存储、web等场景下也有较明显的性能提升。

4、基于华为沃土数字平台快速开发企业应用

对企业而言,在引入数字技术的同时,基于云架构的软件体系、商业模式、咨询服务、运维体系等的同步改变才有可能将数字技术的价值发挥到最大程度。而华为沃土数字平台,正是帮助企业融合新 ICT,打造数字世界的底座的平台。在现场,华为沃土数字平台资深架构师董鑫武为我们介绍了华为沃土数字平台的平台架构及设计理念。

 

1575527217735597.png 

1575527228249606.png 

华为沃土数字平台资深架构师董鑫武

 

华为沃土数字平台以云为基础,整合视频、物联网、大数据、视频、GIS 等新技术,基于华为数字化转型经验,打通融合各类数据,使能业务协同与敏捷创新的,主要介绍融合集成 ROMA平台与AppEngine应用敏捷开发平台。

 

ROMA 平台拥有三大功能;数据集成,消息集成和服务集成,主要用于广泛的连接,收集各个厂商的系统数据,打通客户现网各个烟囱式的结构,达到所有数据共享并可调用的目的。

 

董鑫武表示,ROMA的核心能力是融合一切数据、汇聚一切能力。面向数据融合与集成,ROMA可支持API数据源、实时消息等新数据接入方式以及传统IT域数据融合;在统一服务汇聚与开放方面,ROMA可以和华为现有ICT能力及多个第三方伙伴完成预集成,支持灵活编排,提供80+场景化服务。

 

AppEngine 则是开发应用的平台,具有前端、后端、集成三层技术架构。经过三层架构,从定义数据模型到后台流程逻辑编排、页面组装编排到应用的一键式发布,帮助开发者提升开发效率,从而解决0到1应用构建、1到N复制的难题。

5、ModelArts让AI开发极简化

AI正在改变我们身边的各行各业,但是这条通往智能世界的路并不平坦,其中一个巨大鸿沟就是AI人才的稀缺。为此,华为云面向开发者,推出了一站式AI开发平台——ModelArts,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。

 

1575527240172577.png 

1575527251611901.png 

 

AI模型训练性能方面,今年3月,斯坦福大学发布的DAWNBenchmark最新成绩中,图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间排名中,华为云ModelArts位列第一,比之前最快的训练平台Fast.AI的最好成绩提升了近78%。在现场,华为云AI开发者生态高级经理、华为云EI布道师林旅强带领大家动手体验了ModelArts一站式AI开发过程。

 

1575527325490389.png 

华为云AI开发者生态高级经理、华为云EI布道师林旅强

 

数据处理方面,ModelArts支持7种类型的数据集标注,包括图像分类、物体检测、声音分类、语音内容、语音分割、文本分割和命名实体。ModelArts 提供的智能标注系统,可节省人力提升效率50%~80%。

 

训练作业部分,ModelArts 提供了30余个各领域最优秀、最常用的模型,并实现了精度和速度的优化。一键训练模式,开发者仅需配置数据和日志输出路径;使用预置模型进行迁移学习;自动超参调优;自动模型压缩(量化、修剪);零编码模型训练优化。新增的模型转换功能,可以将已有模型转换成相应的格式后,应用至不同的芯片类型,如Ascend芯片、ARM等,来获得更高的算力。

 

自动学习功能中,开发者只需上传数据并标注,通过自动训练,即可一键完成部署,全程由UI导向,无需 AI 经验、无需编码、无需学习复杂模型。

 

图片10.png 

图片11.png 

 1575527352672392.png


第三十六届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:liukai

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。