首页 > 云计算 > 正文

盘点人气云计算&大数据开源技术变迁

2016-05-06 16:53:46  来源:36大数据

摘要:近年内,随着越来越多的设备接入互联网,当下一年所产生的数据往往是以往数年的总和。而据Global Cloud Index预计,截止至2020年互联设备数量将达到500亿,众多爆发式增长的设备预计在2017年便会产生高达7 7 ZB的互联网数据。
关键词: 云计算
容器技术异军突起,从技术演进到标准、生态之争

 
  Docker,时下最火的容器技术,从诞生到进军生产环境,每一步的技术演进都受到了巨大的关注。其实,谈及容器技术,其实Docker并非首创,早在十数年前,容器技术便已有雏形,但是以Solomon Hykes为首的一帮工程师敏锐的发现了容器技术在云计算领域的巨大潜力,随后迅速技术转型,开始投向容器技术并且从一开始就走开源路线,这位身上流着美国与法国的血统,喜欢网咖打电动,酷爱摩托车的年轻人开始了一段非凡的浪漫之旅。
 
  无论是版本的迭代还是进军生产环境,Docker这三年来的发展可以说是如鱼得水,当然,期间也受到过质疑,比如CoreOS与Docker的标准之争就在容器圈引起了不大不小的轰动,最后以Solomon和CoreOS的创始人Alex Polvi握手言和告终。之后随着Docker版本的更新,在网络和安全、存储等领域的短板被逐渐补足之后,Docker的集群能力得以完善。
 
  容器引擎领域,虽说有CoreOS团队开源的rkt项目,但是和Docker相比,在用户以及社区活跃度方面都有很大差距。容器的编排,可以说在目前Docker领域受到的关注度前所未有,从Mesos到Kubernetes,围绕两种技术的编排之争超乎想象,由于背后都有大批的厂商支持,短期内,这两种技术都将得到迅速的发展,某一方不会形成压倒性优势,另外,从Docker公司的角度,背后的动作也有对编排的考量,综述所述,容器生态中,围绕Docker的生态之争才刚刚开始。
 
  Docker短板补足,生产级实践备受关注
 
  如上文所述,在Docker版本的更新过程中,自身的一些技术缺陷得到了弥补,Docker在安全、存储以及网络领域的短板得到逐步的解决,Docker进军生产环境已经成为大势所趋。国外,在Docker应用领域有着比较先进的经验。国内目前真正将Docker应用在生产领域的很少,其中应用在核心业务的就更少,Docker从诞生到现在,已经3年时间,如果继续炒作Docker的优越已经毫无意义,当下,开发者们最为关心的是如何让Docker真正落地,如何在生产环境中使用Docker,急需这个领域有一些第一个吃螃蟹的企业出来分享他们的经验和教训。
 
  为此,2016 Container峰会聚焦生产级实践,邀请了在金融、教育、制造、证券等领域已经应用Docker的企业技术负责人到场,给我们谈谈他们在生产环境中是如何使用Docker的,大规模部署Docker的经验和趟过的坑。比如我们请到了民生银行架构管理中心副主任周越博带来《Docker助力互联网金融新架构》,长安汽车分布式技术架构室室主任黄俊带来《容器化技术在长安汽车中的实践》,广发证券信息技术部资深架构师、交易云技术研发团队负责人杨涛带来的《广发证券基于大规模docker容器集群的OpenTrading证券交易云实践之路》,另外,哈有永信至诚科技股份有限公司副总裁带来的《CloudStack+Docker构建云端信息安全实验场》。
 
  OpenStack式微?如何借势Docker
 
  无可否认,Docker的发展热度在一定程度上掩盖了OpenStack的光芒,但是作为开源IaaS领域的首选平台,IaaS如何和Docker和谐发展,或者如何借势Docker弥补OpenStack在技术领域的短板,已经成为很多开发者关注的焦点。另外,上届的OpenStack技术峰会,我们邀请到IBM云计算架构师刘光亚分享了《深度解析Docker和OpenStack系统集成》收到了众多参会者的广泛关注,今年OpenStack技术峰会,我们同样邀请到九州云OpenStack 开发工程师张雷为大家分享如何基于Docker部署升级OpenStack,此外,对于已经部署了OpenStack基础服务的用户而言,如何最大化地发挥底层服务的能力、优化资源使用,同时提升用户体验,我们邀请到IBM高级研究员,OpenStack Senlin项目组长、Heat项目的Core滕启明博士来为我们分享如何通过编程充分发挥OpenStack云的能力。值得一提的是,对于OpenStack在企业的实践,我们也邀请到中国移动,中国银联、国家电网、华为、ebay、顺丰快递等顶级工程师,分享他们在OpenStack实践方面的感悟。

       Hadoop老矣?时下开源大数据生态解读
 
  如前文所述,在海量数据处理上,横向扩展已毋庸置疑。而在这个领域,由Hadoop 2.0中诞生的YARN无疑最为耀眼,也是时下生产环境部署最为广泛的开源框架。在本届CCTC 2016上,华为印研Hadoop工程团队架构师、Hadoop Committer Naganarasimha Garla将从技术角度解析YARN的异构实现,而Hulu大数据架构组负责人董西成将分享YARN在生产环境中的异构应用与实践。
 
  谈到开源海量数据处理,行业内首先落地的无疑是批量计算,而在这方面,MapReduce无疑是鼻祖,也是时下生产环境部署最多的计算框架。然而正如上文所述,缺少对内存的有效利用和业务对不同类型计算的需求,效率比较低的MapReduce同样面临着大量竞争者,其中两个备受关注的就是Spark和Flink。因此,在CCTC 2016上,主办方特设置了2016中国Spark技术峰会,不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0,来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的近十位专家将带来最新的Spark实践分享,详情可以看笔者之前的峰会解析。而在Flink方面,Flink 活跃贡献者,万达金融李呈祥将为大家分享名为“Apache Flink: Stream engine beyond Batch”的议题。
 
  此外,基于大量用户的生产欢迎使用,Hadoop同样亦在飞速进步,就比如说之前一直由HDF和HBase的存储层已面临Kudu(Cloudera开源)的强力挑战,当然,满足业务需求,生产环境使用是大家所追求的共同目的。

第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:pingxiaoli

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。