首页 > 大数据 > 正文

成功实施基于Java的Hadoop所需的技能

2012-08-23 17:07:54  来源:TechTarget中国

摘要:Hadoop是处理的大数据的一个很知名的工具,提到大数据,人们自然而然的就想到了Hadoop,但不是有了Hadoop就可以,使用它也是需要一定的技能的,本文对此进行了介绍。
关键词: 大数据 Hadoop

    一个大数据分析的兴趣浪潮,引领许多开发团队经理考虑Hadoop技术。当他们这样做时,也需要盘点采用Hadoop所需的技能。


    在谷歌MapReduce模型的基础上,Hadoop分布计算任务,然后汇总结果。Hadoop是基于Java的,所以它通常需要Java编程能力。


    实现Hadoop与企业应用程序开发团队可能使用到的Java开发项目有所不同,虽然有效的大数据分析确实与传统的SOA有一些相似--但它是面向批处理的开发。


    Hadoop不是实时操作【商业智能】,而是发现,探索和分析大量多结构化数据,“MWD顾问公司分析师Helena Schwenk说。她通过电子邮件告诉SearchSOA.com,一个成熟的Hadoop实现团队的技能应包括:大规模分布式系统的经验和如Java,C++,Pig Latin和HiveQL等语言知识。数据挖掘和分析技能,如预测建模,自然语言处理和文本分析技能也是重要组成部分。


    Shwenk继续解释说,其他领域需要考虑的是数据管理,结构化和非结构化数据集成,一些列数据延迟要求,架构支持可扩展性和高速处理。


    显然,灵活性很重要,团队成员需要随时更新和拓宽自己的技能。 Schwenk说:”大数据的挑战,不能由一个单一的平台或引擎解决。“她说,相反,团队成员需要采用多种技术,组件和架构。她接着说,如Hadoop,MapReduce和分布式NoSQL数据库技术将有可能成为组合的一部分,但”如内存数据库,柱状数据库和大规模并行处理架构技术“也很具发展潜力。


    当然,许多企业的价值将真正来自整合大数据分析与现有的企业架构。有办法做到这一点,据Schwenk所说,是把大数据项目融合到企业过程和如数据仓库的数据资产,来更全面的了解自己的企业。


    Schwenk说:”大数据,会要求你仔细思考采购和投资正确的人,分析技能和经验,以确保你可以利用大数据提供的机会优势。“


    这可能意味着一些应用程序开发团队将不得不雇用新的人才,或者为现有的成员提供培训。


第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangyexi

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。