首页 > 大数据 > 正文

基于流的数据处理使Hadoop运行更快?

2012-09-25 15:05:14  来源:TechTarget中国

摘要:Hadoop的批处理模型的一个问题是,它估计在突增数据采集之间的进行批处理时会有宕机的时间。针对这一问题,本文简单地介绍一下使Hadoop运行更快的方法。
关键词: Hadoop 数据处

    Apache Hadoop分布式文件处理系统是有好处的,而且它正在获得注意力。然而,它也有坏处。有些组织发现从Hadoop开始的话需要重新思考软件架构,而且它所需要的数据技能也是必要的。


    对于一些人来说,Hadoop的批处理模型的一个问题是,它估计在突增数据采集之间的进行批处理时会有宕机的时间。这是许多企业都的情况,当他们在本地操作,或者在白天有大量事务,但很少在晚上(如果有的话)。如果夜间窗口足够大可以处理前一天积累的数据,那么一切都会顺利。虽然对于一些企业,窗口的停机时间是小或不存在的,甚至使用Hadoop的高性能的处理,他们仍然在一天内得到的数据比他们可以在24内小时处理的要多。


    对于可接受小窗口的组织,添加基于数据处理组件的方法可能有帮助,GigaSpaces的首席技术官Nati Shalom在最近的一篇关于使用Hadoop更快的博客中写到。通过不断地处理传入的数据转化成有用的包和删除那些不需要企业处理(或再加工)的静态数据,可以显着加速他们的大数据的批处理过程。


第四十一届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangyexi

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。