首页 > 大数据 > 正文

存储是大数据的基础

2013-09-18 09:27:17  来源:赛迪网

摘要:随着物联网、社交化、BYOD等技术的广泛应用,数据呈现爆炸性增长。不仅对存储的性能及容量提出苛刻考验,还要具备快速的数据检索与分析能力以即时获取关键价值信息。
关键词: 大数据 存储 Had

    随着物联网、社交化、BYOD等技术的广泛应用,数据呈现爆炸性增长。不仅对存储的性能及容量提出苛刻考验,还要具备快速的数据检索与分析能力以即时获取关键价值信息;同时,活跃数据归档需要更加简便、成本效益的存储方案。美国市场研究公司IDC认为“在可预见的未来,存储大数据和分析领域最大的基础设施开支之一。


    Hadoop的数据是非常重要的一点。一般来说有三种方法来应对处理和存储,一种方法是实时的分析工具,同时还有一些数据的操作性的工作。也就是说得到了什么到底怎么做?同时还需要进行对数据的操作,这需要处理多种不同的数据得到一个结果,这就是Hadoop在早期的时候超越其他工具的地方。而且我们必须要处理数据,用这个数据来在培训过程中引用到,或者引用来进行一些可视化,帮助来使用一些。


    存储和网络也是Hadoop集群性能的重要保证。在Hadoop集群中,万兆位以太网(10GbE)带来的带宽增长是导入和复制(在多台服务器之间)大型数据集的关键,英特尔Ethernet10Gigabit融合网络适配器提供了高吞吐量连接,同时英特尔SATA固态硬盘为原始存储提供了高性能、高吞吐量存储选择。为提高效率,存储往往需要支持其它高级能力,如压缩、加密、自动数据分层、重复数据删除、纠删码和自动精简配置,现有的英特尔至强处理器都已经支持这些功能。


    随着大量IT厂商的加入,Hadoop的商用版本正呈增长趋势,众多厂商都推出了自己的Hadoop版本,并集合了其他Hadoop项目的基本堆栈,可与数据仓库、数据库和其他数据管理产品集成。


    让Hadoop成为下一代数据分析平台的“基石”。英特尔Hadoop发行版免费版v2.2,为最终用户和应用提供商提供了一个功能强大、方便易用的大数据入门平台。而且免费版和企业版共用相同的核心代码,免费版也包含所有核心增强功能,不过免费版在节点数和系统存储容量上有所限制。


    英特尔大数据Hadoop的版本特点有4个方面,一方面是稳定性和易用性上做了优化。第二方面对英特尔的平台做了特殊的优化,这个软件包在英特尔平台上从性能上和效率上是有优势的。第三方面在算法和结构上做了调整,也就是对即时性的优化,使得它能够做到即时的数据处理。第四方面是和中国的用户合作,对行业应用做了特殊的调整和优化。


    最重要的还是是安全的优化,要运行各种不同的运行,在某一个APP的环境Hadoop是一个独立的集群,也许它管理起来并不是那么容易,虽然效率并不是很高,但它是独立运行的,把它放在一起可以看到是单一数据的分享。我们看到了很多的数据,把它放到了云的计算中,比如说基础设施可能是同一个基础架构对资源进行分享。但在分享存储这方面可以看到有一些大数据都可以有一些优势,但问题并不是完全需要这样的。资源的分享、存储的分享确实是可以的,你可以用SANorNAS进行分享,你可以对集群进行评论的工作,还可以帮助你不断地改善虚拟的架构。


第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:董光帅

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。