数据仓库是技术和软件套件,它能够从操作系统收集数据,并将这些数据整合,并统一到中央数据库中,然后对数据仪表盘上指标进行分析、可视化和追踪关键性能处理。
在过去三年,Hadoop生态系统已经大范围扩展,很多主要IT供应商都推出了Hadoop连接器,以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。
作为一个全新的开源项目,Hadoop提供了一中新的方式用来存储和处理器数据。大型的互联网公司,如谷歌、Facebook都使用Hadoop来存储和管理它们庞大的数据集。
从结构化数据,到半结构化数据和非结构化数据,从关系型数据库到非结构化数据库(NoSQL),更高性能的并行计算/批处理能力和海量数据存储成为现代主流IT公司的一致需求。
随着互联网、移动互联网、物联网、云计算的快速发展,各行各业爆炸性增长的海量数据将再一次颠覆云时代,信息量暴增的大数据时代吹响了号角。
新的Hadoop不仅能够进一步刺激为Hadoop编写应用程序,同时也将在Hadoop内创造全新的数据处理方法,这在此前的架构限制下是根本不可能实现的。总之,这是好东西。
Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样?能否更快理论上,这些处理如果经过了并行计算的优化,在GPU上执行会比CPU快50-100倍。
Hadoop生态系统还在不断演进。倒退几年,我们还仅仅把Hadoop看作是HDFS(分布式文件系统)、MapReduce以及一些元素的组合,它们逐渐成为了大数据的代名词。
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。不过这并不一定就是坏事。把Hadoop当作廉价有效......
最知名的云计算开源系统Hadoop模仿和实现了Google云计算的主要功能。随着云计算的逐渐流行,这一项目被越来越多的个人和企业所运用。