IT运维技术需重新定位数据仓库策略
IT运维技术需重新定位数据仓库策略
2011-08-15 11:31:12 来源:TechTarget中国
抢沙发
2011-08-15 11:31:12 来源:TechTarget中国
摘要:IT技术给了我们自动化的系统和工具,从此我们可以去存储并分析大量信息。但是现在的交易系统已经发展到非常繁杂的阶段,包括互联网、移动设备在内的数据源每天都会产生各种各样的数据
关键词:
大数据
数据仓库
IT技术给了我们自动化的系统和工具,从此我们可以去存储并分析大量信息。但是现在的交易系统已经发展到非常繁杂的阶段,包括互联网、传感器、移动设备在内的数据源每天都会产生各种各样的数据,有时这些数据就如同洪水猛兽般,吞没了不知多少公司的IT系统,多年前搭建起来的
数据仓库架构已经无法再应对海量数据的压力。
企业的
数据仓库团队正面临着巨大的挑战,管理信息海啸或者我们称之为“
大数据”,需要技术人员平衡已有的系统和新近的工具以及技术。来自Forrester研究机构的分析师Brian Hopkins认为,要想处理好
大数据问题,企业至少应该对旧有的传统
数据仓库系统重新审视。他举例说,使用传统的中心辐射型连接进行数据集市分割,并将某种形式的
大数据集成到一个集中式
数据仓库系统中是非常具有挑战性的。目前的
数据仓库系统主要是应对结构化数据,但是所谓的
大数据则更多的是指那些非结构化数据或者半结构化数据。
Hopkins表示:“从某种意义上说,
大数据已经颠覆了传统
数据仓库的设想。
数据仓库以及商业智能环境的主要目的就是为了能够回答业务用户提出的具体问题,它包括对数据进行清洗,通过ETL过程将数据最终导入到报表中进行分析。因此可以说这样的方式,企业中只有5%的可用数据得到了充分的利用。然而更糟的是,有时甚至还要远远低于这个百分比。”
新的数据仓库策略
相比之下,
大数据策略往往将精力放在一个更宽泛的信息范围之内。几年前那种
大数据库、要求统一的概念已经逐渐消失了。另一方面,目标数据存储以及所谓的分析沙箱(Analytic Sandbox)是
大数据环境下非常常见的,它们的复杂程度会对IT技术人员以及
数据仓库团队造成很大困难。
TechTarget业务应用分析总监Wayne Eckerson表示:“随着
大数据概念的提出,相信会有更多新鲜的模式出现,有些甚至是与我们传统概念截然相反的。但是分析
大数据一定是非常困难的,因为量太大,而且成本颇高。这也就是为什么有很多企业在寻求更新的技术,比如开源Hadoop MapReduce。”
来自一家咨询机构的顾问Richard Winter认为,
大数据为企业提供了更多的机遇,这些企业善于从数据中洞察业务趋势,这在以前是不可能出现的。他举例说,一家“智慧”的空气净化机企业开发出治疗哮喘的方法,它们的产品内置有无线接收发送设备,能将病人数据、时间以及地点传送到数据库中。通过信息整合,空气净化机甚至可以提醒患者附近是否有潜在的过敏源。这样的设备还可以帮助医疗研究机构更好地分析哮喘症状。
数据量带来的挑战
当上面提到的产品获得广泛应用之后,来自数据的压力就会随之而来。制造商需要对这些数据进行存储,处理并最终提供给系统进行分析。
数据仓库专业人士还需要理解
大数据并不只是在数据量这一个层面上,TDWI机构的数据分析师Philip Russom表示,其他的
大数据属性同样非常重要,比如它的变化多样,包括Web点击流数据、呼叫细节记录、销售网点数据、社交媒体文本等。
Philip Russom认为,当企业面临管理
大数据平台时往往会像车灯前举足无措的小鹿(焦虑不安),他们能够了解到
大数据的潜在价值,但是又苦于管理的复杂程度,特别是大多数数据不能够通过传统
数据仓库来处理的时候。
为了避免上述的情况,专家建议可以试着将
大数据管理的目光放到更小的范围内,比如客户行为这样高回报率的领域,然后可以利用传统
数据仓库和新技术新工具的混搭来完成最终的目的。企业关注的话题不一定要大而全,小而精反而更好。
第四十一届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:kaifangli
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。