大数据动因

    关于大数据形态和相关技术的讨论已经成为IT业界越来越热的议题。大数据背后蕴含了哪些动因？台湾云端运算联盟技术专家委员会大数据专家委员陈育杰表示，一方面，在移动互联网的浪潮下，大量智能终端设备接入网络，制造并传播海量的信息数据；另一方面，传统互联网产生的数据量也非常惊人，大量半结构化、非结构化的数据是大数据重要的形态和组成部分。

    惠普亚太及日本地区首席存储顾问Paul Haverfield认为，当前数据量爆发式的增长态势是几个合力共同作用的结果：IT消费化，智能终端和移动互联网应用快速地创造了大量数据；物联网应用，传感器收集了大量数据；企业用户存储的大量没有及时删除的数据也在客观上推动了数据量攀升。

    “物联传感器技术的演进，包括互联化和电子化的市场，基于位置的营销等新兴渠道都产生了大量的新兴数据，并引发新的技术变化和演进趋势。”IBM亚太区大数据专家陈威表示，“随着社交网络的兴起，企业营销模式甚至包括交易模式都发生了很大变化。在群体的交互行为中，无论是信息传播的路径还是数据具体的形态、内容都对企业传统的营销和数据处理手段构成了挑战。”

    大数据挑战

    陈育杰认为，大数据一方面需要企业采用不同的看数据的方式，与传统的方式相比，发生了根本的变化；另一方面，用户需要不同的数据管理策略。

    企业在过去十几年间所看到的数据本身是残缺的。在大数据时代，企业看数据的整个角度和思维脉络要发生根本的变化，如何更好地实现数据的可视化是一个挑战。

    大数据带来的第二个挑战是，传统的数据库和数据仓库在应对大数据这个议题时会面临性价比的问题。大量非结构化数据带来的是数据量爆发式的增长，对存储容量、传输速率、计算速度等要求更高，因此企业必须考虑更具性价比的计算和存储方式。

[page]    Paul Haverfield认为，企业应对数据爆炸式增长的策略应该是将数据变成能够让企业获得竞争优势的有用资产，就是通常所说的数据商品化。企业应对数据资料进行挖掘，为决策和业务提供预测性支持。具体而言，企业面临两方面的问题：第一，是否要将所有的数据都保存起来，为什么要保存所有的数据；第二，应该将数据保存在什么样的存储介质上，哪种技术是存储数据最好的平台。

    做大数据管家

    Gartner将大数据列为2012年CIO最关注的技术方向，IDC也认为大数据是企业能力储备最重要的一个方面。CIO和IT管理者如何帮助企业在数据快速增长的现实中定位自身的发展道路？

    面对数据量的增长，传统架构虽然能够实现扩充，但局限性在于没有办法实现水平式的横向扩展。传统的IT架构和数据处理方式无法有效地应对大数据环境，数据的存储、计算、管理、分析等几个节点都需要适应大数据的解决方案。企业数据中心应该如何设计？从基础设施的层面上看，需要一个平衡式的架构，既要有高容量，同时也要满足性能上的扩展。基础设施必须有能力应对各种不同的数据量。Paul Haverfield认为，未来的存储将是横向扩展的架构，总体的思路是采用一种线性增长的方式以实现平衡的存储和计算能力。

    从数据管理的层面看，在创造数据的同时，企业用户一定要及时考虑应该删除什么样的数据。因此在企业内部，应用管理者和业务管理者需要对数据归档和删除形成一致的观点，采用一致性的策略，避免IT的敏捷性受到影响。数据删除策略中核心的问题在于企业必须理解自己访问老旧数据的需求。

    核心是分析能力

    在IT基础架构和数据管理策略适应大数据需求的基础上，如何挖掘数据背后的价值是更为重要的议题。

    Hadoop提供了一个框架，企业可以利用这个平台对大量非结构化数据进行预处理。这个过程实际上是对资料某种程度上的结构化过程。经过预处理，数据资料就更容易和现有的数据仓库结合。数据表层的处理和结构化过程仅仅是其全生命周期的一个开始，这其中还包括数据的可视化、检索、共享、分析等一系列方面。Hadoop提供的是一个开放式的生态系统。然而，企业在此平台上的应用还有很长的路要走：从技术供给层面讲，企业普遍对Hadoop架构比较陌生；此外，基于Hadoop的技术顾问服务缺失，企业先期的咨询和需求分析缺乏专业化指导。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。