带着多样、高速和海量的标签，大数据的应用对人类预测灾害、预防疾病、城市监控等都能带来切实的好处。当然，如何利用大数据，业内专家对的认识不尽相同。LSI总裁兼CEO Abhi Talwalkar认为，对于大数据来说，工具、开源以及框架设施这“三大金刚”非常重要。

    Abhi Talwalkar表示，如果想挖掘大数据的价值，就要关注数据的捕获、数据的存储和数据分析三大问题。其中，数据分析是最重要的一点，数据只有进行了合理分析才能获得价值，才能实时获取更多的信息，获取有价值的信息。

    显然，要完成这三项任务，工具、开源（包括软件和硬件）以及框架设施非常重要。在计算的架构上转向数据流的架构，才能确保容错能力，并且在恰当的时间得到需要的结果。

    LSI总裁兼CEO Abhi Talwalkar

    在Abhi Talwalkar看来，面对大数据中站很大比重的非结构化数据，Hadoop是主流工具。Hadoop有一个有效的框架，可以处理非结构化数据，尤其是处理分布式数据。Hadoop有一些支持处理和分析的工具，它们的在不断改进，能够进一步挖掘大数据的价值。

    开源硬件和开源软件方面，Abhi Talwalkar认为，对于云计算和大数据来讲，最重要的问题是实现云数据中心的有效使用，这就意味着必须有很好的存储设施和网络架构，必须高效率地访问这些动态资源，满足客户分享云资源的需要。而OpenStackc带来的管理能力，和网络虚拟化方面的软硬件开源，就能够帮助用户提高效率和降低成本。

    Abhi Talwalkar特别提出了一个数据流架构的概念，主要是关于大数据本身的分析以及传送数据，并分享了LSI在该架构的一些努力成果。之所以叫做数据流架构，Abhi Talwalkar认为，现在的架构必须满足数据处理以及数据使用的要求。

    考虑一下数据流。首先需要捕获这些数据流里面的数据，数据流可以来自不同的设备，必须通过某些方式进行获取并存储，存储的数据中心也是超大的，可能有10万台服务器或者是100万个硬盘，当然也有些数据放在少数的高性能数据服务器上。我们要根据数据的特性来搭建这种数据流的架构，这主要取决于数据是否需要进行实时分析的需求。

    首先是智能网络的使用。随着捕获的数据的增多，我们不仅需要对其进行重要性、价值多少的评判，还要随着数据流在网络上的流入判断其类型。这就意味着我们需要更多的智能网络，以便对数据进行实时的判断，并处理各种不同的数据格式。

    在这方面，LSI开发了一种多核处理器，并提供了具备处理功能的硬件，帮助评判数据的格式，比如它是不是视频数据，以及这个数据是要实时应用，还是只是支持视频聊天的数据类型。该硬件能将经过认证的数据分成若干类型进行实时分类，并且进行初步的智能判断。

    在接下来的两到三年，两个比较大的网络公司就会采用这项技术。Abhi Talwalkar相信，通过智能硬件的使用，网络流量会降低50%，大大节省带宽。

    还有一点是关于灵活性。我们处理的数据量非常大，而且是存储在非常大的数据中心当中，其中有特别多的硬盘，硬盘损坏是了不得的事情，我们必须使这个硬盘的复原性非常好。现在数据中心头疼的问题就是希望保证一定量的硬盘在工作的状态，而且也不希望它们的性能受到任何影响。

    我们今天使用一种特殊的存储技术，可以对数据进行定位，了解到它存在哪个服务器当中。但是，传统的方式是依靠存储的物理位置。现在，我们需要通过一个机架服务器将分布在不同服务器上的数据进行整合，这样就可以提高数据的备份能力。

    最后一个挑战是效率。就是要以有限的IT预算，来快速获得大数据处理的结果。

    LSI现在用一些闪存的技术，使得数据在应用和分析过程中取得不同的效果。可以加快应用的速度，速度可以提升15%。利用这种技术使得IT架构以更低的成本保持同样的性能，保证传统的CPU和硬盘存储之间的低延迟状态。

    LSI有很多的闪存产品应对大量的基础设施、基础架构和大量的数据组，从网络和架构上满足捕获分析信息和数据的需求。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。