真正的引爆点来自和企业IT市场关系不大的互联网厂商，谷歌在2004年抛出了论文，雅虎的人在2005年弄了个开源的Hadoop，业界07、08年左右开始爆炒大数据概念，互联网企业开始引入Hadoop 架构，相关大数据的初创公司蜂涌而起，Cloudera于2009年成立，Hadoop正式版在2011年发布，企业市场也开始在2012和2013年以后开始慢慢接受大数据的概念。

 

　　有一点比较关键的就是大数据的发展是bottom up的，先由yahoo把google的东西抄了，用开源做了一套，因为是互联网来的，所以在企业领域是否能够大规模高效使用就只能由市场的发展本身来回答，这个是完全新的一种成长方式。 而这里面最为重要的就是数据的存储和计算带来的技术创新，HDFS的分布式文件系统可以廉价的存储PB级的数据，HBase把传统数据仓库存储的数据量从TB延展到TB，而计算原来依赖于数据库的并行处理能力，而现在Map/Reduce提供了一个更为通用的分布式处理模式，意味着为无数的分析场景打开了可能性。

 

　　数据的存储与计算是整个大数据里面最为中核的平台，下面的数据也证明这点。 我们看看目前大数据市场已经IPO以及被投资比较多的公司：

 

　　IPOTableau(市值55亿)，可视化Qlik(市值26亿)，可视化Tibco(市值39亿)，可视化Splunk(市值67亿)，日志分析Hortonworks，HadoopMost fundedCloudera(融资1040M)，hadoopPalantir(融资950M)， 分析平台Mongodb(融资311M)，NoSQLDomo(融资250M)，云BIMu Sigma(融资195M)，大数据服务Datastax(融资190M)，NOSQLMapR(融资174M)，HadoopHadoop发行版Cloudera的投资已经超过10亿美金，即使按照市盈率10计算，其市值已经将近100亿美金!Hortonworks也在2015年正式IPO。Cloudera，Hortonworks，MapR的三架马车格局胜负已分，Cloudera是当之无愧的领头，MapR估计往后的日子越来越难。

 

　　另外一个投资重点就是NoSQL数据库，MongoDB和Cassandra(datastax)成为NoSQL市场的事实垄断者。 加上各厂商在2010-2011年大肆收购的MPP数据库，Greenplum，Vertica，Neteeza，Aster data，数据存储和计算平台基本格局已经确定，Hadoop/Cloudera 和NoSQL/MongoDB是目前胜出的两匹马。

 

　　这三条赛道基本跑完主赛。

 

　　传统的IT厂商对关键的基础平台是必争之地，在BI里面数据管理的数据仓库占150多亿，占软件收入的将近一半。但是开源完全打破了这种模式，由于Hadoop和大多数NOSQL本身是开源的，所以不太可能继续采取高溢价方式销售，大多数厂商已经接受了Hadoop发行版不可能赚大钱的现实，2014和2015年里，Intel、HP、微软等都纷纷放弃自己的发行版和解散研发团队转而依赖于Hortonworks 和Cloudera。大家都意识到，最后会像红帽和SUSE，剩下两家做开源发行版的小厂商。而MongoDB和Cassandra是NOSQL里面最后能存活下来的。

 

　　看似机会无限的大数据，对于大厂商而言却像异常难以把握的泥鳅，大家都不得不忍痛放弃至关重要的数据平台。甚至连最后本来还想坚守的MPP，等到Pivotal把Greenplum开源，把这块彻底打碎，所有大数据的数据管理和处理层都完全开源，守无可守。原来数据仓库的巨头Teradata的市值已经蒸发几十亿美元。

 

　　至此为止，最重要的数据处理层基本完成主要投资，大局已定。新出现的Spark是目前这里唯一最大的变数，但也很容易被Cloudera这些厂家吸收进其发行版，Databricks似乎寄望于云能够帮其突局。

 

　　大厂的失守，对于小厂商来说是绝佳的黄金机会。2013年以来，慢慢很多企业开始逐步采用Hadoop，银行、电信等大行业开始有大量早期的创新项目单子出来，早期的采用意味着实验性质为主，大量的定制化，开源也意味着需要大量的服务，于是一大堆没有特别大技术含量，但是做大数据项目的公司如雨后春笋，大量涌现，大家看到现在中国市场有这么多的大数据公司很多本质上就是这个大背景下起来的。 这是个前途无量的市场。

 

　　2014年Hadoop的订阅及专业服务市场约6亿美金，2017年预计增长三倍到17亿美金，NoSQL在2014年约4.5亿美金，到2017年约17亿美金，复合增长率超过40%，而软件及软件服务的收入仅占项目成本里面的10%，还有大量的硬件及实施的费用。

 

　　应用碎片化之困前面谈到，大数据的勃发是因为新的数据存储和处理技术的出现，至于说这项技术到底能给业务带来什么商业价值，需要去重新探索。于是各个行业涌现无限的垂直行业分析的，日志分析、医疗分析、金融分析、安全分析、电信分析、教育分析、能源分析等等。但是不幸的是目前还没有发现太多杀手级的应用。
第四十一届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。