理理大数据的脉络

2016-01-29 15:15:06 来源：36大数据抢沙发

2016-01-29 15:15:06 来源：36大数据

摘要：大数据的生意到底是啥?说白了就是数据分析(analytics)的生意，原来的商业智能(business intelligences)也是分析的生意，如果把原来的商业智能称为分析1 0，那大数据其实就是分析2 0。
关键词：大数据

　　先看看商业智能大数据的生意到底是啥?说白了就是数据分析(analytics)的生意，原来的商业智能(business intelligences)也是分析的生意，如果把原来的商业智能称为分析1.0，那大数据其实就是分析2.0。

　　先看看商业智能是怎么样一个生意。

　　商业智能的场景是什么呢?到底能给客户带来什么使得其愿意为技术买单。简单来说就是帮助企业实现KPI管理，就是为需要管理的企业流程定义关键KPI指标，销售额多少、库存量多少、合同数量多少啊等等，商业智能系统可以把企业的过程数据(例如实际的订单)转换为相应KPI，要是手工来做这个KPI统计，企业不知道要花多少资源和时间才能完成。这个有个高大上的名字，叫做Performance Management，或者Corporate Performance Management(CPM)。

　　这个需求场景几乎可以应用到所有企业，毫不费功夫复制到这个垂直行业，金融企业可以、电信企业可以、能源企业可以、零售企业可以，所有财富五百强的企业都要用，每个企业的运营人员都需要把握自己公司的关键流程。企业建设这样的系统的投资回报率无容质疑，市场需求是无疑的。

　　这对于产品经理来讲是个精美的产品模式，单一的模型、普世的刚需、海量的市场。

　　技术人员也开发了一套技术体系支撑这个商业需求。首先是数据管理。数据要从各个独立的系统CRM、ERP等汇聚在一个池子，才能够进行全局指标的计算，这个池子就是数据仓库(data warehouse)，汇聚的工具是数据集成工具(data intergration)。这里首先要解决的一个技术难题就是数据量比原来单一系统的大，需要解决这个问题才能谈得上分析，Teradata 还有IBM DB2 DPF就用了分布式(简单起见先用这个词)的架构解决这个问题。

　　其次是数据分析。技术人员发现，KPI的分析其实是个多维分析的问题，比如说在对销售情况进行分析时候，对所有的交易，从年份纬度看到底每年销售了多少，或者从区域纬度看各个省销售了多少，或者从产品纬度看哪个产品销量最大，就是对同一套原始数据从不同纬度进行统计分析。这个技术最大的难题就是数据量太大，分析速度跟不上，一个企业可能一年下来会有数十甚至百亿级别的交易，要对这些数据进行求和平均，极为耗时，有些甚至需要数小时，这样实用性不高。为了解决这个问题，就开发了一种预先计算的机制，把指标先计算好，需要看指标时候直接给指标。这些难题都解决完了，还有一个问题就是数据的可视化，把指标通过仪表盘的模式展现给用户。

　　商业智能产业链好，我们再来看看商业智能的整个产业链是怎么样的：

　　商业场景：Performance Management, 同时有一套corporate performance management 的理论和方法，如何选流程，如何指标化。

　　应用产品：CPM分析平台：BI平台(多维OLAP分析)数据平台：数据仓库data warehouse工具：数据集成、数据质量这块的软件市场约328亿美金(2014年)，是一个足够大的市场空间，加上硬件及服务也能达到上千亿：

　　Analytic applications：21亿CPM suit：27亿BI Platform：89亿Data warehouse：约150亿DI&DQ：41亿——Source Gartner 2015我们看到，传统方式里，企业软件的赚钱模式是在平台，尤其是大平台，我们看到BI及数据仓库平台合计239亿美金，占比超过70%。

　　大数据平台失守商业模式的颠覆总是来自外部，和意想不到的领域。

　　上面把BI和报表基本划等号是为了简单理解起见，其实以前也不是没有复杂的数据分析产品，上面没有包含另外一个分析的细分市场predictive analytics, 其平台就是Advanced Analytics Platform，就是不仅仅做KPI报表分析，还做更加深度的数据挖掘(大数据分析的老祖宗)，SAS，SPSS这些厂家的产品可以做更为复杂的统计及模式发现等应用，但是这块一直发展不起来，仅仅约12亿美金的市场空间，主要是投资成本太高，也没有大量可复制的场景，仅仅在银行及电信领域应用比较多。
第三十五届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

责编：pingxiaoli

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。