数据中台的产生
都说数据中台将成为大数据发展的热点,企业、政府部门都在积极的探索,跃跃欲试建立数据中台的原因我们分析如下:
1、大数据潜在的价值还没有充分挖掘
大数据发展到今天,很多单位都建设了大数据平台,受制于原来的体系架构,但很多只是做到了数据集中存储,数据的深度挖掘还处于起步阶段,数据潜在的价值还远远没有被挖掘出来。
2、数据与业务融合度差,大数据对业务创新的支持明显不足
目前,很多大数据平台建设往往都是技术导向,在数据存储、计算、挖掘等技术能力上面建设投入大,但对业务支持的模型缺乏或者只是建设了部分固定模型,但业务最不需要的就是模型的稳定,一个数据模型如果一味追求稳定不变,一定程度就是故步自封,所以无法支持业务创新。
还有一方面原因是传统大数据平台,往往是对技术用户开放,而对业务用户、数据分析用户却不友好,导致懂数据的人却不能很好利用数据。
3、数据及数据模型重用不足
在企业内,虽然统一建设了大数据平台,但是数据应用方面基本是烟囱式数据生产模式或者是项目制建设方式,必然导致数据知识得不到沉淀和持续发展,从而造成模型不能真正成为可重用的组件,无法支撑数据分析的快速响应和创新。
曾经企业的数据抽取就有多份,报表一份、数据仓库一份、数据集市一份,无论是抽取压力、维护难度及数据一致性要求都很高。同时,统一的基础模型将相关业务领域的数据做了很好的汇聚,解决了数据互通的诉求,这点的意义巨大。
数据中台的目标是提升效能、数据化运营、更好支持业务发展和创新,是多领域、多系统的负责协同。数据中台是平台化的自然演进,让数据管理集中化,但数据应用去中心化,突出对能力复用、协调控制的能力,以及业务创新的差异化构建能力。
数据中台与数据仓库、数据湖的差异
接下来从计算存储、数据处理、数据源、数据组织、数据价值等几个方面,将数据中台与传统数仓库,大数据数仓,数据湖进行比较分析。
数据中台的价值呈现主要在三个方面:
1)建设面向业务系统的API服务;
2)面向分析人员的自主式分析服务;
3)面向业务用户交互式可视化。
数据中台的特点
从技术和业务层面分析了数据中台的特点。从技术层面,数据中台具有大数据量处理,横向扩展,实时分析查询,高并发处理,融合数据准备、存储、计算、挖掘、交互全生命周期技术等特点。在业务上具有“四化”特点,即数据业务化、数据标准化、数据服务化、数据自主化等。
数据中台是介于基础设施与应用层之间,中台做大,把数据及数据处理能力服务化,就会让应用层更加便捷。通过大量原子化服务,能够便捷的、敏捷的、快速组装出来新的应用系统,通过服务随时的拆装,组装,实现业务的创新。
数据中台架构
在数据中台的架构中,数据资源池重点是把各种各样的数据集合起来,重点考虑的是存储的可扩展性、性价比,以及查询性能;块数据融合中心在技术上考虑格式化数据据快速分析,并具备较高的并发能力,同时以领域、区域等角度建设块数据模型,解释条数据带来的数据割裂而无法深度分析的问题;另一重点是基于AI的敏捷分析平台,是数据服务平台、自主分析平台、决策支持平台的基础。
数据中台建设策略
而对于数据中台建设策略,要从价值牵引、模型有先、技术适用、用户参与、开放扩展这几个层面分析。对于数据中台建设中的难点,在于数据模型和数据服务。数据模型是分层次的:基础模型、融合模型、挖掘模型。
数据只有和业务的融合才能突显数据价值,所以数据中台建设中要重点建设物理层、模型层、分析层、应用层的可维护;数据的业务化,数据逻辑的集中,模型共享的重用以及用户/专家可以参与的自助分析。
而且从分析应用切入,自上而上,让数据中台的能力建设、数据模型建设、数据标准治理有的放矢,让中台的建设不再是黑盒子。
本期活动的精彩视频回放已经同步到CIO时代公众号与CIO时代APP,错过直播的朋友们,也欢迎大家观看回放。如果您想做客我们的直播间,可以随时跟我们联系。