行业数据治理发展趋势与挑战简析

2022-07-27 15:47:06

作者:徐建峰

近年来,数据的重要性与地位不断强化提升,国家围绕数字经济、数据要素市场等作出了一系列战略部署,大数据已经被定位成推动经济转型发展的新动力、提升政府治理能力的新途径、重塑国家竞争优势的新机遇。
 
数据作为新型生产要素的战略价值被越来越多的企业所认同,各行业大数据应用逐步深入,但现实中大量数据资源还没有得到充分利用。加强数据“高质量”治理是促进数据“高价值”转化的基础条件,是激活数据要素潜能的关键支撑。数据治理通过对数据资源及其应用过程中的相关活动、绩效和风险进行管控,能够有效保障数据及其应用过程中的运营合规、风险可控和价值实现。
 
因此,越来越多的企业将数据治理作为数字化转型的核心工作,数据治理正在迎来新的发展机遇。本文梳理分析了近年来数据治理政策、各行业实践与专业理论技术等方面的趋势与挑战,可以为了解数据治理趋势变化、增强数据治理意识、优化数据治理咨询和解决方案服务能力提供一些参考。

一、国家政策驱动数据治理快速发展

数字化发展顶层规划,推动数据治理走向千行百业

国家十四五规划纲要第五篇明确提出了“加快数字化发展,建设数字中国”,要迎接数字时代,激活数据要素潜能,推进网络强国建设,加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革。
\
 
由此可以预见,大数据将在当前基础上继续深化应用,对社会治理、经济生产与日常生活产生巨大影响。数据的“好与坏”将直接作用于我们生产生活的方方面面,只有清洁准确一致全面的数据才能支撑高质量的决策、高水平的管理。因此数据治理必将走入千行百业,成为企业的“必修课”。

数据纳入生产要素,提升数据治理价值与发展空间

2019年中共中央十九届四中全会《决定》首次提出将数据纳入生产要素,此后 中央和各级政府先后发布多项政策文件,围绕数据要素发展进行谋篇布局并逐步细化,包括中共中央国务院《关于构建更加完善的要素市场化配置体制机制的意见》、中共中央《关于加快建设统一大市场的意见》等。这些政策发文着眼促进市场经济发展、深化国家社会改革,站位高、立意远,远远超出了信息产业一隅,将数据与土地、资本等要素并列,极大提升了数据的价值定位。在政策制度细化建立的同时,各省市纷纷成立数据交易所,探索数据流通机制与方法。数据作为无形资产上市流通、开展市场化交易不再遥不可及。
 
要实现数据要素的外部流通,企业内部必须有一整套数据治理机制,将内部数据资源提炼为数据资产,进行完善的管理。数据不再只是IT系统的副产物,数据治理也不再只是单纯的成本消耗活动,对数据资产的有效管理可以直接创造价值,会有越来越多的企业将数据治理重新定义成生产活动。

数据安全问题凸显,促进数据治理成为合规基础要求

《数据安全法》、《个人信息保护法》的颁布,既是国家面向新时代基于国家安全战略的提前布局,也是针对大规模数据泄露问题频发,健全数字世界法治根基的现实需要。2022年6月22日,中央全面深化改革委员会审议通过《关于构建数据基础制度更好发挥数据要素作用的意见》。会议强调,数据基础制度建设事关国家发展和安全大局,要维护国家数据安全,保护个人信息和商业秘密。要把安全贯穿数据治理全过程,守住安全底线,明确监管红线,加强重点领域执法司法,把必须管住的坚决管到位。
\
实现数据安全需要基于数据意义与价值进行全局的体系规划,只有进行完善的数据治理,才能盘清数据家底、理解数据含义、掌控数据脉络,通过数据分类分级识别重要敏感数据,在数据全生命周期采取合理措施进行安全防护。可以说,开展数据治理是满足数据安全的基础要求。

二、行业数据治理需求快速增长,实践不断深化

数据治理成为数字化转型核心工作

从数字化建设基础好的行业实践来看,数据治理已经成为政府、金融等行业数字化转型的核心工作。
在数字政府建设中,各省数字政府建设规划、十四五规划都把数据纳入重要环节。2022年6月,《国务院关于加强数字政府建设的指导意见》明确提出要坚持数据赋能。建立健全数据治理制度和标准体系,加强数据汇聚融合、共享开放和开发利用,促进数据依法有序流动,充分发挥数据的基础资源作用和创新引擎作用,提高政府决策科学化水平和管理服务效率,催生经济社会发展新动能。从各省市政务大数据建设实践来看,普遍都在实现数据共享交换的基础上,向数据源头治理、数据服务创新、数据要素流通迈进。部分省市更是在数据治理上勇于创新,《广东省首席数据官制度试点工作方案》提出“以推进数据要素市场化配置改革为契机,试点建立首席数据官制度,明确职责范围,健全评价机制,提高数据治理和数据运营能力”。随着全国一体化政务大数据体系建设的推进,数据治理将成为数字政府建设的重要基石。
 
在银行业,数据治理已经是满足政策要求和合规性要求的必备条件,超过80%的银行将数据治理纳入了公司治理范畴,将数据治理提升至战略发展高度。2018年5月,银保监会发布了《银行业金融机构数据治理指引》,指导各银行开展数据治理。2021年9月银保监会发布的《商业银行监管评级办法》进一步将“数据治理”直接纳入了银行评价体系。通过积极有效的数据治理,促进数据在客户、渠道、产品、风控、运营等方面的价值挖掘和使用,银行提升了经营管理效率和风险防范能力。

 

数据治理与行业融合加快,进入更多生产领域

随着各行业数字化转型加速,研发设计、生产制造、营销服务、调度控制、经营管理等业务环节的数字化程度越来越高,数据治理也进入了更多的业务生产场景。2020年9月,国务院国资委发布《关于加快推进国有企业数字化转型工作的通知》,央国企加快集团数据治理体系建设,加强生产现场、服务过程等数据动态采集,加快大数据平台建设,强化业务场景数据建模与数据价值挖掘。
 
在制造、油气、电力、轨道、公路等行业,IT(信息技术)与OT(操作技术)正在加速融合,数据是打通IT与OT的关键,数据治理成为刚性需求。以工业制造为例,IT域的企业资源计划(ERP)和制造执行系统(MES)中有企业的财务、客户关系、供应链管理和生产调度、质量管理、人员管理等业务数据,而OT域的可编程控制器(PLC)和监控与数据采集系统(SCADA)中有实时的工业设备运行状态和环境数据,IT数据与OT数据的准确一致打通可以实现自动化、智能化生产,为企业实现柔性生产、提高安全性、提升质量创造必要条件。经过有效的工业数据治理,数据质量提高,通过数据分析与建模,可以不断优化生产工艺,有效降低缺陷率,改善均匀性和重复性,大幅提升良品率。

行业数据治理复杂度与要求不断提高

随着各行业数据治理实践不断深入,企业对于数据治理的理解与要求也在不断提高。
 
首先,越来越多的企业已经认识到数据治理不是一次性工程、不是单纯的IT工作。数据从业务中产生、在系统中承载,要达到深层次、高水平的数据治理,需要业务充分参与、系统确保遵从,是一个非常复杂的系统工程。企业需要制定统一的数据战略,构建综合数据治理体系,运用专业的数据治理方法与工具进行持续管控。
 
其次,数据治理由单系统单领域走向跨系统全领域,开展企业级的数据治理成为打通部门壁垒、贯通业务流程的有利手段。特别是在一体化政务大数据体系建设和大型央国企集团数据治理体系建设中,跨层级、跨地域、跨系统、跨部门、跨业务成为显著特征,这对数据治理方法和工具都带来了新的挑战。
 
再次,丰富的行业场景产生了复杂的数据形态,数据多来源、多协议、异构化、多模态、高并发成为普遍现象,数据治理技术难度急剧提升。以传感器数据为例,具有设备多、测点多、频率高、吞吐量大、连续不间断的特点,光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用,毫米级的感知采集频率产生了海量的时序数据。以发电机组为例,根据IEC 61400-25标准,单个机组拥有上万测点,每秒产生传感器数据225K,每天数据量就达到了18G。海量的传感器数据带来巨大的存储成本,还存在衔接不连贯、标准不统一、数据不对齐、“脏”数据等质量问题,必须要有新的技术手段来实现数据治理。
 

三、数据治理服务能力仍有很大提升空间

数据治理专业理论体系初步具备,在行业实践中适配落地是难点

数据治理起源于西方。1988年麻省理工学院启动的全面数据质量管理计划形成了数据治理的雏形。同年,国际数据管理组织协会(DAMA)成立。2003年国际数据治理研究所成立,主要研究数据治理理论框架,与国际标准化组织合作对数据治理进行定义。2009年,DAMA发布数据管理知识体系指南,基本确定了数据治理的理论框架,2017年发布的第二版做了少量更新。
 
\
 
国内在2018年相继发布了《GB/T34960.5-2018 信息技术服务治理第5部分:数据治理规范》、《GB/T36073-2018 DCMM数据管理能力成熟度评价模型》等国家标准,为企业开展数据治理提供了指引。
\
 
数据治理是一项实践性很强的系统工程,涉及企业内组织、制度、流程、工具等各方面的协同配合。如何结合自身实际,匹配业务发展要求,做好数据治理落地,需要企业不断在实践中探索前行。
 
以华为公司为例,通过学习业界先进经验,经过10多年的实践,初步构筑了一套企业级的数据综合治理体系。在政策指引下,全公司统一流程、组织、IT平台,通过信息架构管理、数据质量管理两个核心抓手,基于主业务流开展综合数据治理,初步实现了纵横打通与数据清洁,数据对业务的促进作用正在不断显现。

\
 

数据技术快速发展,需要整合形成一站式融合方案

物联网等技术使得数据感知采集能力大大增强,多源异构多模态数据不断涌现,各行业普遍出现了数据融合处理分析需求,如结构化数据和非结构化数据融合、实时数据和历史数据融合、价值密集数据与价值稀疏数据融合。这些需求促使基础数据处理技术快速发展,如基于云原生的NoSQL数据库技术、基于Hadoop生态的大数据技术、基于MPPDB的分布式数据仓库技术和基于人工智能的自然语言与图像处理技术等。
 
在数据基础存算引擎之上,数据全生命周期管理与治理工具也在快速发展。为了实现数据的大规模应用,从数据产生、整合到消费的供应链中,数据集成、共享交换、开发调度、任务监控、服务封装、资产管理、目录管理、数据分析、数据可视化、数据开放等成为普遍需求。并且在数据流转的全过程中,还需要实现元数据、数据架构、数据建模、数据标准、数据质量、数据安全等全生命周期数据治理功能。
 
因此,迫切需要能够支持面向数据供应方、需求方、管理方、运营方、开发方、消费方等多方协同、多级管理的一站式数据平台解决方案。而在实践落地中,往往因为成本、资源、管理模式、使用习惯等因素,需要对方案进行裁剪,这样就不可避免会带来软件定制化。基于云平台的软件服务化融合模式是一个可行的演进方向。

 

四、结语

新一轮科技革命和产业变革方兴未艾,数据作为核心生产要素,其重要战略资源地位已日渐凸显。行业数据治理是加速数字化转型、发挥数据价值的关键,在新的政策需求与业务挑战面前,数据治理方法、技术有了长足进步。随着十四五规划的宏伟蓝图逐步推进落地,行业数据治理市场必将迎来更大发展,成为大数据产业的重要支柱。
参考文献:
《十四五大数据产业发展规划》,工业与信息化部
《大数据白皮书2021》,中国信息通信研究院
《大数据标准化白皮书2020》,全国信息技术标准化技术委员会大数据标准工作组
《华为数据之道》,华为技术有限公司
《GB/T 34960.5-2018 信息技术服务 治理 第5部分:数据治理规范》
《GB/T 36073-2018 DCMM数据管理能力成熟度评价模型》



本文作者: 徐建峰 华为中国政企产品组合解决方案销售部 部长
\



相关资讯

众邦银行首席信息官 李耀:打造数字化原生银行

2022-09-21

2022年度数据治理工程师(CDPA\CDGP)认证培训...

2022-01-25

大咖对话 | 李剑峰: 中石化以数字化转型引...

2021-07-27

"学思知行 走进榜样”系列活动之走进中石化完...

2021-05-26