随着企业数字化程度加深，数据分析赋能业务价值被高度重视，也为企业数据分析场景带来明显变化。一方面，数据分析场景日益丰富以及数据分析需求快速变化带来数据应用开发需求迅速增加；另一方面，数据分析工具多元化导致数据用户角色更复杂，如数据工程师、数据管理员、报表开发人员、运维工程师等。数据应用开发需求增长与数据用户角色的复杂致使企业数据开发、数据运维工作量以及数据应用交付协调难度大大增加。DataOps能服务于业务部门、大数据部门，提供敏态数据开发支持，优化数据生产者和数据消费者协作效率，成为解决以上问题的最佳方案。

2月9日，爱分析正式发布《2022爱分析·DataOps厂商全景报告》。爱分析综合考虑企业需求、关注度等因素，选取其中3个特定市场进行重点分析。本报告面向金融、制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人和业务部门（业务部门ITBP），通过对各特定市场的需求分析和代表厂商的能力解读，为企业厂商选型提供参考。

覆盖市场：

一站式数据开发管理平台、敏捷数据管道、智能数据资产目录、指标中台、数据可观测性平台

评估厂商：（按首字母拼音排序）

爱数、谷云科技、火山引擎、科杰科技

注：本文为报告精简版，扫描下图二维码或左下角“阅读原文”，可下载完整版《2022爱分析·DataOps厂商全景报告》。

01

研究范围定义

在后疫情时代，以数据分析为代表的数据消费场景日益丰富，数据驱动业务增长成为市场共识，数据开发管理越来越受到企业决策者重视。

当前，各类管理信息系统、协同办公系统的应用，物联网和边缘设备的普及，都让企业端数据采集和分析的场景变得越来越多，数据驱动的场景从当前集中在前端的营销、销售环节，正在向后端供应链的全场景延伸，从与消费互联网紧密相关的零售电商向金融、教育、医疗、工业等全行业覆盖，数据消费场景的丰富和分析需求的快速增长导致数据应用开发需求迅速增加。

金融、零售等行业头部企业纷纷成立独立的数据管理部门，在数据开发与管理方面的投入明显增加。建设银行、民生银行、兴业银行等金融机构通过新建数据管理部门来实施大数据战略，快速释放数据生产力，实现数据资产的集中管理，聚集数据人才，深度挖掘与共享数据资源，从而利用数据驱动全方位支持业务发展。

尽管对数据的需求和投入不断增大，但在实际管理和应用时企业仍面临诸多挑战：

企业内部数据管理的协作成本越来越高。一方面，数据分析工具多元化导致数据用户角色更复杂，企业内现在设置了如数据工程师、数据管理员、报表开发人员、运维工程师等多个职位，反而容易造成职责边界交叉模糊，协作困难。另一方面，IT部门、数据部门和业务部门之间难以建立起紧密的融合关系，数据部门相对弱势，难以推动业务部门主动用数，整体数据应用效率较低。

单个环节的自动化无法解决全局问题。尽管企业在数据开发、数据治理等单个环节采购了相关的工具或平台，实现了局部的自动化，然而仅仅能解决表面问题，无法真正解决全局需求。难以建立覆盖所有业务的规范统一、集成互联的数据基础，从根本上消除数据孤岛，实现企业级数据集成整合、全面共享应用，提升企业大数据能力。

数据应用开发需求增长与数据用户角色的复杂致使企业数据开发、数据运维工作量以及数据应用交付协调难度大大增加。因此，企业需要一套全新解决方案，真正实现数据驱动业务增长。DataOps以其能服务于业务部门、大数据部门，提供敏态数据开发支持，优化数据生产者和数据消费者协作效率，成为解决以上问题的最佳方案。

在此背景下，为企业引入DataOps过程中提供全面的规划、建设和产品选型参考，爱分析调研并撰写了《2022年爱分析DataOps厂商全景报告》。

DataOps市场定义

图1：数据全生命周期

数据全生命周期包括三个阶段：首先，由业务部门在业务运行过程中产生原始数据；其次，大数据部门（IT部门）对原始数据进行数据加工；最后，加工后的数据再次回到业务部门完成数据消费。因此，在数据全生命周期中核心环节基本上由大数据部门（IT部门）完成。

大数据部门（IT部门）职责包括两方面：1）数据资产统一管理；2）支持业务部门的敏稳双态数据消费需求。

DataOps核心是面向于大数据部门的第二项职责，既满足业务部门稳态的数据消费需求，如数据报表、数据可视化、自助式分析等；也要满足业务部门敏态的数据消费需求，如机器学习建模、智能推荐等，敏态需求迭代速度更快，其中涉及到很多探索式需求。

DataOps市场定义：服务于业务部门（业务部门ITBP）和大数据部门，满足敏稳双态数据消费需求，提升数据加工环节效率的咨询、工具和服务。

图2：DataOps市场全景地图

基于数据全生命周期三大阶段，进一步将数据加工环节拆分为数据采集（数据同步）、数据开发、数据服务（数据虚拟化）和数据质量提升；将数据消费环节拆分为数据分析和数据应用。并根据每一阶段存在的业务需求，映射出对应的细分市场。

本次报告，爱分析认为DataOps全景图主要覆盖数据加工环节，具体来说，与数据采集、数据同步对应的是“敏捷数据管道”市场；与数据开发对应的是“一站式数据开发管理平台”市场；与数据服务对应的是“数据服务平台”市场、“智能数据资产目录”市场和“指标中台”市场；与数据质量提升对应的是“数据可观测性平台”市场和“数据治理”市场。

爱分析认为，甲方企业真正要实现DataOps，必须具备完整的数据能力，建设一整套面向业务需求的数据开发管理机制，仅仅具备单点能力是远远不够的。因此，上述对DataOps市场划分，主要是考虑到市场发展现状、甲方企业建设进展和厂商能力，并不意味着具备单点能力就可以实现DataOps。

爱分析综合考虑市场关注度、甲方需求和实际落地进展等因素，选取以下3个特定市场进行重点分析，分别是“一站式数据开发管理平台”、“敏捷数据管道”和“智能数据资产目录”。

本报告面向金融、制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人和业务部门（业务部门ITBP），通过对各特定市场的需求定义和代表厂商能力解读，为企业数字化转型规划与厂商选型提供参考。

厂商入选标准

本次入选报告的厂商需同时符合以下条件：

•  

  厂商的产品服务满足各市场定义的厂商能力要求；

   

•  

  厂商具备一定数量以上的企业付费客户（参考第4章各市场定义部分）；

   

•  

  厂商在特定市场的营业收入达到指标要求（参考第4章各市场定义部分）。

   

02

厂商全景地图

爱分析基于对甲方企业和典型厂商的调研以及桌面研究，遴选出在DataOps市场中具备成熟解决方案和落地能力的入选厂商。

03

市场洞察

1.DataOps市场规模超180亿元

爱分析推算，2022年中国DataOps市场规模为185.1亿元人民币，同比增速为13.0%。考虑到大部分DataOps项目甲方还是大型企业，立项和交付受疫情影响很大，2022年增速较2021年明显放缓，但预计2023年会40%以上的增速，市场进入快速发展阶段。

图3：中国DataOps市场规模预测

DataOps市场由软件产品和服务组成，现阶段整个市场并未形成统一标准和规范，绝大多数DataOps项目都是基于甲方企业自身需求进行落地，因此，软件产品占比30%左右，大量项目还是以服务为主。大部分DataOps项目是厂商提供核心产品组件，基于实际甲方需求，形成DataOps解决方案。

DataOps市场甲方以金融、制造、能源、消费品与零售等行业为主，主要是以集团型甲方企业和行业头部甲方企业为主，但两者对DataOps的需求略有不同。集团型甲方企业在实际开展数据管理工作时，已经深刻意识到数据管理与数据服务的挑战，正在寻求新的数据管理解决方案。行业头部甲方企业在数字化转型、数据能力建设处于行业前列，数据部门自身有很强烈的创新和探索意愿，愿意尝试更多新的技术方案。

2.DataOps是实现数据驱动业务的关键基础设施

DataOps概念一经出现，就会不断跟数据中台进行比较。爱分析认为，数据中台承载了企业实现数字化转型的长远愿景，DataOps解决了数据驱动业务的实际问题。

2019年至今，数据中台一直备受诟病，建设预期与实际结果之间的巨大落差是大量数据中台项目失败的重要原因之一。很多数据中台项目需求来自企业决策者，并非技术部门或数据部门，数据中台往往承载了企业决策者实现数字化转型的美好预期，不过数字化转型并非一蹴而就，企业在数字化转型中遇到的挑战也不可能完全依靠技术平台来解决。

数据中台建设虽然出现很多负面新闻，但持续数年的数据中台建设对整个数据智能市场发展还是起到了重要推动作用。第一，数据中台在实际企业业务开展中还是发挥了价值，数据驱动业务、数据驱动决策的理念深入人心，越来越多的企业决策者和业务人员重视数据的价值，将数据分析作为一项重要工具。第二， “数据统一管理与共享服务”等理念被大量企业的技术部门和数据部门所接受，越来越多的企业用这套理念来建设自身的数据开发与管理能力。

DataOps的需求多数来自于技术部门或数据部门负责人，解决的是企业开展数据开发管理工作的挑战。当越来越多的业务部门关注数据，基于数据分析来实现业务增长，对企业的技术部门或数据部门而言，最大的挑战是如何基于有限资源，最大化地满足多个业务部门的数据消费需求。

一味地增加人力和预算，并不能从根本上解决这一问题。以某头部互联网公司为例，其数据开发管理团队一度增加到千人规模，但依然无法满足各个业务部门提出的数据需求。技术部门的挑战一定要通过新的数据开发管理服务标准、流程和协作机制来解决，才能满足企业日益增长的数据消费需求。

爱分析认为，实现数据驱动业务在技术架构创新的同时，还需要关注数据与业务之间的协作机制、流程和标准创新，后者是实现数据驱动业务的关键，DataOps重点在解决这一问题。

3.DataOps考验厂商的产品架构能力

与数据湖仓引擎、实时计算引擎不同，DataOps并非技术架构创新，而是产品架构创新。性能是DataOps项目建设的重要指标，但并非最核心指标。大部分DataOps建设面临的问题是，如何实现技术、数据和业务的融合，同时满足三方的需求。

第一，应用开发与数据开发融合。当前大部分企业的应用开发与数据开发还是分开，但越来越多应用都是数字化应用，基于数据驱动的应用，数据开发与应用开发呈现融合态势，如何在满足IT运维、安全等前提下，提升数据开发的效率是一大挑战，特别是集团型企业多数都有很强的合规要求。

第二，业务深度参与数据开发工作。当前业务和数据之间的协作并不紧密，自助式分析等数据分析工具兴起，让业务部门具备自助式数据分析和管理的能力，但大部分数据开发工作业务部门依然没办法深度参与，会导致很多数据开发工作并不能满足业务需求，特别是在当下业务快速迭代的背景下。

基于上述挑战可以看出，每个甲方企业在落地DataOps项目时，一定存在非常大的差异化，但背后要解决的本质问题会非常类似。对于DataOps厂商而言，需要从数据开发管理的全局出发，以终为始，在设计产品架构时要考虑到企业完整需求，才能够应对不同DataOps项目的差异化甲方需求。

04

市场分析与厂商评估

爱分析对本次DataOps项目重点研究的特定市场定义如下。同时，针对参与此次报告的部分代表厂商，爱分析撰写了厂商能力评估。更多厂商评估详情请扫描下方二维码，获取完整版PDF报告。

1.一站式数据开发管理平台

市场定义：一站式数据开发管理平台，是指针对整个数据加工链路进行数据的监控、管理和运维，实现数据质量持续提升。

甲方终端用户：

金融、制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人

甲方核心需求：

对甲方而言，核心是建立一套面向未来数据开发的机制，提升面向业务视角的数据开发能力，而不仅仅是实现数据整合。

过往，甲方更多是将数据整合和管理作为企业的阶段性目标和项目来完成，对数据如何应用、如何在业务场景中发挥价值关注度不足。在实践过程中，投入大量资源和人力，完成数据整合之后，“取数难”、“用数难”、数据质量低等问题依然存在，甲方还是无法发挥数据的价值。

因此，甲方真正需要具备的是一套完整的数据开发管理的能力，包含但不限于统一开发管理平台、面向业务需求的开发管理流程与机制等。

1）梳理流程，建立统一的开发管理机制。

•  

  在甲方现有流程中，应用开发和数据开发往往是分开进行，但考虑到越来越多数字化应用是基于数据驱动这一趋势下，企业需要考虑将二者融合。过去建设的数据中台尽管一定程度上能够支持报表、自助式分析等应用，但实质上仍未能满足支撑整个数据开发管理体系，无法满足越来越多基于数据驱动的应用需求，特别是以机器学习建模为代表的探索式应用。

   

•  

  随着企业数字化转型程度加深，数据管理和应用需求越来越迫切，很多甲方成立专门的数据部门处理数据相关的问题，并与IT部门和业务部门厘清职责边界，建立起协作关系，数据部门与IT部门、业务部门如何进行协作，内部需要达成共识并建立协作机制。

   

•  

  数据开发和管理的建设并非一蹴而就，而是一个长期的工程。在实际建设中，既要考虑长期方向与目标，与整个公司战略方向相适配，又要设置阶段性目标，让高层和相关部门感受到落地效果。因此，甲方需要明确数据开发和管理的实现路径，并设置阶段性目标。

   

•  

  对于金融等强监管行业，整个机制还需要符合监管要求。自数据安全法、个保法等法律法规出台以来，监管机构对数据安全审查加强，企业在数据开发和管理过程中要注意合规问题，审慎使用数据，提升数据治理水平。

   

2）搭建功能丰富、具备扩展性的开发管理平台。

•  

  经过多年信息化和数字化建设，绝大多数甲方已经具备一定数据基础，以MPP、Hadoop为代表的技术架构，以大数据平台为核心的数据开发和治理工具，因此，一站式数据开发管理平台需要兼容现有的数据基础设施。同时，随着业务的发展，未来产生越来越多的创新业务场景，平台需要有充分的扩展性以应对多元的需求，能够支持各类型业务场景开展。

   

•  

  平台需要围绕整个数据开发管理的需求，提供丰富的功能，并具备自动化开发能力。企业需要在这一平台上完成所有类型数据的开发和管理，覆盖数据加工全链路的监控、管理、运维等需求，具备对全域数据治理的能力。同时，为应对越来越多且时效性越来越强的开发任务，还需要利用自动化工具提升效率。

   

厂商能力要求：

•  

  厂商需要具备咨询能力和成功实践经验，能提供成熟的方法论。不仅提供数据平台的产品，还能够基于可复用的成功经验，针对客户的业务需求和内部建设现状指导实施落地；需要具备规划能力，能够设计一套适用于未来几年的框架，帮助数据部门、IT部门、业务部门能够达成共识，通过帮助客户梳理流程，基于数据产品调整组织架构并优化协作方式，提供完整的咨询服务；此外，还需要为客户提供建议，帮助甲方设置实现路径，并制定阶段性目标。

   

•  

  产品需要有较强的架构能力和可扩展性。需要具备解耦能力，采用模块化方式构建，能够单独拆分功能模块按需提供。在扩展性方面，需要能够适配企业内的其他生态，支持多种接口协议，已封测及对接多种软件或硬件接口调用等方式，能够快速满足企业未来的创新应用。

   

•  

  产品需要具备丰富的功能，能够覆盖数据加工的全流程，包括数据开发、数据治理、数据资产和运维监控等各个方面，能够提供多人可协作的项目空间管理，具备持续集成和发布的能力。

   

入选标准：

1. 符合一站式数据开发管理平台市场分析的厂商能力要求；

2. 累计在该市场服务客户数10家及以上；

3. 累计在该市场收入5000万及以上。

代表厂商：

北京火山引擎科技有限公司（以下简称“火山引擎”），是字节跳动旗下的云服务平台，将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业，提供云基础、视频与内容分发、大数据、人工智能、开发与运维等服务，帮助企业在数字化升级中实现持续增长。

科杰科技是一家数据能力构建商，核心技术团队拥有丰富的头部互联网企业云数据平台搭建及运营经验，致力于将成熟完备的数据底座产品与多业态复杂场景的最佳实践有机融合，为企业提供数据管理、开发挖掘、运维一体化的整套方案，助力企业快速构建数据能力，实现高度规范化、敏捷化的数据工作协同与数据应用创新。现已服务百余家 政府单位及金融、能源、汽车、零售等行业头部企业。

2.敏捷数据管道

市场定义：基于ETL、ELT、CDC、Kafka等方式，从多种数据源采集原始数据，经过数据转换，存储至数据湖（数据仓库)中，实现数据集成和标准化。

甲方终端用户：

制造、汽车、消费品零售、能源等行业的大数据部门负责人、IT部门负责人和业务部门（业务部门ITBP）

甲方核心需求：

甲方的目标是更加敏捷、自动化地搭建数据管道，并对数据管道进行统一管理和编排。

随着数字化转型的深入和数据消费需求的增加，甲方内部的IT环境和数据环境越来越复杂，数据集成工具越来越多，彼此难以融合，相互割裂运行，对运维和管理提出了很高的挑战。与此同时，数据管道的重要度越来越高，特别在业务部门对数据分析需求日益增长的趋势之下，越来越多的数据管道建设需求来自于业务部门。

因此，数据管道逐步从整个大数据平台独立出来，作为一个独立项目进行建设、运维和管理。以新消费、新能源为代表的行业，IT部门规模不大，但业务部门有很强烈的数据分析需求，敏捷、轻量、自助式数据管道建设需求日益增强。

1）数据类型和应用场景越来越多，对数据管道建设提出了更高要求。

传统企业面临的数据应用场景也更加多元，如BI报表、实时决策、基于机器学习的预测性分析等；同时，数据体量和多样性也在快速增长，随着物联网应用的落地，时序、GIS、图像、视频、文本等新兴数据类型大规模涌现。因此需要支持离线和在线场景，结构化、半结构化、非结构化等数据类型的数据采集。

2）业务快速迭代，敏捷搭建和自动化运维管理是数据管道建设的必备能力。

企业业务进行数字化转型，产生大量数字化应用，对数据分析、数据应用提出了更高的要求。一方面业务发展变化快，传统的ETL数据抽取、转换和加载工作量繁杂，单这一流程会耗费数周乃至上月时间，导致业务面临时效性之后，因此需要能够快速搭建数据管道；另一方面随着管道数量和数据量的迅速增加，数据管道的运维管理压力变大，人工运维的模式无法应对，需要更多自动化的工具。

厂商能力要求：

•  

  厂商需要支持多类型数据源，满足业务场景需求。同时支持离线和实时集成模式，满足ETL、ETL、CDC、Kafka等多种技术路线，支持常见的各类型数据源，满足各类型业务系统之间复杂的数据分发、推送、传输和共享发布。

   

•  

  围绕着运维管理监控，厂商需要支持丰富的工具链和较高的自动化程度。提供组件化的多种类型数据处理工具，支持相互衔接组合，以满足数据采集、数据转换、数据存储过程中的各种数据处理需求，并把重复的工作流程嵌入自动化，提升效率。

   

•  

  产品需要具备易用性。数据管道的使用人群不仅仅是IT部门，还有一部分业务部门的ITBP角色，因此根据不同使用角色的需求，需要支持通过拖、拉、拽等简单操作方式完成数据集成流程的构建和相关功能。

   

入选标准：

1. 符合敏捷数据管道市场分析的厂商能力要求；

2. 累计在该市场服务客户数10家及以上；

3. 累计在该市场收入1000万及以上。

代表厂商：

谷云科技（广州）有限责任公司成立于2017年，是国内最早一批专注于iPaaS混合集成中台研发的产品和技术解决方案提供商。公司专注于数据集成、服务集成、MQ消息集成、API管理领域，从底层开发框架入手完全自主研发，并基于统一平台自主研发了全线RestCloud系列产品，服务于零售、制造、金融、教育等行业企业客户，以及政府机构等各类组织。

3.智能数据资产目录

市场定义：面向业务场景，结合机器学习和知识图谱技术，实现元数据一站式、自动化管理，包含数据采集、数据血缘、数据标准、数据发现、权限管理、资产监控等。

甲方终端用户：

金融、制造、汽车、消费品零售、能源等行业及政府机关的大数据部门负责人、IT部门负责人

甲方核心需求：

业务与数据“脱节”是很多甲方当前面临的重要问题之一。一方面，数据开发部门对业务理解有限，导致整个数据开发过程缓慢；另一方面，不同业务之间的数据如何打通和融合，建立统一的数据标准，对数据开发部门来说挑战很大。以政府应急管理为例，数据来自于多个不同的委办局，需要以一套标准、流程和规范来开展工作，实现对安全隐患的排查、监督和管理，背后是对不同业务的数据表单、字段和指标的融合和统一。

针对当前快速、多变的数据服务需求，甲方的目标是基于现有数据资产目录基础上增加更多面向业务场景的标签和指标，实现数据部门与业务部门的连接，并同时具备自动化迭代能力，持续提升数据开发效率。

1）快速梳理业务、建立业务认知的方法论。

以业务为中心，解决“数据在哪里”、“数据谁负责”以及数据如何用等问题，识别出业务主责部门、相关核心业务系统的核心对象、核心数据，打通查数/取数环节、打通基础类数据和指标类数据的联系。这些问题需要有一套方法论，能够帮助数据开发部门快速开展工作的标准、流程和规范。

2）兼顾当前和未来需求的可扩展架构。

随着创新业务发展，未来会有越来越多业务部门纳入到数字化建设中，数据驱动业务渗透率持续提升，势必使得数据复杂度持续提升，如何能够兼顾当前业务需求，并为长期发展奠定基础，需要一套具备可扩展性的技术架构，能支撑未来的更丰富的应用需求，实现业务流程和场景智能化的提升。

厂商能力要求：

•  

  厂商需要满足对甲方业务理解能力，能够基于业务视角提供解决方案。基于厂商自身积累的方法论，快速从多维度业务视角理解业务表达的含义、关系和趋势，理解业务服务的对象、范围，厘清数据与业务、业务与业务之间的关系，建立起对业务的认知，从而指导数据汇聚和数据应用。

   

•  

  厂商需要具备较强的技术架构能力，产品满足自动化和扩展性需求。能够通过原生集成和扩展的方式连接全域数据，并结合机器学习和知识图谱等技术，实现自动编目数据、自动化数据和业务血缘，支持数据治理工作，并满足不断丰富的业务场景和数据应用需求。

   

入选标准：

1. 符合智能数据资产目录市场分析的厂商能力要求；

2. 累计在该市场服务客户数5家及以上；

3. 累计在该市场收入1000万及以上。

代表厂商：

上海爱数信息技术股份有限公司（简称“爱数”）成立于2006年，是领先的全域数据能力服务商。爱数以全域数据能力、统一架构和平台+生态模式，打造创新的大数据基础设施，通过AnyBackup、AnyShare、AnyRobot、AnyDATA、AnyFabric等产品覆盖全域数据的整合、治理、保护，实现数据资产化和知识化，与客户共创数据驱动型组织。依托自身强大的大数据基础设施，爱数已服务超40个国家、地区的27000+客户。

创作团队

李喆

爱分析合伙人&首席分析师

廖耘加

爱分析分析师

关于厂商全景报告

•  

  爱分析厂商全景报告面向数字化市场的甲方用户，由爱分析定期撰写并公开发布，为甲方采购旅程中的数字化规划、厂商选型等环节，提供决策依据和支撑。

   

•  

  报告提供所覆盖领域的数字化市场全景地图、特定市场分析与入选标准，以及入选厂商列表、代表厂商评估等研究成果。

   

•  

  甲方用户可以依据入选厂商列表，拟定潜在供应商名单，并通过爱分析第三方评估，了解厂商在特定市场的产品服务优势，选择合适的厂商进行选型。

   

注：点击左下角“阅读原文”，下载完整版《2022爱分析·DataOps厂商全景报告》。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。