首页 > EA > 正文

大型流程工业集团级生产数据平台的应用探讨

2014-05-10 11:12:00  来源:万方数据

摘要:生产数据平台主要涵盖两类的数据,一类是流程数据,即常说的模拟量和开关量,如现场的温度、压力、流量、转速等数据;另一类是关系数据。
关键词: 数据平台

    什么是生产数据平台


    顾名思义,生产数据平台是将生产企业各类数据统一到一起的软件平台。


    生产数据平台主要涵盖两类的数据,一类是流程数据,即常说的模拟量和开关量,如现场的温度、压力、流量、转速等数据;另一类是关系数据,例如设备参数、生产工艺配方、生产成本等;早期观点认为生产数据平台只包括第一类的数据,但是随着各行业数据应用的逐步深入,发现第二类数据 和第一类数据在某些应用中是不可分割的,因此现在主流认知是将这两类数据都包括到生产数据平台的概念中来。注:流程数据和关系数据的数据存储方式和使用方法都有比较大的差异,本文侧重介绍流程数据使用的讨论。


    流程行业生产数据平台的发展历史及现状


    自二十世纪九十年代开始,实时/历史数据库的概念开始进入到我国的工业领域,首先应用到了石化和电力行业。起初是为单套控制系统配套的历史数据存储,或为一些特定的系统提供历史数据支持;


    进入二十一世纪后,这些行业都从单装置数据的使用逐步形成了厂级数据平台的概念;随着这些行业信息化的进一步发展,集团化和集约化发展方向更加明显,对于数据平台的要求又达到了新的高度,即全集团将各下属企业的大量数据统一到地区甚至全国的数据中心,进行统一的应用和分析。


    流程企业生产数据平台的基本功能


    为了讨论当今大型集团化企业需要什么样的生产数据平台,让我们先来看一下流程行业数据平台的基本特点和功能:


    流程行业数据的特点


    1)数据变化快:流程行业数据大多是自动化系统自动采集的温度、压力、电压、电流、流量、转速等高速变化的数据,数据变化的频率达到秒级甚至毫秒级;


    2)数据量大:流程行业的生产装置大都会关联大量的数据,例如一座百万级燃煤发电机组大概会有3万个以上的测点,而一套90万吨乙烯装置也至少要有5万个以上的测点;


    3)数据结构简单,基本只有时间和测点名称两个维度:这两个维度属性加一个实际的数据值基本就构成了一条完整的数据记录,使用点名和时间就可以完成数据检索,而不像关系数据库的记录具有大量的维度和关联信息;


    基于以上特点,流程行业的生产数据平台应具有以下基本功能:数据采集功能


    1)具有标准通讯协议的系统的数据采集:


    自动化数据采集使用例如Modbus、OPC等标准协议,由于OPC协议在自动化行业的普及和成熟,主流自动化厂家基本都支持OPC协议进行数据通讯,方便而高效;


    2)对各类使用关系数据库的生产系统的数据采集:


    工厂除自动化系统外,还有一些生产管理系统需要同生产数据平台进行数据交互,例如EAM(资产管理系统),MES(制造业执行系统),一些大厂家的这些系统已经和主流的工业数据库有标准接口进行数据交互,也就是说只需要在这些系统中对测点和工业数据库中的测点对应做一些配置,系统就会自动完成两个系统间的将数据交互;其它的使用OLEDB或者ODBC通讯方式进行数据交互即可;


    3)其它数据采集


    对于各类非标数据,现在市场上成熟的工业数据库产品大都提供方便的数据采集方式,如在某Excel表格中手工录入,或者导入到指定格式的文本文件,由工业数据库自动采集,或者使用工业数据库厂家提供的API和SDK写入到数据平台系统。


    数据存储功能


    数据存储好比于一辆汽车的动力总成,是整个生产数据平台的核心,主要是靠工业实时/历史数据库来完成,因为介绍工业实时/历史数据库的资料比较多,本文不做太多赘述。


    数据使用


    数据平台中的数据使用方式有如下几种:


    1)数据平台软件自己的查询分析软件


    大部分数据平台软件都有自己比较完整的客户端软件,如组态展示软件,报表制作软件,网络数据展示客户端等;此类软件的特点是支持数据量大,数据刷新快;


    2)使用数据平台软件厂家提供的专有通讯协议进行应用程序开发


    客户使用实时/历史数据库厂家提供的API和SDK自己开发一些应用程序读写数据,满足大规模数据查询分析的需要,甚至自己编写数据采集接口;这类协议通讯的特点是,速度快,通讯量大。


    3)使用标准的通讯协议进行系统间数据交互


    数据平台厂家一般都提供标准的自动化协议,如OPC协议等,方便其它系统的数据使用要求,另外对于以关系型数据库为基础的系统,如SAP,EAM,MES系统等,用户可以通过OLEDB和ODBC接口编写SQL语句或者存储过程实现数据的交互;


[page]    企业级数据平台的典型结构


    企业级数据平台的典型结构如下:


    分布在厂区各生产单元或多套生产单元使用一个接口工作站从控制系统(或其它数据源系统)采集数据,这些接口工作站将数据通过局域网发送给厂级实时/历史数据库,然后上层的各类数据分析和使用系统以及数据查询分析客户端都从厂级中心数据存储服务器读取数据。

图1 功能应用

    注:本图为功能示意图,所有图元的数量都不与实际对应,例如控制系统的种类、接口工作站的个数、数据存储服务器的个数等;所有图元的功能也不考虑冗余配置的需求,只侧重于功能应用的讨论。


    集团级数据平台实现方式


    集团级数据平台几种主要构架方式:


    单层结构的集团级数据平台


    对于下属企业比较集中且个数不多的集团,可采用此类结构,下属企业分别使用自己独立的数据库:集团用户和下属企业用户都使用处于数据相同层级的客户端软件和访问方式访问下属企业的数据库;


    优点:这种结构的优点是架构稳定,各下属企业都有自己独立的数据库,这些下属企业的客户端使用企业内部局域网访问自己所属企业服务器时讯稳定、速度快;


    缺点:缺点是总部客户端需要访问多个不同的下属企业的服务器,数据容易混淆,且综合分析不方便,如果连接到下属企业的网络不稳定,会影响总部客户端的使用。集团采用统一的数据库:集团用户和下属企业用户都使用处于数据相同层级的客户端软件和访问方式访问总部唯一的数据库,结构如下图:

图2 单层结构的缺点

    优点:这种结构的优点恰恰是第一种结构的缺点,总部客户端只需访问总部的服务器,数据稳定性和速度都可以得到保证,且数据源单一,便于整个集团的数据一致性,投资较小。


    缺点:数据接口服务器需要放置在各下属企业,如下属企业与总部的连接不稳定或者带宽不够,容易造成数据实时性差,稳定性差,且数据不能进行甄别,必须由接口服务器全部送到总部服务器,对网络带宽要求高;下属企业的客户端访问总部服务器也会有类似问题,实时性和稳定性会受网络的影响较大。


    多层结构的集团级数据平台


    适用于下属企业较多,数据相对集中的集团,多层结构的应用方式是把所属企业数据平台(包括数据采集和数据存储)作为下属单元,把这些数据平台当作数据源,总部再设置一层(可多层,如地区级总部,全国级总部)独立的实时/历史数据库,结构如下图:

图3 多层结构

    优点:集团总部和各下属企业的服务器数据及应用都相对独立,互相干扰性小,且下层数据服务器可以作为上层数据服务器的数据备份,数据健壮性好;


    缺点:投资相对较大,如果集团规模较大,上层服务器的点数规模也较大,对硬件软件要求都比较高。


[page]    基于云结构的集团级数据平台


    对于数据点分散且多,底层总数据量大的企业,以中石油为例,既有分布在全国甚至全球的油井,炼油厂,又有各地多个终端销售机构,如此分散的空间布置,如果采用多层结构的数据平台模式,单点的软件部署数量过多,成本太高,且对于总部服务器要求高(单服务器数据存储数量太大,只能选择上传部分数据);因此考虑基于网络云技术,实现云结构的集团级数据中心;


    在这种结构中,各下属企业根据规模大小和地域分布灵活的采用独立服务器和分布式服务器的方式;例如相对分散的油井则只在现场布置前置机采集数据,数据的存储和分析功能使用云技术放到一台或多台在这个区域中的数据服务器中,然后将这些分布在广域位置的分散服务器使用云技术与总部服务器连接;云技术将相同的数据存储在多台PC或者服务器上面,实现数据的云备份;如果用户提出检索或者计算需求,云技术也会把这种检索和计算功能分散给多台PC或者服务器来执行;根据云技术的特点,总部不需设置巨大的集中服务器,集团内所有的PC和服务器都可以虚拟成一台大的数据服务器,所有数据的检索和分析都在这台虚拟的服务器上完成,结构如下图:

图4 云技术应用

    优点:使用云技术,可以将传统服务器的功能分担到多台甚至上百台PC机或者服务器上实现,备份功能和数据分析计算功能增强,系统健壮性和稳定性也大大增强;对于集团的用户,既可以使用传统的查询方式访问采用单一服务器企业的数据服务器,保证数据的实时性和查询速度,也可以使用云检索技术查询整个集团的全部数据,大大提高数据检索能力和巨量数据的计算能力;因为基于云技术,实际的数据存储已经与物理结构关系不大,系统扩充和升级非常简单易行,硬件的维护升级影响和费用都大大降低。


    缺点:项目施工复杂性增强,对维护人员的要求较高;前期投入资金相对较大。

图5 云结构的多层虚拟库

    流程行业生产数据平台未来展望


    系统集成能力的提高


    随着工业自动化和信息化技术的发展,怎样以工厂应用模型为基础,和数据平台有机结合,使用户可以方便的根据工厂应用模型访问与之相关的数据信息,而不需要关心这些数据的存储位置和查询方法,是生产信息数据平台需要提高的一个重要课题。


    同其它工业系统无缝的集成能力进一步加强:生产数据平台作为整个企业的数据存储的平台,越来越多的生产管理信息系统需要同它进行数据交互,要求数据平台拥有更方便易行的、标准的数据交互方式。


    分布式服务器和云技术的应用


    目前,绝大多数工业数据库产品主要还是单机或者多机冗余结构的构架,不能实现多台服务器之间真正的资源共享,使用新技术或云技术将多机的服务程序统一到一个虚拟的服务器,在这种真正的分布式服务器结构下,多台服务器或者普通PC就可以承担更大规模的系统应用,点数规模也可以由现在的几十万点扩展到几百万点甚至几千万点;将极大的提高大数据的存储、分析、计算和查询能力,迎接已经到来的工业大数据时代;


    网络和移动终端的应用


    目前生产数据平台的软件产品已经可以使用B/S和C/S结构,但是因为数据的使用效率,对实时性要求比较高和通讯数据量比较大的应用,还是以C/S方式为主;但是随着网络技术的发展,云计算革命的兴起,由C/S结构为主的应用方式将会逐步转向以B/S的应用方式为主,除大部分个别应用需求,绝大部分的客户端功能都应该在WEB客户端上加以实现;


    另外,随着移动互联网概念的兴起,移动终端设备越来越多的介入到生产管理中,生产数据平台对移动终端设备的支持以及和安装在移动终端上的其它系统的数据交互必将成为未来发展的方向和重点。


    跨平台性应用


    在流程工业领域,还有许多系统采用Unix或Linux等操作系统,怎样提高这些系统同数据平台的数据交互能力,也是未来数据平台需要考虑的重要一环。



第三十四届CIO班招生
北达软EXIN网络空间与IT安全基础认证培训
北达软EXIN DevOps Professional认证培训
责编:fanwei

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。