首页 > 大数据 > 正文

再析气象大数据及其应用

2015-12-03 15:36:40  来源:CIO时代网

摘要:在气象部门开展大数据工作可在气象社会服务领域开拓出空前繁荣的新局面,并推动气象工作的创新发展,但气象大数据对提高预报准确率的直接贡献相对有限。
关键词: 大数据
  3、开展气象大数据工作的前提条件
 
  3.1 现有气象数据的梳理
 
  长期以来,人们普遍将气象观测数据及产品、以及少量的气象服务产品做为气象数据的全部,以现代信息化理论和实践来考量,这无疑是片面的。气象部门是一个整体,其有效运转除需要观测数据外,财务、人事、绩效、资产甚至设备状态信息等数据,都是不可或缺的重要信息资源,应当无一遗漏地纳入气象数据的范畴。事实上,由于长期以来对气象数据内涵理解的局限性,使得部门内对气象数据的关注点长期聚焦在气象观测数据,相应的规范标准亦多以观测数据为对象,其它类别的数据则所涉甚少,甚至没有涉及。这种不平衡导致了这些其它类别数据在管理上的各自为政、规格上的无章可循、信息间的彼此隔离、质量上的参差不齐、以及使用上的困难无序和低效。即便是长期受到关注的气象观测数据,存在问题亦不可忽视,以数据质量为例,众所周知,在周边环境未发生非气象因素改变的情况下,探测数据的质量直接取决于传感设备自身状态的正常与否。然而到目前为止,除气象卫星和天气雷达等高端探测仪器外,其它如地面自动气象站等,没有探测设备自身状态信息的获取途径,探测设备状态的判定需要依靠其所采集的气象要素是否合理、是否超出理论极限范畴等被动式手段来完成,于是出现两个问题:其一,对于真实的极端天气事件(如局地特大暴雨)数据,有可能因其数值超出气候极值而导致数据正确性的误判;其二,故障设备从开始发生故障到被检测出来的这段时间难以确定,从而导致这段时间内观测数据的质量无法保证。由此亦可推论,探测设备状态信息是相当重要的业务数据,但遗憾的是,该类数据至今既无相关标准,也未正式纳入气象数据的管理范畴【9】。
 
  需要指出的是,不少技术人士将所有气象数据纳入统一管理平台(如:Cimiss)视为气象数据治理的完成,这无疑也是片面的。事实上,如果上述诸如数据定义、数据分类/分级、数据分布、数据操作等诸多问题没有解决,气象数据没有经过科学的梳理和配置,所有气象数据在形式上的汇聚便起不到高效管理、有效应用和长期支持业务发展(包括业务变更)的作用【9】。
 
  3.2 气象数据的规划和治理
 
  要搞好气象大数据,首先要管理好做为气象部门核心资源的“气象行业大数据”(亦即所谓“气象数据”)。在此,一个极为重要的基础性工作--对气象数据的全面规划和治理--是无法跨越的。
 
  气象部门的所有各项工作中,无时无刻不充满着信息的产生、流动和使用。要使每个单位内部、单位之间、单位与外部门单位的频繁、复杂的信息流畅通,充分发挥信息资源的作用,不进行统一的、全面的规划是不可能的。气象数据规划,实质上就是气象部门的信息资源规划,是对气象部门日常运转所需要的各种信息,从采集、处理、传输到使用等生命周期各个环节的全面规划。其目的,是通过有效管理气象数据,实现气象部门内外数据流的畅通以及数据资源的有效利用,进而达到工作的流畅、业务的融合和整体的协同,从而提高气象部门的工作效率和效益。通过气象数据规划,可以梳理业务流程和管理流程,厘清信息需求、建立部门行业的信息标准和信息系统模型,并据此来继承、整合、优化、改进乃至再造业务流程及业务系统,从而积极稳步地推进气象大数据战略。该项工作的长时期缺位,已经给气象部门各项工作造成了十分被动的局面。
 
  在这里,气象数据规划是整体梳理、谋划和设计,气象数据治理则是具体实施执行。
 
  所谓数据治理,就是使气象数据自产生的那一刻开始,经历的采集、传输、处理、存储、操作以及质量和安全保障等生命周期诸多环节中的每一个环节,都处在一个统一、自洽、协同的规则之中,以使得气象数据这一部门和全社会宝贵资产始终处于正确有效的管理之下。换句话说,气象数据的治理就是治理气象数据的政策、方法、措施和具体落实。
 
  贯彻气象数据治理,除先进的理念外,还需要有配套的组织架构、原则、过程和规则,以确保数据管理的各项职能得到正确的履行【9】。
 
  气象大数据的工作形态就是数据资源的开发利用,做为良好的数据资源开发利用的基础,数据规划是纲领,而数据治理则是贯彻数据规划的具体进程。
 
  3.3 数据意识的逐步培育
 
  提高全部门的数据意识,是开展气象大数据的基础。
 
  数据是精准文化的核心,精准靠数据来表述。对创新而言,所有的成功都是小概率事件,唯有每一步都追求精确方才可能达到。同时,科学和精准使得思维逻辑得以严谨,以严谨逻辑表述的思维成果,确保了推理的可靠性,使后人可在前人思想成果的基础上进一步思考和拓展;严谨的思维成果成为可组织、可利用的资源,科学成果因之而得以积累,并最终发展成长。技术的精准和步骤的严谨使得成熟技术的品质更高,也使得这些技术得以方便地利用和重组,而成熟技术的再重组是科技创新的重要形态之一。此外,思维的严谨性还决定了人们科学研究的深度【3】。在信息时代,鲜见有采用粗放、笼统、马虎和粗枝大叶方式能够持久成功的事例。没有数据意识就没有现代科技,在全气象部门培养数据与精准意识已是当务之急,科学与精确应当成为气象部门的工作信条和文化素养,是实现气象现代化最根本的基础条件。
 
  3.4 必要的人才基础条件
 
  所有的工作,都是以人的思维成果而指导的。大数据技术只是众多工具中的一类,工具没有自行主动解决问题的能力,工具不可能解决连人都没有想清楚的问题,解决问题的办法必须靠人的思维;人想清楚了,则相应的处理流程可由信息系统重复运作,以提高工作效率【3】。如果一项工作,连人自己都还没有想清楚,则此时的大数据非但不能帮忙,反而可能会把事情搞得一团糟。因此,气象大数据应用的开展,人才条件是决定其成败的要素之一。
 
  具体地说,实施气象大数据应用,除上述几项基础工作外,在人才队伍方面还需具备以下2个基础条件:
 
  (1)建立起对应于大数据管理运营的数据管理中心的组织架构。没有一个相对完整和专业的数据管理团队,是难以发挥出大数据分析的功效的。
 
  (2)建立起一支精干的数据分析团队,并拥有一个灵活适用的数据分析技术平台。
 
  此外,开展气象大数据工作,可能会遇到许多意想不到的困难,如:算法和数据来源问题。如前所述,所有大数据应用的数据来源都是来自于互联网的替代数据,而由于数据源非针对该应用所采集,该应用所需要的内容可能同时存在于不同的数据源之中,且存在的形态和格式各异:同样是分析舆情,腾讯微信大数据和百度大数据的分析方法可能完全不同。面对不同的数据源,需要不同的信息提取算法。因此,合适的数据源和合适的分析算法,是开展气象大数据应用首先需要解决的问题。而气象部门在这方面,目前尚缺乏相应的专业人才和团队。因此,对于气象部门而言,利用他人的数据开展大数据应用,对可能面临的困难,需要做好一定的心理准备。
 

第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:pingxiaoli

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。