4.1 应当是气象行业大数据中心

 

　　开展气象大数据工作，基础设施环境（即：气象大数据中心）的建设问题，是本文必须正面回答的另一个问题，因为海量数据的处理需要相当规模的存储和计算资源予以支持。

 

　　上文已述，气象大数据由“行业”和“互联网”两部分来源构成。笔者认为，气象大数据中心应当是以存储管理行业大数据为主要目标，即：气象大数据中心应当是气象行业大数据中心。理由如下：

 

　　气象行业大数据中的各类数据，都是由气象部门业务或管理系统产生，以服务于气象业务或工作为首要目标的。根据属地化管理原则，规范管理这些数据，并负责这些数据的社会化共享服务，是气象部门的职责。因此气象大数据中心所管辖的数据中，必须包含气象行业大数据。同理，由于气象互联网大数据中的所有数据皆非产自气象部门，同样根据属地化管理原则，气象部门没有职责和义务存储管理这些非气象部门产生的数据。

 

　　在目前数据量急剧爆发的背景下，轻率地将体量硕大的互联网大数据整体搬移到自己的属地后再进行处理，不是明智的举动。按照业界“算法找数据”的原则，应尽可能采用诸如与数据源拥有方建立协作联盟、租用对方一定规模基础资源等方法，达到在数据源近旁完成处理工作的目的，以减少海量数据整体搬迁所造成的高昂代价，并提高工作时效。即：对于互联网大数据的应用而言，应尽可能采取“就近处理”的方法；在无法就近完成所有处理的情况下，也应尽量设法采用“提取”的方法，将有用的信息从数据源中提取回自己的属地分析处理，切不可轻易采用“数据找算法”的陈规陋习，将数据源整体复制到自己的属地，除非万不得已。这方面的工作需要慎重筹划，以免被昂贵的数据搬迁和数据更新成本所压垮。

 

　　总之，由于气象互联网大数据与气象行业大数据相比，无论在规模上，还是在管理时段上都难以较为准确地预估，将其纳入气象大数据中心的管理内容之一，会对大数据中心的设计和管理带来一系列极其复杂的不确定因素。因此，气象大数据中心在建设和使用初期，应以气象行业大数据为主要管理对象，并在气象互联网大数据的应用中尽可能避免海量数据的搬迁。与此同时，大数据中心在设计和实际操作过程中可以预留一定规模的基础资源，为在极端情况下互联网大数据的载入和处理预留一定的管理空间和能力。

 

　　综上所述，第一，管理气象行业大数据是气象大数据中心的职责。第二，对于互联网大数据而言，大数据中心既没有义务、也应尽可能避免对其进行长时间管理。所以，气象大数据中心应当是气象行业大数据中心。

 

　　4.2 气象大数据中心的形态和分布

 

　　（1）气象行业大数据中心同时应当是气象云中心

 

　　就应用效果而言，在资源充沛且数据处于规范管理的前提下，数据的集约化程度越高，应用的效果越理想。因此，气象大数据中心应当是气象数据汇聚、规范化管理且资源十分充沛的数据中心。云计算中心是大数据中心最好的物理形态，大数据中心应以云计算中心为基础平台，这在业界已形成共识，气象大数据中心也不例外。所以，气象大数据中心应当是一个组织机构概念，逻辑上相对独立，而其实际的物理基础设施应当是气象云中心，是气象云中心上的一个具体业务应用。

 

　　需要进一步说明的是，对气象大数据中心的规模而言，其中的行业数据的增长规模处在气象部门掌控之中，基本上可以预估。但如果将互联网大数据的应用场景也考虑在内，预留可充分应对极端情况下互联网数据源大举载入时的支撑资源，由于数据源对象的未知性，其相应的规模是难以预先测算的，偏大则可能导致资源的长时间闲置，偏小则可能届时无法发挥支撑作用。较为可行的解决方案之一是采用专有云形式，即：选择资源规模大、公共安全措施完备、专业水平高、服务信誉好且价格相对合理的云计算中心，在其上长期租赁相应规模的基础设施资源作为气象云的基础设施，其中气象大数据中心的资源需求规模可基本参照气象行业大数据的存储管理规模来进行预估。与此同时，与该云计算中心签订相应的服务合同，承诺在气象大数据中心遇到特殊情况（如极端情况下海量互联网数据的大批载入）时，该云中心可及时扩充气象大数据中心的基础资源租赁规模，并在应用结束后收回这些临时租赁的基础资源。

 

　　（2）大数据中心的分布

 

　　笔者于前文已讨论过，未来的气象云中心最终将以1+2或1+3等数量有限、地理分布相对合理的形式长期存在【10】。且专有云较之私有云而言，是更为合理的气象云形态。限于篇幅，其理由不再重复阐述。

 

　　4.3 尽早开展应用研究工作

 

　　应及早开展针对互联网大数据在气象部门各领域创新应用的研究工作。目前这项工作在气象部门除个别先行单位（如公共气象服务中心）外，基本处于空白状态，是一片未开垦的处女地。尽早进行大数据基础知识和技能的储备，对工作的顺利开展有益无损。同时，应积极筹备组建相关的专业化团队，以期尽早具备如下能力：

 

　　数据资源发现能力：熟悉互联网上各种数据资源以及数据交易市场的业务动态，熟悉数据资产的价值评估，可在部门用户提出数据资源需求时，及时提供互联网数据资源的咨询服务，推荐合适的数据资源，以及资源的基本情况。

 

　　数据获取能力：具备在正常情况下，通过正规途径，以技术手段及时获取指定数据源中所有数据的能力。

 

　　数据分析能力：具备在收集互联网数据的基础上，针对应用目标以及数据源的特点，提出相应的分析模型，指导并最终完成对互联网数据的整理和分析，以完成应用目标中各项研究、评估和预测的能力。

 

　　数据算法实现：根据分析模型及数据源特点，形成数据分析处理软件，并完成数据处理。

 

　　分析平台：拥有分析模型建立、处理软件生成以及分析结果可视化展现的技术平台。

 

　　应适时成立相应机构（如：气象互联网大数据应用研究中心等），专门从事这方面的研究和应用工作。

 

第三十五届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。