首页 > 人工智能 > 正文

数据重用降低法规遵从成本

2008-06-04 09:13:27  来源:计算机世界

摘要:对于 IT预算趋紧的企业来说,法规遵从是一个沉重的负担。不过,企业可以通过建立数据仓库实现数据的重复利用,从而将这项负担转化为提升企业竞争力的机会。
关键词: IT治理 萨班斯—奥

    现在,企业的一大负担主要是提交法规遵从(或合规性)报告,提供大量翔实的历史数据。例如,新巴塞尔协议(Basel II)要求财务风险报告需包含至少7年的详细数据,而且在不久的将来还很可能要求提供长达11年的数据,银行提交的财务报告需要遵守《萨班斯—奥克斯利法案》等。提交合规性报告的好处不言而喻,但也给企业带来了负担,而充分发挥合规性好处的关键在于把与合规性相关的成本转化成可为企业带来竞争优势的资产。比如,重复使用合规性报告所需的数据来进行分析,帮助企业做出更好的决策,这种回报远远超出了审计员的合规性检查所能提供的价值。然而,要从数据的重复使用中获益,还有赖于一个架构清晰的数据仓库解决方案。

    多数据集市增加合规性成本

    企业在急于进行合规性检查时,往往没有意识到要为数据资产的重复使用建立清晰的架构,从而陷入数据集市(data mart)部署的误区。数据集市部署的首要原则是要针对特定业务流程的具体需求进行设计。数据集市中信息的内容和结构需根据特定目标在性能和可用性上进行优化。这种做法有时适用于有极高性能要求的分析应用,但是当物理结构或内容依某一特定目标过于定制化时,就可能阻碍数据的重复使用。

    这一方法的风险在于报告的每项合规性要求都会相应地产生一个新的数据集市,而各项合规性要求所需的信息没有得到重复使用,且数据集市也没有被利用起来去进行除建立这些数据集市所依照的合规性要求之外的其他分析。通常,报告的各项合规性规定要求必须提供的数据的重复率高达70%。这种情况极大地增加了企业的成本,为满足每项合规性要求,企业不得不在数据库中复制所需信息。这也造成了IT投资大大高出实际所需成本。

    更糟糕的是,多数据集市的部署将产生多个数据来源。数据复制将不仅使企业IT基础设施的开支增加,而且也将提高企业在统一多个报告的数据上所需的成本。如果一个企业有多个合规性报告,则有可能增加因数据源不一致而引起的审计与合规性成本。

    此外,为合规性报告部署专门的数据集市,也将很难把合规性所需的信息用于企业的其他用途。如果在部署数据集市时没有充分考虑信息资产的重复使用,则企业为增强竞争力而在数据管理方面所做投资的收益也将大为减少。

    建数据仓库重复利用数据

    一个更好的办法是采用创新的方法部署数据仓库。这样,在企业级数据仓库中,信息成为可重复使用的资产,基本的数据模型也不再针对某一特定报告或分析要求。这种基本数据仓库的设计不再以流程为重点,而是更加注重数据间的相互联系,这是跨流程业务的基础。

    出于性能方面的考虑,企业级数据仓库的设计可能会采用一些概括性和其他非规范化的处理,但仍保留了详细的历史记录,且不影响任何业务关系。由于在数据仓库设计中进行的任何概括性或非规范化的处理都必须对企业的业务需求有一定的了解,因此可以更为有效地重复使用数据。通过保留详尽的历史记录,可将企业级数据仓库中的信息方便地用于其他分析用途(其中某些用途甚至在针对合规性进行数据仓库的部署时尚为未知)。

    设计目标是将数据一次性导入企业级数据仓库,并满足多种用途,换言之,即一次存储,多次使用。这样,可以根据合规性要求把数据导入数据仓库中,积累起来以支持行业标准报告。但除此之外,这些信息还可用于其他分析用途。实现这一目标的重要前提是,配备一个企业逻辑数据模型(ELDM),作为对企业级数据仓库信息进行有效组织的框架。这种ELDM可确保信息的组织很好地满足多领域的分析用途。

    要注意的是,ELDM仅是一个框架而非详细设计,而ELDM的建立一般需要4个月的时间,理想情况下可能略少一些。把已有数据模型资产用于某个特定的行业(可从许多第三方厂商获得)并对其进行10%~20%的修改,比从头开始建立整个模型的效率要高得多。ELDM的详细设计应通过特定的项目(如合规性报告)逐步实施,以便为其部署打下基础并满足其细节要求。把ELDM框架作为起点可确保满足每个具体项目的详细要求,而且创建的数据资产可在其他的业务领域得到重复使用。

    事实上,数据清理、数据整合以及将数据导入到数据仓库所需开支占其建设总成本的比例一般为50%~70%。如果以精心设计的数据仓库方式将数据转化为可重复使用的信息资产,企业只需一次性支付上述成本费用,而在多数据集市的部署中则会产生多次费用。若通过部署单一用途数据集市来满足合规性要求,企业就得面临巨大的成本压力,且无法获得竞争优势。而另一方面,若采用企业级数据仓库,与合规性相关的投资就可转化为企业的信息资产,用于多种战略用途。

    一般来说,企业级的部署方案需要有整体的数据规划和适当的数据监管,要取得成功,企业必须站在整个集团的高度,而不是仅仅从部门的角度思考问题。此外,一个有别于数据集市的、可扩展的数据仓库部署方案也是至关重要的,通常说来,技术问题相对容易解决,而组织保证是能否取得成功的最大挑战。

    (作者宝立明为NCR公司Teradata数据仓库事业部的首席技术官,白硕为上海证券交易所的技术总监)

     案例研究上海证券交易所案例

    上海证券交易所成立于1990年11月26日。截止2006年8月31日,上海证券交易所上市公司的市价总值达到近3.8万亿元人民币,拥有800多家上市公司、200多个会员,3700多家个人或机构投资者,以及900多种各类型的上市证券。

    根据合规性要求,企业需提供最多达20年的详细业务记录,以进行与合规性相关的分析和报告。上海证券交易所不是仅仅把这种合规性要求看做一种成本负担。相反,通过对数据资产的重复使用,上海证券交易所成功地将这种合规性投资转化为其股东的巨大增值收益。

    除了将企业级数据仓库用于合规性目的之外,上海证券交易所还通过详细数据来实时分析每天的订单量、峰值与低谷等,对交易系统进行流量规划。该企业级数据仓库还可用于设计新的股票指数,如上证50指数(SSE50)和上证180指数(SSE180)。确定指数表现和变动情况需要大量的分析工作,而且至少每半年就需要对这些特征重新评估一次。此外,市场模拟和前景趋势都要利用来自企业级数据仓库的历史数据,借以了解市场行情及其变动。

    上海证券交易所还建立了创新实验室,利用企业级数据仓库的功能来增强其应对未来挑战的能力。该创新实验室所取得的技术创新成果包括: 对欺诈舞弊和内幕交易的实时监管、t+0对t+1股票交易类别的分析,以及基于股票指数定义的衍生品的创建。

 


第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。