首页 > 大数据 > 正文

花小钱办大事:低成本提升数据质量

2012-06-15 10:47:41  来源:TechTarget中国

摘要:在改进数据质量过程中,企业通常会购买昂贵的数据管理工具。但是,在全球经济持续下滑的现状下,许多组织并没有足够资金购买和部署这些新工具。
关键词: 数据质量 数据管理

    在改进数据质量过程中,企业通常会购买昂贵的数据管理工具。但是,在全球经济持续下滑的现状下,许多组织并没有足够资金购买和部署这些新工具。


    然而,数据质量管理并不仅仅关系到技术。它还关系到人员和过程,而分析表明,通过关注这两个领域,许多组织完全不需要投入大量的资金,就可以实现显着的数据质量改进。以下是一些在预算较紧张的情况下提高数据质量的技巧:


    保证员工理解数据质量低下的影响。根据Gartner分析师Ted Friedman的观点,数据质量问题通常由人为错误造成。例如,呼叫中心员工拼错新客户姓名,然后将它填入客户关系管理应用程序,或者技术人员在填写发票表单时出现错误。


    随着这些错误通过工作流、电子邮件和文件共享散播到整个公司,数据质量问题会变得越来越严重。为了解决这个问题,Friedman推荐组织对员工进行定期培训,使之认识数据质量问题可能对业务运营产生的重大影响。


    Friedman说:“大体上,数据质量问题都是由于数据人员的疏忽造成的,他们并没有严格采用高质量方法进行数据录入操作。”但是,他补充说,如果让他们理解数据的重要性,以及他们的行为可能会对数据质量及业务价值产生的影响,那么“可能就会开始影响”他们处理数据的方式。


    通过业务过程弥补数据质量漏洞。另一种改进数据质量的廉价方法是检查一些重要工作流和业务过程。Friedman指出,许多组织经常会发现,有一些“数据质量漏洞”可以通过简单的方法弥补。


    这些漏洞可能存在于一些看似无害的手工过程中。他举例说,客户会通过电子邮件发送一个文件给销售人员,然后他会人工“修改这些数据”,将数据输入到业务应用程序中--这个过程可能会产生数据错误。


    Friedman指出,通过进行与数据质量相关的培训,您就可以为到达的信息设置和实施数据输入标准,从而避免出现这些错误。他建议,另一个改进数据质量的方法是,建立自动加载数据到内部系统的机制,“将人为干预从数据过程剥离。”


    投入资金进行数据质量技能培训。Friedman建议,如果一些组织不具备购买新数据质量平台的预算,那么他们可以考虑投入一些数据管理资金,对处理数据的业务用户进行关于质量技能和最佳实践方法的培训。


    他说:“您需要一些资源--有一些人已经掌握了方法。您需要一些真正理解企业数据流的人员,而且他们还必须理解业务过程使用数据的方式。”然后,这些员工可以协助对其他最终用户进行培训,让他们了解数据质量不佳的缺点。[page]
    学习其他的数据质量成功和失败的经验。在谷歌上搜索“数据质量案例”,搜索结果会包含无数的成功项目案例--通过这些案例,不需要任何费用就可以了解改进组织数据质量的技巧和方法 .


    当然,数据质量改进来源于数据质量问题,这些问题也很值得研究。


    数据管理与分析咨询公司Fitzgerald Analytics的创始人Jaime Fitzgerald提起了一个公司案例。其中,他们在各种系统中识别交易文件的文件出现了问题。这个问题源于一个非常简单的问题:在一个包含20%交易记录的系统中,B值“表示的含义与其他包含80%交易记录的系统完全不同,”Fitzgerald没有意识到它对公司的影响。他说,通过创建一个查找表,校正各个部分的数据值,最终他们把这个问题解决了。


    DBA参与。根据Friedman的观点,如果预算有限,那么在数据质量项目中配备一个合格的数据库管理员(DBA)是非常好的做法。他说,DBA可以编写查询,发现数据存储的模式--这些模式可能会发现数据质量问题的异常值或其他指标。


    Friedman说:“使用简单的SQL查询,就可以实现基本的数据质量测量和数据配置。”例如,DBA可以编写查询,分析数据库字段,生成一些统计信息,如最小值、最大值和不同值出现次数等。


    启动数据管理工作计划。Friedman还强调了为公司所有或各个业务单元指派一个数据管理员的重要性--他们能够理解数据质量问题,可以调解冲突,如特定词汇的意义或有疑问的文件命名规范。数据管理员一般来自组织的业务部门,可以作为业务与IT的联络人。


    他说:“我发现,只要配备了一些关注于数据质量的角色,许多组织就会从中得到很多受益--即使不增加技术或执行后续改变。”


    发现和清理最重要的数据。Fitzgerald指出,许多组织都错误地认为数据质量是一劳永逸的任务,但是它实际上是一个逐步累积的持续过程。他补充说,先关注最重要的数据,然后再逐步扩大范围,这样,企业可以在数据质量投入中获取很大的回报。


    那么,应该从哪些方面开始呢?Fitzgerald说:“但是,从另一个角度看,最重要的数据是能够产生收益的数据。”


    最后,即使对数据质量进行最小的改进,也需要考虑财务或商业问题。根据Friedman和Fitzgerald的观点,任何 数据质量管理方法(无论预算状况如何),都应该具备坚实的支撑条件。这意味着,数据质量团队必须确定测定结果的方法--例如,测试数据质量改进对于业务的影响。


    Friedman说:“您不能只是告诉大家必须改进数据质量,还必须进行测定,说明数据好或坏的方面,以及数据对于业务的影响。”


第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:zhangyexi

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。