首页 > 基础设施 > 正文

如何精简企业主存储上的数据

2008-05-06 14:02:44  来源:存储在线

摘要:重复数据删除消除多余部分数据的能力为备份储存和某些类型的档案存储带来了很大的好处。在备份数据方面,假设每周进行一次全备份, 120倍的存储效率并不鲜见。
关键词: 存储

    在过去几年,数据精简技术,如压缩和最近的重复数据删除,开始流行起来,尤其是在备份和存档中使用。这一趋势是否会延续到主存储?

    在备份中,特别是有大量的冗余数据时,有一个广泛采用的数据精简技术——重复数据删除。短短几年中,在数据中心里,重复数据删除已经从一个晦涩的术语变成了一个人所共知的词。重复数据删除消除多余部分数据的能力为备份储存和某些类型的档案存储带来了很大的好处。在备份数据方面,假设每周进行一次全备份, 120倍的存储效率并不鲜见。

    主存储是不同的

    不幸的是,移动重复数据删除到主存储并不是转移其位置这么简单。下面的提纲是主存储规划重复数据删除的特别要求:

    1、主存储性能敏感。主存储是积极的,如因执行重复数据删除而影响了生产环境的性能表现,是不能接受的。重复数据删除技术必须是高效快速的,它不能影响性能,或者它必须这样做出来的波段上的文件不会立即活跃。

    理想状态是:在近线存储产生数据备份时进行重复数据删除,消除了任何可能的性能影响。这种技术重复数据删除和压缩水平不同,所提供的效率也不同--重复删除的水平越高,数据读回时对性能的影响越大。如果能有一个足够快的内置系统--既能减少数据,又不不影响性能--是很好,但这种技术现在还不存在。

    2、主存储是独一无二的。缩减主存储的另外一个挑战是,数据是独一无二的。这和备份的情况完全不同。备份,特别是每天或每周一次的全备份,有较多数据冗余。而生产数据,尽管可能会有一些重复--比如同一个数据库的"额外"副本,但大多数情况下,数据冗余并不像备份或归档那么多。

    随着基于磁盘的归档和磁盘备份变得更加普遍,主存储的冗余数据更少了。过去,保存数据库或文件的额外副本的价值是 "以防万一"。现在这些副本,可以很容易地发送到磁盘归档或磁盘备份设备当中。

    注意:当前用户期望看到的存储效率提升20倍或更多,在主存储就不要想了。一个更现实的目标可能是3倍,最多5倍。

    3、主存储已经压缩过。此外,大部分的主存储的数据已经是预压缩格式。文件,如图片,媒体文件,和特定行业的数据集,是已经预先压缩过的。即使最新版本的流行的office应用也是预先压缩的。这些预压缩文件,往往代表了企业增长最快的最大的数据集。

    为应对生产数据的"独特性"和"预压缩",一个成功的主存储精简技术需要"挖的更深" 。内置的数据精简在备份和存档有明显的优势,但生产存储中,带外管理会更有效。

    在没有数据精简时间压力时,可以花时间研究复杂的复合文档,并从数以百万计的文件中找出相似的一个文档。这种方式可以花时间了解具体的格式--如J PG格式是如何存储的,如何嵌入到另一个文件的(例如,P o werPoint简报);数据精简如何对原始数据及其嵌入状态进行最佳优化的。

    4、主存储越来越便宜。重复数据删除的最后一项挑战,就是不断降低的磁盘价格。最后终结HSM 和ILM的可能会是主存储数据精简的落实。随着顶级存储制造商开始生产1T的SATA硬盘,购买大容量的存储空间越来越容易。 


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。