首页 > 基础设施 > 正文

安防大比拼:传统存储与专用存储技术

2010-04-13 09:17:20  来源:IT168

摘要:安防视频中的数据存放问题非常重要,然而在实际应用中却是错事连连。经常会出现掉盘、卷锁死等诸多问题,严重影响了整体监控系统的正常使用,所以视频数据专用存储已经成为市场上
关键词: 存储 监控存储

  视频数据传统存储方式
  在目前的数字视频领域中,最常用的无非是如下四种存储方式:硬盘、DAS、NAS、SAN。
  1.硬盘
  无论是DVR、DVS后挂硬盘还是服务器后面直接连接扩展柜的方式,都是采用硬盘进行存储的方式。应该说采用硬盘方式进行的存储,并不能算作严格意义上的存储系统。其原因有以下几点:
  第一,其一般不具备RAID系统,对于硬盘上的数据没有进行冗余保护,即使有也是通过主机端的RAID卡或者软RAID实现。严重的影响整体性能;
  第二,其扩展能力极为有限,当录像时间超过60天时,往往不能满足录像时间的存储需求;
  第三,无法实现数据集中存储,后期维护成本较高,特别是在DVS后挂硬盘的方式,其维护成本往往在一年之内就超过了购置成本。
  应该说硬盘存储方式不适合大型数字视频监控系统的应用。特别是需要长时间录像的数字视频监控系统。一般这种方式都是与其它存储方式并存于同一系统中,作为其他存储方式的缓冲或应急替代。
  2.DAS(直接附加存储)
  Direc(Direct Attached Storage),全称为直接连接附加存储,采用DAS的方式可以很简单的实现平台的容量扩容,同时对数据可以提供多种RAlD级别的保护。
  采用DAS方式时。在视频存储单元上部署相关的HBA卡.用于跟后端的存储设备建立数据通道。前端的视频存储单元可以是DVR,也可以是视频存储服务器。其通道可以采用光纤、IP网线、SAS线缆甚至于USB、1394线等。
  采用DAS方式并不能同时支持很多视频存储服务单元同时接入,而且其扩容能力严重依赖所选择的存储设备自身的扩容能力。所以在大型数字视频监控系统中,应用DAS存储方式将造成系统维护难度的极大提升。
  正是由于DAS存储的这些特点,所以这种存储方式一般应用于对于DVR的扩容或者小型数字视频监控项目中。
  3.NAS(网络附加存储)
  NAS(Network Attached Storage)。全称为网络附加存储,是一种专业的网络文件存储及文件备份设备,或称为网络直联存储设备、网络磁盘阵列。同时NAS对数据可以提供多种RAID级别的保护。
  应用在视频监控系统中,一般采用如图2所示的连接方式。
  NAS设备和多台视频存储服务单元均通过IP网络进行连接,按照TCP/IP协议进行通信,以文件的I/O(输入/输出)方式进行数据传输。一个NAS单元包括核心处理器,文件服务管理工具,一个或者多个的硬盘驱动器用于数据的存储。
  采用NAS方式可以同时支持多个主机端同时进行读写,具备非常优秀的共享性能和扩展能力;同时NAS可以应用在复杂的网络环境中。部署也非常灵活。
  但是由于NAS采用CIF/NFS协议进行数据的文件级传输,所以网络开销非常大,特别是在写入数据时带宽的利用率一般只有20%~40%之间。所以目前NAS一般应用于小型的网络数字视频监控系统中或者只是用于部分数据的共享存储。
  4.SAN(存储区域网络)
  SAN(Storage Area Network),全称为存储区域网络,通过交换机等连接设备将磁盘阵列与相关服务器连接起来的高速专用子网。同时SAN对数据可以提供多种RAID级别的保护。
  SAN提供了一个专用的、高可靠性的存储网络。允许独立地增加它们的存储容量,也使得管理及集中控制(特别是对于全部存储设备都集中在一起的时候)更加简化。正是由于这些特点,SAN架构特别适合于大型网络数字视频监控系统的存储应用,可以应对上千、上万个前端监控点的存储。
  目前SAN主要分为FC—SAN(光纤存储区域网络)和IP—SAN(以太网存储区域网络)。它们之间的区别是连接线路以及使用数据传输协议的不同。虽然FC—SAN由于采用专用协议可以保证传输时更加稳定、高效,但其部署方式、构建成本均较之IP—SAN高出很多,所以目前在大型网络数字视频监控系统中更多采用的是IP—SAN架构。
  视频数据专用存储概念
  1.传统方式所带来的问题

  无论采用何种架构进行存储系统的搭建,一般都采用的是通用存储设备,而在实际使用中,特别是大型项目中也造成了以下的问题。
  (1)成本激增
  在大型项目中,前端图像信息采集点过多,单台服务器承载量有限,就造成需要配置几十台,甚至上百台服务器的状况。这就必然导致建设成本、管理成本、维护成本、能耗成本的急剧增加。
  (2)磁盘碎片问题
  由于视频监控系统往往采用回滚写入方式,这种无序的频繁读写操作,导致了磁盘碎片的大量产生。随着使用时间的增加,将严重的影响整体存储系统的读写性能,甚至导致存储系统被锁定为只读,而无法写入新的视频数据。
  (3)性能问题
  由于数据量的激增,视频数据的索引效率也变得越来越为人们关注。而动辄上TB的数据。甚至是几百TB的数据,在索引时往往需要花上几分钟的时间。
  2.视频数据专用存储的产生
  应该说以上这些问题并不是存储系统乃至存储设备本身的问题,只是因为视频监控系统特殊的应用模式而导致的。但这些问题很难在系统平台层面上进行改进,所以存储行业为了更好的适应监控系统的应用,提出了视频监控专用存储的概念。
  最先提出的视频监控专用存储在市场上也称为直写方式的存储(最近也开始叫NVR)。所谓直写,就是前端数字编码设备将数字化后的视频数据直接写入IP—SAN设备中。采用直写技术既可以保持原有的系统架构不做大的变动,又可以有效地减少设备数量,降低整体系统的管理难度、维护强度,以及能源消耗。
  目前市场上的直写存储设备基本上都采用服务器架构的存储,通过移植服务器上的视频监控平台的存储功能模块至存储设备上完成DVS直写功能。所以直写的存储设备虽然经历了3年的市场运作。但市场份额占有率仍不足5%,究其原因主要有如下几点:
  (1)无法解决磁盘碎片问题
  采用直写方式的设备,一般都是通过简单的移植原有平台的存储功能模块,对于其存储的方式以及读写策略未能进行有效的优化。所以传统系统中存在的磁盘碎片问题,依然会存在于直写存储设备中。
  (2)设备稳定性下降
  这种直写方式与服务器十硬盘的方式无异,会增加存储设备的负担。导致存储设备经常会出现RAID组崩溃等问题。更致命的是,当RAID重组时,一旦仍有视频数据写入。将导致服务器架构存储设备的彻底崩溃。
  当系统查找数据时,整体设备的性能更是有较大幅度的下降。
  (3)系统成本不降反增
  同样是因为其存储功能模块源自前端监控平台,所以对其平台的依赖性非常严重。而监控平台又缺乏统一的标准,导致一旦采用直写存储设备,其一整套设备均需配套采购。同时由于存储设备稳定性的下降,也导致后期维护成本的大幅提升。
  正是以上原因,使得支持直写的存储设备变成了看上去是很美的一个概念。
  视频数据专用存储发展方向
  那么视频数据专用存储究竟应该具备怎样的结构和功能才是真正能够满足市场的产品呢?目前,监控领域的存储厂商不断总结过往项目的经验和教训。并就整体监控系统对存储的需求进行不断的分析,得出以下结论:
  1.高效稳定的存储设备
  为了保证存储系统得高效、稳定。必须采用全模块化的设计,所有关键部件以及易损部件,包括控制器、电源、风扇、硬盘等均应支持热插拔功能,并采用Cable—Less设计,防止设备连接部件因常年7.24小时工作而导致的氧化、变形等问题。提供多种最高到RAID6级别的数据保护,保证硬盘损毁时,数据的可用性。
  2.基于块级的视频流读写优化
  数据在存储设备最终将以块为单位进行存储。所以基于块级别进行数据处理将大大缩短数据读写时的无谓开销。提升整体存储设备的性能。
  3.存储设备Cache调度算法的优化
  众所周知,Cache的读写远远快于硬盘的读写,所以针对Cache调度算法的优化,可以有效地提升存储性能,更为重要的是,在进行历史视频调度时,Cache中的索引可以以最快的速度进行响应,将上百TB级别的存储系统的数据查询时间缩短到秒级的水平。
  4.提供标准的API接口
  虽然目前还无法要求所有的视频监控平台厂商采用统一的标准进行平台设计,但作为视频存储专用存储,应能提供标准的API接口,为各厂商的平台接入提供友好的通道。各平台厂商只需要经过简单的开发,即可使得平台与存储可以通讯。
  具备了以上特性的视频数据专用存储设备才可以真正有效的解决目前视频监控存储系统中的技术问题。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。