Board logo

标题: 磁盘阵列（RAID）技术在视频监控应用的问题与发展 [打印本页]
作者: forsuccess    时间: 2014-8-10 22:37     标题: 磁盘阵列（RAID）技术在视频监控应用的问题与发展

视频监控网络化步伐已全面展开，大量的监控数据被保存在安装硬盘的NVR、IP-SAN中，众所周知，目前大容量硬盘都属于精密机械部件，本身故障多发，属于易耗品。那么直接保存在硬盘中的数据必然面临数据丢失的风险。
　　在传统的视频监控应用中，比如：小区、楼宇、园区监控等，对数据可靠性要求并不高，其监控数据的有效利用率一直保持在很低的比例上，一旦不幸运遇到硬盘故障，损失一块硬盘的数据对这些应用来讲都是可以承受的，大量的嵌入式录像设备厂商正是看重这一点，推出使用单盘模式的廉价NVR，免去支持硬盘数据冗余带来的成本提升；由于不做RAID，可以配置同样廉价的监控级硬盘，大大降低录像产品与方案的整体成本，低成本优势大大提升嵌入式NVR的出货量。
　　众所周知，RAID技术可以消除硬盘故障带来的数据丢失和业务中断，但是它也对硬盘本身提出要求，一般要求是企业级硬盘，这种硬盘的固件对处于RAID 工作环境下的各种状态进行调优，例如：可以对RAID下多块硬盘一起工作时产生的共振进行很好的磁头偏移补偿、可以固化一个硬盘错误处理的最大响应时间，以免错误修复时间过长，被RAID误以为硬盘不响应而踢掉、支持较好的并发读写性能等；这些调优都极大的增强了企业级硬盘在RAID环境的可用性。
　　如果是低成本的监控级硬盘，由于硬盘固件本身的限制，不能很好的在RAID环境中工作；例如：没有针对共振的磁盘校正，RAID环境下数据读写出错机率大增，而监控级硬盘并没有固化错误处理的最大响应时间，硬盘忙时一个错误处理可长达2~5分钟，而一般RAID允许的硬盘响应时间为30秒左右，造成 RAID掉盘现象增加，甚至连RAID初始化都完成不了；在RAID5工作和重构过程中，在写数据之前需要读出大量数据进行校验计算，但是监控级硬盘的读性能表现显然没有它的写性能表现好，大量的读IO队列经常堵塞，而造成多块硬盘的响应时间严重增加，可能导致批量掉盘。
　　对于视频监控应用来说，只有付得起企业级硬盘高成本的高端用户才可以享受得起传统RAID技术带来的数据可靠性好处，传统RAID技术与监控级硬盘的糟糕兼容表现已经成为向大量视频监控中低端用户普及的阻力。
　　因此，视频监控应用对传统RAID技术提出以下挑战：
　　1、要求可配置低成本的非企业级硬盘组建RAID组，降低硬盘成本；
　　2、要求降低大容量硬盘的重建时间，提升重构成功率；
　　3、要求提升非企业级硬盘RAID组的可用性；

看到以上需求，中科蓝鲸公司对传统RAID算法进行改造和更新，开发了新一代Smart RAID技术，该技术思路是缩小硬盘管理的最小单位，将故障范围缩小在局部，从而提升硬盘RAID组的整体可用性；同时优化了RAID对监控级硬盘故障的响应时间容忍度，极大提升了非企业级硬盘（包括监控级硬盘）的RAID可用性。


　　在Smart RAID组建过程中，首先对硬盘进行碎化处理，每块物理硬盘会被碎化为64份，每块物理盘相同位置的小数据块会被组建为一个基本的Smart RAID管理单元，多个Smart RAID管理单元可组建为一个大的逻辑卷对外使用；Smart RAID管理单元具备RAID级别的所有属性，如介质检测、故障踢盘、替换热备、重构等；实际运行情况下，当物理硬盘发生磁道扇区故障，对故障数据块的掉盘、替换热备、重建操作都可以在一组Smart RAID内完成，大大减少重构读取与写入的IO量，缩短重建完成的整体时间；每块物理盘的最后4个数据块是作为热备使用的。如下图所示：


　　使用Smart RAID技术后的好处显而易见，由于对监控级硬盘故障的响应时间容忍度提升，使用监控级硬盘制作RAID5组的可用性明显提升，频繁掉盘现象得到有效解决。
　　在实际运行表现中，硬盘运行中出现的故障90%都集中在局部错误导致的读写异常，因电路或机械原因导致的整盘不工作的故障更是少见，因此，当发生硬盘错误，Smart RAID技术能够很好的发挥局部重构优势，重构完成只需10来分钟；即使发生整盘故障，Smart RAID也能够和传统RAID一样对整块物理盘进行踢盘、重构。
　　而且，如果同时发生两块物理硬盘的扇区错误，传统RAID5组遇到这种情况会崩溃，全部数据不可用，但Smart RAID技术能够很好的将这些故障独立，分而治之，数据不受影响。
　　从上来看，Smart RAID技术确实能够较好满足视频监控应用对RAID数据冗余的需求，明显提升大容量非企业级硬盘的RAID可用性。
作者: qiangshao5200    时间: 2014-8-11 11:18

幸好我心思缜密，火前留名！用不了多久我就会升级加精！当上八五！ 出任吧主！ 迎娶度娘！走上贴吧的巅峰！ 嘿嘿，想想还有点小激动呢



欢迎光临 电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/) Powered by Discuz! 7.0.0