- UID
- 871057
- 性别
- 男
|
一、云存储是一种提供大规模的数据存储和分布式计算的业务应用架构体系
云存储即通过基于云的数据存储部署模式,应用分布式的计算方法,将网络中大量各种不同类型的数据存储设备通过应用软件集合起来,有效合理地进行资源和数据的统一计算和数据处理。而终端用户通过远程或类似虚拟接入桌面的软件应用和程序接口方式集中访问云存储的数据资源和业务系统,从而实现大规模数据存储和接入环境下高效快速的资源分析和数据处理。其核心技术在于云计算技术的应用,单台存储设备无论在容量上还是性能上都会遭遇到瓶颈,利用分布式的网络系统,使得庞大的数据存储设备和软硬件服务资源可以通过网络的方式协同工作和计算,围绕云存储数据存储和管理的核心应用,提供数据资源和业务系统的应用服务。
云存储的关键业务是如何面对海量数据的存储和管理。其中虚拟化和存储池技术摆脱了传统设备形态的容量利用、扩展和管理,简化存储以及容量的应用方式,存储设备都能够通过标准的、虚拟化的接入方式即可完成容量扩展,从而实现低成本的容量接入。对使用者而言,使用虚拟化桌面等方式接入就能完成数据的访问和管理,各种形态存储设备组成的巨大存储容量在用户端看来仅仅是单一的一个存储池。
二、存储与视频监控技术的发展存在密不可分的联系
到目前为止,安防行业历经多个视频存储阶段的发展过程,监控系统的模拟化、数字化、网络化三个阶段都分别出现了不同形态的监控数据存储 系 统。 从 早 先 的 VCR 到 D VR、混 合 D VR, 到 N VR 和 SAN 存 储 网络,尤其是在现阶段,大规模高清和网络化视频监控系统的部署,要求呈现更高品质的视频图像以及精准的智
能数据分析和挖掘。在监控视频上,从原先的“看得见”到现在的“看得清、看得远、看明白”,从人工的图像监控和数据分析到使用智能分析技术转向智能化的实时视频分析和智能监控,通过对海量视频监控数据的计算和处理,已经能够实现高清视频画质的细节分析,智能挖掘出类似特征和行为的数据,为事件决策和业务分析提供精准的数据依据。
由于越来越多的监控应用趋向视频图像的高清显示、 海量的数据存储、多元信息融合、信息智能挖掘、大规模数据的智能分析及决策、云计算等多种先进技术,尤其在平安城市、智慧城市以及跨地域的大规模行业应用当中,对于这些行业中海量高清视频数据存储系统的需求,意味着数据存储能力和计算性能的大幅度提升,要求存储产品具备高性能、高容量、高可靠性以及可扩展性,同时实现与监控系统应用的深度结合,满足视频监控系统视频数据管理的特殊业务应用。
在大规模的高清视频监控系统应用中,首先是满足海量高清的视频数据存储,高清视频数据如 720P、1080P、5M P、8M P 等 高 分 辨 率I PC 的接入,大路数并发大码流的实时数据读写,对存储的性能也是很大挑战,在海量高清部署的环境下,充分考虑到整体方案中存储性能的影响,需要云存储具备高容量以及可伸缩的容量扩展能力,单台存储设备通过 JBO D 方式或集群方式,使用SAS 接口、eSATA 接口等单机容量扩展技术,级联或外接扩展柜的方式提升单机系统容量,也可以通过虚拟化和存储池技术,把多台形态各异的存储设备虚拟化成单台大容量的虚拟存储设备。
其次, 在大规模高清存储部署中,提高磁盘利用效率,降低磁盘空间消耗,通过数据压缩技术、磁盘碎片整理技术、TH I N 数据精简技术、磁盘坏道避让技术等,在海量数据存储的环境中,降低磁盘故障率,减少磁盘容量空间的浪费,从而可以有效缩减后期维护成本。
另外,从整个高清视频监控解决方案上来看,云存储体系并不是存储设备的简单堆积。云存储作为视频数据存储和管理的中心节点,与整体解决方案融合,优化视频数据管理,所有高清视频数据的存储节点都可以作为应用系统的互备节点和管理节点,在海量部署的监控系统中,无疑提高了整个解决方案系统抗灾难能力,保证了系统稳定性和可靠性。
三、在核心技术的应用上,云存储加速安防高清化、智能化、网络化发展趋势
云存储必须以其高效能的海量数据存储和容量管理为核心应用,与安防应用系统融合,其主要核心技术包括虚拟化技术、数据安全存储和保护技术,智能分布式视频数据筛选、分析和计算等技术。
虚拟化技术就是把众多存储设备虚拟化成单一的便于管理的逻辑设备形态,物理磁盘分割成虚拟磁盘,将虚拟磁盘深化采用细粒度管理和虚拟磁盘操作技术,从而获得更高更灵活的管理效率、性能和容量空间 ,通过虚拟化磁盘分配技术,提高磁盘利用率。
存储虚拟化技术很好地解决了当前各种形态设备的存储容量的统一管理和磁盘容量的动态分割,实现存储设备和存储空间的灵活、智能、自动化管理,云存储中的存储设备数量庞大且基于网络的异地分布。现在的存储设备类型非常丰富,包括传统的存储介质、存储设备如 I PSAN、FCSAN、NAS、FCI P 等, 不 同 类型和形态设备之间的容量管理、设备管理,对于庞大的存储云来讲都是一个巨大的挑战,所有的存储资源都必须得到有效的管理和利用。采用虚拟化和存储池技术,可以把不同类型的存储设备虚拟化成为存储网络上的一个节点,在逻辑结构上消除异构形态设备的差异,把容量汇聚成一个巨大的虚拟存储池,并可以更容易地进行逻辑容量分割, 大幅度提升存储效率,从而能够轻易解决未来数据增长和存储扩容以及庞大数据存储节点的管理。
基于云存储的数据安全和保护技术。云存储作为海量数据的数据存储中心,存储资源通过云的方式整合到大存储系统中,更应关注高清视频本身的管理能力,必须具备安全可靠的数据保护机制,允许合法的授权用户进行访问对应的资源,保证任何设备故障或者灾难性的事件都不会导致数据的丢失。云存储中不同的数据存储节点之间互为数据备份和数据恢复机制,实现设备级、设备间和存储容量的冗余备份,现在的数据保护技术在资源管理上有 CDN 内容分发技术、数据加密保护技术和数据压缩技术,在存储备份和恢复上有 P2P、V2P物理机和虚拟机间的近线数据互备、基于 CDP 本地及远程的连续数据复制技术、 重复数据删除技术、 快照技术、N+m 设备级的冗余技术等,应用多硬件架构消除设备内部的单点部件故障,通过数据安全和保护技术提升云存储的数据存储可靠性和安全性。
智能数据筛选和分析技术也是云存储高效容量管理的发展趋势。如何使用分布式的存储节点实现海量数据高效的筛选包括对大规模高清视频的分类、搜索、预览、调度、智能分析处理等,能够快速且灵活地调出预期的高清视频数据,对分片视频数据进行分析和处理,并且重要的关键数据长期保存,非关键数据可选择性的降低保存时间,毫无疑问,采用智能分析技术即可实现对视频数据的智能化分析,提升高清视频数据的管理和处理能力,利用内置或者独立的软件管理平台,从设备资源(包括性能、存储容量、设备部件)、视频和图像资源的一体化管理和监管,实现智能、可视化、自动资源调度等全方位管理。通过该技术实现事件的自动分析、预警、计算和处理,兼顾了视频分析的精准度、磁盘管理效率、视频数据搜索以及数据安全,为人为决策输出高度精准的数据分析依据。
四、云存储技术推动高清监控行业的产业化进程
随着安防视频监控系统网络化和高清化的变化,尤其是平安城市、基于物联网的智慧城市的建设以及各个行业应用的深度挖掘,海量级的城市规模和跨地域的监控系统对存储的容量、扩展性、稳定性、可靠性、管理型都出现更强烈的需求。云存储通过云计算、虚拟化等关键技术能够实现海量级的规模效应和弹性扩展,降低运营成本,避免资源浪费。
在存储的容量管理上,更高容量的存储设备可以满足数据快速增长,而PB 级的数据存储产品组成的虚拟化存储池,可以组成超大规模的数据存储空间,应对海量级的视频数据存储。
海量的视频数据推动了图形图像检索、智能分析技术的发展,单纯靠人工的方式去实现海量数据的监管,无疑是一件高成本低回报的投入,因此,云存储的海量视频数据需要一种具有快速检索视频数据,通过对海量数据的分析和计算,按照期望的预定策略和计算原则,能够利用智能分析算法进行视频数据的分析。同样,智能分析技术也可以跟其他技术相融合,与物联网、报警系统、自动化等应用系统协同工作,为各种不同应用系统的决策处理提供必要的基础数据和决策依据。
五、云存储技术在公安行业的应用
总体功能(如图 1 所示):
◆ 市级监控中心,本身不存实时产生的录像,监控中心可以通过系统调取各派出所录像。
◆ 市级中心存储的录像,都是有价值的,用于重要案件侦破的录像,需要永久保存。
◆ 市级中心,当需要为案件调取各派出所录像时,将通过云系统下发命令给各派出所,各派出所系统收到命令后,运用云监控统一调度功能,在各自的录像库里搜索市级中心需要的录像,并提取后上传给市级中心。中心获取各派出所录像后,运用云系统的计算能力,将不同地方、不同时间段、含有相同特征的录像片段进行剪辑加工,形成有效的录像剪辑提供给实战部门进行分析。
◆ 派出所的云系统,通过元数据服务器的调度,实现负载均衡和 N +0设备备份,提高了系统性能和可靠性。通过网络,派出所存储设备与市级中心可以有效通信,接受任务和调度。
为实现整体的功能,将根据公司现有情况,进行如下建议,分步实现监控云系统。 |
|