智慧城市视频安防监控系统方案建议书

('智慧城市视频安防监控系统方案建议书目录1.系统优势概述........................................................41.1.领先的存储扩展..................................................41.2.高效的负载均衡..................................................41.3.强大的接入兼容..................................................41.4.稳定的业务连续..................................................41.5.快速的服务响应..................................................42.项目建设概述........................................................52.1.项目建设背景....................................................52.2.项目建设目标....................................................52.3.相关标准规范....................................................63.业务需求分析........................................................73.1.视频接入........................................................73.2.监控呈现........................................................73.3.视频处理........................................................73.4.管理维护........................................................83.5.系统性能........................................................94.项目总体设计.......................................................104.1.项目总体架构...................................................104.2.总体网络拓扑...................................................114.3.主要工作流程...................................................124.4.子系统设计.....................................................134.4.1.视频监控综合管理平台.......................................134.4.2.对接其他业务系统...........................................135.VMS视频监控综合管理平台...........................................155.1.产品概述.......................................................155.2.数据接入.......................................................155.2.1.模块简介...................................................155.2.2.主要功能...................................................165.2.3.SDK容错性.................................................175.2.4.性能指标...................................................185.3.视频处理.......................................................185.3.1.模块简介...................................................1825.3.2.主要功能...................................................195.3.3.云端转码...................................................195.3.4.性能指标...................................................205.4.系统管理.......................................................205.4.1.模块简介...................................................205.4.2.主要功能...................................................215.4.3.任务调度...................................................235.5.对外服务.......................................................255.5.1.模块简介...................................................255.5.2.主要功能...................................................255.6.多客户端.......................................................265.6.1.客户端监控.................................................265.6.2.客户端功能.................................................275.6.3.云台控制...................................................275.6.4.智能识别...................................................275.6.5.多画面支持.................................................285.6.6.监控大屏...................................................286.ParaStor云存储系统................................................296.1.产品概述.......................................................296.2.产品特性.......................................................306.3.主要功能.......................................................326.3.1.监控界面...................................................336.3.2.管理界面...................................................386.3.3.高级界面...................................................446.4.对外接口.......................................................476.4.1.SNMP监控指标..............................................476.4.2.命令行监控指标.............................................5031.系统优势概述1.1.领先的存储扩展系统与EB级云存储系统ParaStor完美集成，支持高并发、高带宽，支持N+M：B的增强型数据保护手段。单客户端万兆网络的读写性能均不低于800MB/s。1.2.高效的负载均衡系统对各节点的资源使用情况充分把握、及时调度，实现收录、转发、录像等任务的均衡分配。批量新增节点后，整体自适应再平衡。1.3.强大的接入兼容系统整合不同厂商的SDK，满足海康、大华等主流平台的接入需求，支持第三方扩展；同时，封装标准协议的对外接口，对外提供统一服务。1.4.稳定的业务连续系统采用分布式集群架构，组件冗余设计、软件支撑成熟、可靠，保障7x24小时连续运行。任意节点故障，系统不宕机，服务不中断。1.5.快速的服务响应系统充分调度异构计算和云存储，快速应对用户请求，响应时长不超过1秒。同时，提供标准接口与GIS地图进行对接，信息更新时长不超过1秒。42.项目建设概述2.1.项目建设背景公共安全视频监控建设联网是新形势下维护国家安全和社会稳定，预防和打击暴力恐怖犯罪的重要手段，是动态化、信息化条件下社会治安防控体系建设的重要组成部分，对于提升城乡管理水平、创新社会治理体制具有十分重要的现实意义。党中央、国务院对公共安全视频监控建设联网应用工作高度重视，围绕贯彻落实《中共中央关于全面深化改革若干重大问题的决定》，中央办公厅、国务院办公厅将“规划建设全天候视频联网监控系统，建立跨部门视频图像信息共享应用体系”明确为重要改革举措，并在《关于加强社会治安防控体系建设的意见》中作了具体规定。中央领导同志在中央政法工作会议、全国社会治安防控体系建设工作会议等多次重要会议上对此项工作提出了明确要求。根据中央部署，国家发改委、中央综治办等九部委联合印发《关于加强公共安全视频监控建设联网应用工作方案（2015-2020年）》，要求各地区各有关部门按照建立党政领导、综治牵头、公安负责、部门配合、社会参与工作格局的部署要求，认真抓好文件精神贯彻落实。2.2.项目建设目标本项目建设，在政府部门及社会公共视频资源整合的基础上进行系统性的创新和应用，建设一套集视频资源整合、综治防控为一体的公共安全视频联网和应用系统，实现“全域覆盖、全网共享、全时可用、全程可控”。项目建设有利于整合各部门各单位公共安全视频监控资源力量，促进设施互联互通和图像数据集成应用，增强系统性、整体性、协同性，发挥更大效益；有利于实现公共安全视频监控建设联网应用“全城覆盖、全网共享、全时可用、全程可控”目标，对反对暴力恐怖、维护公共安全等领域的风险加强预警预控，提高维护国家安全和社会稳定工作的预见性、前瞻性；有利于适应违法犯罪动态化、智能化的新趋势，发挥公共安全视频在主动打击、侦查破案、固定证据等方面作用，织严织密社会治安防控网，以创新为引领提高预防打击犯罪的科技化水平；有利于推动智慧城市、信息惠民等国家重大工程建设，提升城市管理、环境保护、交通疏导、风险预测、应急处置等各领域精细化治理水平，促进实现社会治理的现代化。52.3.相关标准规范系统的设计及实施，要求严格按照国家及行业相关标准、研究成果及地方性标准规范，主要包含公共安全、系统设计、工程施工、图像要求、网络要求等方面：《公共安全视频监控联网系统信息传输、交换、控制技术要求》GB/T28181-2016《社会治安综合治理综治中心建设与管理规范》GB/T33200-2016《社会治安综合治理基础数据规范》GB/T31000-2015《关于加强社会治安防控体系建设的意见》中共中央办公厅、国务院办公厅印发2015年4月13日《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）《全国公安机关视频图像信息整合与共享工作任务书》（公科信[2012]11号）《公安部关于进一步加强社会治安防控体系建设的指导意见》（公通字[2011]37号）《民用闭路监视电视系统工程技术规范》GB/T50198-2011《关于深入开展城市报警与监控系统应用工作的意见》（公科信[2010]30号）《城市监控报警联网系统技术标准》GA/T669-2008《跨区域视频监控联网共享技术规范》DB33/T629-2007《安全防范系统雷电浪涌防护技术要求》GA/T670-2006《公安交通管理外场设备基础施工通用要求》GA/T652-2006《交通电视监控系统工程验收规范》GA/T514-2004《城市交通信号控制系统术语》GA/T509-2004《安全防范工程技术规范》GB50348-2004《视频安防监控系统技术要求》GA/T367-200163.业务需求分析3.1.视频接入系统接口具备开放性，针对现有城市各个委办局监控平台，不同厂家的前端设备、DVR、NVR等监控前端，满足接入需求。同时，考虑到后期的扩展性，要求能够满足新建网络摄像机的视频信号接入；能够兼容RTSP等标准流媒体协议，及主流摄像机厂家的SDK开发包接入。3.2.监控呈现1、多终端支持及实时转码支持多种终端设备的监控访问，包括大屏幕电视墙、PC终端、平板电脑、智能手持终端等；支持高并发的视频访问能力，并且根据客户端的不同处理能力，实时转码，瞬时动态调整视频的分辨率，满足用户需求的同时降低网络带宽的消耗。其中，针对大屏幕电视墙和PC终端，推送原始清晰度较高的视频流，而针对平板、手机等移动终端，则进行实时转码，转化为适合移动终端分辨率和码率大小的视频流，推送至移动端。2、全屏多画面、单画面支持视频信号在不同终端上全屏多画面、单画面呈现，并根据接入视频路数自主调整视频画面分辨率，呈现视频内容来源可根据摄像机编号勾选等。3.3.视频处理1、录像及存储功能提供摄像机定时录制存储设置功能，并提供历史记录查询。基于高性能集群架构的云存储，采用多节点冗余架构设计，支持多节点自动负载均衡及故障转移，任意节点发生故障，可在不间断业务情况下进行修复。整个存储系统所有节点对外界以统一IP地址提供服务，支持POSIX接口，可以通过盘符（或路径）的方式直接挂载使用，同时云存储具有容错能力，任何节点出现故障，保证服务不中断，数据不丢失。2、视频转发针对不同客户端对同一路视频流的访问请求，系统可对视频流进行存储、复制，并根据不同客户端的处理能力推送符合客户端需求的视频流，降低接入侧传输带宽的占用。73、智能分析整合智能分析模块，可以在所有接入的前端视频监控设备中，根据用户的需求，对选择的摄像机进行动态识别和智能分析，如入侵检测、人流量统计等情况，对监控区域可以进行实时监控和预报，并且保证后期的可扩展性。4、结果输出及告警具备视频智能分析功能，可以实时输出智能分析的结果并可根据预置的告警门限进行及时告警，如监测区域内通过智能算法检测到特定行为的相似度超过告警门限时报警。告警模式可通过声音、图形闪烁、弹出窗口、移动终端提示等方式展现，并记录日志。5、子平台扩展可根据业务需求从主平台中扩展出任意数量的子平台，并且子平台能够继承主平台的所有功能，并根据业务需要开发个性化功能。3.4.管理维护1、用户管理对登录账号进行权限设置和管理，根据账号开放特定的视频流访问权限，账号权限需对接入的子平台的账号权限管理方式进行继承。2、设备管理主要是摄像机、前端设备管理和存储集成管理。1）摄像机状态维护对接入的第三方平台所属的摄像机及单点接入的摄像机进行状态监控，采用轮询机制监测摄像机工作状态是否正常，并实时呈现告警、记录日志。2）多级目录管理摄像机的目录采用树形结构、多级管理。各平台归属摄像机的命名和检索保留原平台方式。未命名的摄像机命名统一规范标准，名称体现视频来源、摄像机地理位置、摄像机制式、编号等信息，便于快速检索。3）前端设备控制可接入所有前端设备并可对设备进行控制，如设置设备的编码方式、帧率、比特率、分辨率等信息，远程控制设备的云台等。4）存储管理8支持直接录制到云存储；支持前端缓存智能迁移到云存储系统；支持多路径冗余智能备份等高可靠视频录播服务。3、升级扩容关键部件冗余，保证7x24小时工作；保证系统不宕机、服务不中断的情况下进行软硬件升级、硬件扩容等升级扩容改造工作。4、分发调度对服务器进行统一调度管理，无人值守监控服务器的运行状态；可根据服务器的处理负荷进行负载均衡，将大量的并发访问和数据流分担到多个节点进行处理，提高服务器的运行效率。5、客户端支持客户端支持Linux（CentOS、RedHat、Ubuntu）、Windows、iOS、Android等主流PC、平板电脑和智能终端操作系统。3.5.系统性能1、系统扩展性具有较强的可扩展性，预留足够的接口便于将来能够接入新的节点资源、子平台系统或更高级别的应用平台；接口通用透明，出口视频支持标准RTSP协议，信令支持标准HTTP协议。2、系统鲁棒性确保在任意数量平台或设备的SDK开发包和RTSP视频流接入的情况下保证系统稳定运行；在任意节点（包括主节点）发生故障的情况下，仍然能够稳定处理数据，保证系统不宕机，服务不中断。3、系统响应速度从客户端接收到用户命令到系统完成命令执行的响应时长不超过1秒。4、视频传输时延视频流接入系统后，经过转码，推送给流媒体服务器，并分发给不同客户端，所呈现的总时延不超过2秒。94.项目总体设计4.1.项目总体架构本次项目建设，利用高性能计算、云计算和云存储等技术构建了统一的视频监控综合管理平台，实现对海量高清监控视频的实时处理，对接各个委办局已有的视频监控平台，集中化管控、信息共享，为公共安全视频资源的再利用奠定基础。根据用户需求和相关标准规范要求，设计如下的系统架构：系统架构图建议采用云端部署的方式，构建在私有云上。由私有云提供系统运行所需的基础设施资源，含服务器和存储空间。A.基础设施层系统运行所必备的基础设施，包含X86服务器、GPU服务器、云存储、网络和安全设备等；这部分推荐基于现有云平台进行部署，如果用户没有云平台，可以采用裸机+容器的方式进行部署。B.数据汇聚主要是视频流汇聚，该部分主要依赖于宽带业务运营商现有的链路资源或者客户自建视联网，完成对IPC、DVR、NVR等终端的支持，并输出GB/T28181协议视频流到视频专网，或RTSP流到视频管理调度中心。SDK主要针对下级视频流汇聚或其他社会面自建视频汇聚平台。C.业务应用层是系统具体功能的对外展现，包含了数据接入、视频处理、系统管理和对外服务等功能模块；业务应用层也提供二次开发接口，用于用户自行研发新的功能，以及与第三方业务系统的对接。104.2.总体网络拓扑根据用户需求和相关标准规范要求，设计如下的网络拓扑：网络拓扑图系统主要由七个子系统组成：前端设备、数据接入、视频处理、云存储、系统管理、对外服务和终端呈现。其中，A.前端设备，包括模拟摄像机、网络摄像机、卡口设备、第三方平台等，在视频监控综合管理平台的调度下进行信息采集，以RTSP的形式传输给存储/处理服务器集群，或以SDK的形式传输给数据接入服务器。B.数据接入，整合各种前端设备，将不同厂家不同平台的前端设备通过RTSP或者SDK的方式接入系统，实现多种前端摄像机的统一接入，供本平台内其他模块统一调用，并以轮询的方式监听前端设备，发现异常产生报警信号。C.视频处理，主要负责对接入视频的各项处理任务，如录像存储、复制转发和内容识别等，将处理好的结果发送至流媒体服务和云存储。同时，响应终端服务请求，对视频流进行实时转码，适配不同的显示终端。D.云存储，对接云存储系统（如ParaStor云存储），提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足平台中其他模块的存储需求。E.系统管理，平台的核心控制部分，实现与终端的信令交互、通过调度系统来调度集群节点处理各项任务、并实现对整个平台的统一管理和监控。11a）用户管理：根据用户信息表，管理用户登录、用户的权限，可以管理用户信息、增删用户等；b）采集设备管理：根据摄像机和用户的权限，管理当前用户所能涉及的前端设备状态、节点运行状态，并进行实时的更新；c）前端分发调度：更新前端信息，并根据客户需求进行对前端设备调度及任务分发。同时，进行信息数据的处理，以完成整个平台的调度工作；d）集群调度管理，获取每台机器的运行状态。根据机器运行状态进行自动调度和部署，实现负载均衡，保证集群稳定性，提高集群整体使用效率。F.对外服务，主要是流媒体服务和告警预警。一方面，对外提供标准的RTSP流媒体服务，用户根据相应的流媒体RTSP地址，即可实时地获取系统处理完后的实时视频数据，以供监控和远程访问。采用虚拟IP技术，备份冗余机制，针对公网和内网不同的访问需求提供不同的码流推送。另一方面，对外提供告警查看功能，支持上下级级联情况下的告警传递。G.终端呈现，主要是PC终端、移动终端和电视墙等。系统支持Windows、Linux、iOS、Android等主流操作系统，提供B/S架构客户端，能够控制视频解码上墙等，实现与用户的直接交互。4.3.主要工作流程下图简要描述视频监控管理系统的数据流向：支持RTSP标准协议的网络摄像机等前端设备，可以直接接入平台中；模拟摄像头经过编码器编码后接入到平台；其他平台或前端设备可以经过SDK整合后接入。经过接入服务器后，进入云处理集群进行数据处理，实现对实时视频12流的内容识别、转码、智能分析等功能，并经过转发服务器以流媒体的形式对外提供服务。对于经过处理后流出的视频数据，如果是终端设备（手机、IPAD等）需求，则直接由转发服务器发送转码后的视频流；如果是上电视墙显示的需求，将视频流推送给解码器进行解码上墙。4.4.子系统设计4.4.1.视频监控综合管理平台视频监控综合管理平台主要包括视频处理（含视频收录、视频转发、集群转码、智能分析）、系统管理（用户管理、设备管理、信令管理、分发调度）和对外服务（含录像查看、录像回放、录像下载、告警预警）等功能。平台针对已有视频监控平台进行对接，实现并发接入前端视频。上述视频监控平台的视频接入后，经过集群处理，实现视频流推送和存储等功能，满足不同终端的访问需求，并进行存储，支持历史回看以及权限控制等相关功能。平台硬件为基于X86架构服务器组成的集群，软件安装在对应的服务器上，人流量统计功能基于前端摄像机完成，无特定软件部署。针对内网环境，通过布设无线路由器，移动终端即可通过WIFI信号访问平台，实现平台功能；针对公网环境，需要与运营商达成协议，使用3G/4G和APN技术，建立虚通路接入系统，实现移动终端的访问和控制，同时保障网络安全和保密要求。4.4.2.对接其他业务系统1、云存储云存储作为整个公共安全视频监控管理系统的核心，不仅仅是视频资源落地的实际承载者，同时，也肩负着多子系统资源共享的责任。系统设计，需要实现对存储的整合，从而最大程度地利用存储空间，并以云存储为核心，实现从直接录制到分布式存储系统，实现前端缓存智能迁移到云存储系统，以及多路径冗余智能备份等高可靠视频录播服务。2、第三方视频图像分析应用视频监控管理系统完成所有视频资源的集中管理，并在此基础上完善常规的智能分析应用，但这只是起点。系统设计，充分考虑到未来灵活多变的视频图像智能分析应用需求，提供如下几种类型的服务/接口：（1）第三方ISV/SI开放视频能力；13（2）视频资源管理服务接口；（3）视频存储、管理、查询接口；（4）视频录像回放接口，以HTTP方式从视频监控综合管理平台下载并回放录像文件；（5）提供录像下载接口，以HTTP方式从视频监控综合管理平台下载录像文件，支持自动合成。145.VMS视频监控综合管理平台5.1.产品概述平台主要包括数据接入、视频处理、对外服务和系统管理四大模块。后续章节将分别详细介绍。5.2.数据接入5.2.1.模块简介数据接入主要完成对各种前端设备的接入，对上层提供统一的接口。前端设备主要包括模拟摄像机、网络摄像机、第三方平台等。根据完成的功能不同，可以将接入服务器系统中交互的内容分为数据流和信令流。1、数据流数据流主要是完成视频数据的发送，视频流接入到平台后，再发送到流媒体服务器，从而实现不同的客户对同一路流的访问，并且减轻了前端摄像机的压力。根据前端设备不同包括三部分：（1）支持标准RTSP的摄像机对于支持标准RTSP协议的摄像机可以按厂家规定的url格式访问，直接将视频流传输给处理服务器集群。（2）不支持RTSP的摄像机对于不支持RTSP的摄像机则通过集成监控设备商的SDK以支持其私有协议（如：海康威视早期的DVR），再将视频数据重新编码成标准RTSP流发送给本“视频监控综合管理平台”。（3）第三方平台中的摄像机第三方平台中的摄像机可以经平台SDK获取摄像机的url，使用该视频流地址获取数据流。如果平台提供的数据流不支持标准rtsp协议，则需要通过平台的流媒体SDK获取到每帧数据，再重新编码成标准RTSP流发送出去。2、信令流信令流主要是完成命令的分发，使接入服务器在平台的调度下完成各项功能。（1）云台控制信令15对于前端设备中的带云台的摄像机，平台发送云台控制信令，然后接入服务器通过各个不同厂家的SDK完成各种云台操作，如云台上下左右转动、设置预置点、调焦、调距、光圈放大缩小等。（2）与第三方平台交互信令对于第三方平台里的摄像机，平台可以向接入服务器获取所有设备的列表，并获取某一路的url。（3）设备状态监控信令接入服务器以轮询的方式监听前端设备，检查所有前端设备在线、不在线、视频信号是否丢失等状态，并及时向平台返回设备的异常状态，使“视频监控综合管理平台”能更好的实时监控所有设备的状态。3、动态接入动态接入的概念是指“视频监控综合管理平台”可接入所有的前端监控设备，对其可控可管（信令流）。并根据请求从所有的监控设备中动态选出满足请求的监控路数，将其码流（数据流）接入平台。接入服务器完成对其他平台前端监控设备的接入，使所有已有的监控前端均可“透明”地呈现在用户面前。同时，后期新建的摄像机或其他监控设备也可添加进“视频监控综合管理平台”。当用户选择某路摄像机进观看监控画面时，上层调度平台发送相应指令，“视频监控综合管理平台”则动态地将该路视频流进行接入，并推送至用户客户端。5.2.2.主要功能接入服务主要是配合完成一些需要直接操作前端设备或第三方平台的任务。主要功能如下：1、前端设备管理接收平台发来的请求，通过前端设备厂家的协议获取设备参数信息，反馈给平台。2、前端异常监测通过轮询机制监测前端设备的状态，及时获取前端设备是否掉线的信息，并将其反馈给平台，由平台进行告警、记录、显示。16对于前端网络监控摄像机，采用定期判断其数据流端口状态获取其在线状况；对于第三方平台所属监控前端，采用定期轮询平台状态的接口获取其在线状况。3、云台控制协议转换将平台接收的用户控制信令转换为设备厂家对应的协议，并发送给前端设备，从而使用户实现云台相关功能的控制，例如云台上下左右转动，设置预置点，调节焦距、光圈等。4、接入第三方平台提供系统与第三方平台的协议转换，实现无缝对接。通过接入第三方平台的前端监控设备，实现云台控制。获取视频数据流的地址，以及第三方平台设备的列表、信息、状态。5、接入不支持标准协议的设备对少量的不支持标准协议且不提供linuxSDK的前端设备，有针对性的接入，采用SDK接收流并转换成标准协议的数据流。6、设备远程参数配置提供对前端设备的视频参数配置和网络参数配置功能，从而可以按用户需求来设置前端设备的参数。视频参数配置包括码流类型、分辨率、码率类型、码率、帧率、视频编码类型等。网络参数配置包括网卡类型、设备IP地址、DNS服务器地址、多播地址、HTTP端口号、RTSP端口号等。7、统一的接口和协议平台通过对各个厂家SDK开发包的整合，使“视频监控综合管理平台”接口具备开放性，满足海康、大华等主流平台的不同标准视频视频监控平台及单点视频数据的接入，能够满足第三方已有视频视频监控平台及模/数前端监控设备视频信号的接入。5.2.3.SDK容错性数据接入主要完成对各不同厂家SDK开发包的整合，屏蔽前端设备差异，开放出统一的接口，协助完成远程参数配置和云台控制等功能。当不同厂家的SDK中定义相同的结构体或者函数名称时，有可能会出现SDK间的冲突，导致任务调用失败。为了避免SDK冲突，可通过多种方法提高不同厂家SDK容错性：171、多台分布式部署采用多台分布式部署，将不同厂家的前端尽量由不同的接入服务器接入，例如将交通局视频监控平台和320道路图像视频监控平台分别由不同的接入服务器接入，这样可避免不同厂家的SDK发生冲突，通过平台对这些分布式部署的接入服务器进行统一调度。2、子文件夹分离对于单台接入服务器，将不同厂家的SDK开发包放入不同的子文件夹中，当调用任务时，通过显式指定不同的路径来访问到需要的SDK库文件，从而完成对前端设备的控制。5.2.4.性能指标接入系统单机最低可并发接入50路视频信号，数据流和信令流采用分离的方式处理。视频数据以一个任务的方式接入到平台中，再通过流媒体服务器的转发，提供给不同用户访问，达到上万路的同时访问，并对前端设备不会造成压力。云台控制等信令的交互主要由接入服务器完成，当不同用户需要对同一个设备进行云台操作时，由接入服务器做统一的处理，避免对前端设备多次登录导致失败的问题。5.3.视频处理5.3.1.模块简介视频处理服务器集群根据客户需求对采集到的信息进行实时处理，在平台的综合调度控制下，处理节点进行分布式计算，完成内容识别、云端转码、数据分析等任务。存储服务器集群和视频处理服务器并行处理采集到的信息，存储客户端软件将采集到的信息实时存储到云存储中。处理节点组通过RPC的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。如果在若干个心跳间隔后管理节点组仍然没有获取到处理节点心跳报告，那么该处理节点将会被踢出处理节点组，同时该节点处理的所有处理任务也会被重新调度。185.3.2.主要功能大致可以分为接入分析、数据处理和结果分发三个子模块，主要负责对完成对接入视频的各项处理任务。标准视频流接入：将标准RTSP视频流接入并实时转发到流媒体服务器，提供后续转码、识别、存储等。非标准RTSP视频流的接入：使用厂商提供的SDK接入视频流，并重新封装成标准流，然后通过流媒体服务器实时转发。少量的厂商不提供Linux平台SDK的视频流，由接入服务器完成有针对性的转换。内容识别：利用计算机通过图像处理和分析理解画面内容将安保人员从繁重的监控任务中解脱出来。实时转码：将视频转码计算放到云端，实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。视频数据存储录像：将处理转换后的标准视频流进行实时存储，按时间段保存为视频文件并保存到存储服务器上，以提供日后回调查看。状态监控：监控各个处理节点的运行状态，负载均衡，高效工作。5.3.3.云端转码由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。平台采用了云端转码技术，将视频转码计算放到云端，实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。视频接入模块首先将不同厂家的前端设备接入进来。然后在视频处理集群上利用高效的转码技术，将采集到的高清视频信号解码后，采用H.265、H.264、H.263、MPEG2、MPEG4等常用标准视频编码方式和AAC、MP3、WMA、MPEG2等常用标准音频编码方式，对视频重新编码，在满足用户需求的同时降低对网络带宽的消耗。同时，将转码后的视频流推送给流媒体服务器分发出去。这样可以提供给终端不同分辨率需求的视频流。19云转码流程5.3.4.性能指标负载均衡性：平台统一调度管理，根据每台处理服务器的负载进行自动的负载均衡。动态伸缩性：拔掉或者加入一台处理服务器时，系统自动辨识，将其踢出或纳入计算资源池，仍保持均匀地向各处理节点分发任务。稳定性：7x24小时不间断工作，故障自动转移，服务不中断。可靠性：所有处理节点均为多台服务器，互为主备，任意节点宕机后，备用节点自动接替其继续工作，系统工作正常，不停机。扩展性：虚拟化的处理资源池，统一调度管理，总体处理性能会随着处理节点的数量增加而线性增长。5.4.系统管理5.4.1.模块简介20系统管理主要是对各个资源的整合和调用。用户在前端发起操作请求，请求被提交到分发调度引擎，系统管理模块根据具体的请求调度系统的资源进行处理，最后将处理结果返回给用户显示查看。同时，它还提供了丰富的接口服务，大大提高了扩展性、伸缩性，更加方便其他平台对接。例如：用户使用实时监控功能，前台操作后，后台通过调用任务调度服务器去执行视频转码任务，任务结束后中心服务器把得到的视频流的地址返回给前端播放器，播放器播放对应的视频。系统管理模块是平台的一个重要的部分，它是平台的枢纽，用来联系平台的其他不同模块，把他们有机的联接在一起。5.4.2.主要功能1、用户管理管理登录系统的用户，对用户进行添加、删除、修改、查询、权限设置、配置用户组的基本功能。支持设置用户组，通过对用户组的权限控制，使得配置更加简单，灵活，避开了每个用户依次配置权限的重复操作。2、设备管理设备基本管理：增加设备、修改设备、删除设备、查询设备。设备组基本管理：添加设备组，修改设备组，删除设备组，查询设备组。设备组权限：为了使得不同的用户管理不同的设备，“视频监控综合管理平台”通过设备组来实现，方便的组织各个设备，从而在用户管理权限的时候给用户进行设备组的权限赋予操作。远程参数配置：用来设置用户的设备通道参数和网络参数，如通道名称、码流类别、码流类型、分辨率、图像质量、IP地址、DNS等。3、日志管理管理系统产生的日志信息，分为记录用户登陆、操作项目相关的操作日志，以及记录异常状况产生的警报日志。并可根据时间，用户等分类来方便查看系统所记录的详细日志信息，从而进行系统的故障诊断等。4、实时监控1）实时流监控21实时地获取设备列表中的摄像头的流，把流显示在播放器里面，从而进行实时地监控。当用户点击一路摄像头，后台在得到这次操作的任务请求时，从数据库先得到这里设备的具体参数信息，而后通过设置任务参数，封装成一个具体的转码任务，封装完之后，将任务提交给任务处理服务器，任务处理服务器再根据具体的情况去实时分布处理任务，处理完之后同时后台，后台将处理之后的流地址返回给用户，前端播放器就能够看到流对于的视频监控画面。2）同步设备列表实时方便快速地获取第三方平台的设备列表，及时同步到数据库，很简单地就可以实现跟第三方平台的通信。3）云台控制通过和接入服务器的交互,实现有云台摄像头的云台相关功能。4）录像对一路摄像头进行录像，将录像文件保存在对于的存储服务器上。5、智能识别调用后台智能识别的相关功能，通过浏览器的访问方式来展示车流统计，道路检测等智能识别功能。6、服务器运行状态监控定期地检测服务器的内存、CPU使用、当前启动情况、网络带宽使用率等状态，监控服务器的运行情况。7、大屏监控实现视频上墙的功能，能够灵活的指定一路设备的解码器，从而实现解码器和设备的自由绑定。8、设备状态管理定期和接入服务器交互，轮询查看各个设备的运行状态，及时更新到数据库，从而了解每一路设备的运行状况。9、对外接口移动端接口：通过开发移动端的权限认证，设备列表、转码任务等接口，满足移动端的需要，从而实现移动端的监控功能。22接入服务器接口：实现和接入服务器的通讯，实现云台，第三方平台设备列表获取等功能。其他平台的接口：实现其他平台的对接，提高系统的伸缩性。5.4.3.任务调度任务调度主要包括：数据库服务器集群、Web服务器集群、调度服务器。1、数据库服务器集群为了保证服务的高可用和高性能以及处理大数据量的能力。应用层访问数据库服务的时候能够读写分离，并排除读和写服务器的单点故障，平台采用数据库服务器集群。集群的结构为一个主服务器(Master)服务器与另一个或多个从属服务器(Slave)建立复制(replication)连接，主服务器与从属服务器实现一定程度上的数据同步，多个从属服务器存储相同的数据副本，实现数据冗余，提供容错功能。部署开发应用系统时，对数据库操作代码进行优化，将写操作(如UPDATE、INSERT)定向到主服务器，把大量的查询操作(SELECT)定向到从属服务器，实现集群的负载均衡功能。如果主服务器发生故障，从属服务器将转换角色成为主服务器，使应用系统为终端用户提供不间断的网络服务；主服务器恢复运行后，将其转换为从属服务器，存储数据库副本，继续对终端用户提供数据查询检索服务。2、Web服务器集群Web服务器集群主要分成三大类：高可用集群(HighAvailabilityCluster/HA)，负载均衡集群(LoadBalanceCluster)，高性能计算集群(HighPerformanceComputingCluster/HPC)1）高可用集群(HighAvailabilityCluster/HA)：一般是指当集群中有某个节点失效的情况下，其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线，该过程并不影响整个集群的运行。2）负载均衡集群(LoadBalanceCluster)：负载均衡集群运行时一般通过一个或者多个前端负载均衡器将工作负载分发到后端的一组服务器上，从而达到将工作负载分发。这样的计算机集群有时也被称为服务器群（ServerFarm）。233）高性能计算集群(HighPerformanceComputingCluster/HPC)：高性能计算集群采用将计算任务分配到集群的不同计算节点而提高计算能力，因而主要应用在科学计算领域。这类集群致力于提供单个计算机所不能提供的强大的计算能力。3、调度服务器如何保证在云计算平台中部分硬件或软件发生故障的情况下仍不影响系统的正常运行；如何保证在云计算平台中高效稳定的合理化分配和执行任务，同时能够完全解决系统单点故障问题，负载均衡，自动调度与部署的高效云调度平台，调度服务器最大的作用是解决云计算系统中单点故障和任务调度问题。任务分发流程如下图所示：当用户在应用层下发任务给管理节点，管理节点调度机器处理任务，将任务扔给具体的处理节点，处理节点将结果返回给管理节点，管理节点整理结果，而后返回给应用层。服务器节点组：负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在云存储系统上。24处理节点组：通过RPC的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。处理节点组在一个设定的心跳间隔内主动和管理节点组联系一次，报告节点存活状态。5.5.对外服务5.5.1.模块简介流媒体服务作为流媒体应用的核心系统，是视频监控系统向用户提供视频服务的关键平台。其主要功能是提供RTSP/HTTP流媒体服务，其中RTSP提供实时视频流及录像回调视频流，HTTP则只提供录像回调视频流。5.5.2.主要功能流媒体集群工作流程图负载均衡、高并发访问：通过负载均衡各节点运行状态，提高系统工作效率，满足系统的高并发访问需求。监控视频流实时转发：前端视频数据经处理系统处理后，流媒体服务器将处理后的监控视频流进行实时转发给用户，满足各种客户端需求。历史视频数据流化推送，提供录像调回的视频流推送服务。服务器状态（负载、链接数）等信息获取。1、视频转发流媒体服务器实现把前端经处理服务器处理后的视频流通过网络转发给Web客户端、iOS客户端、Android客户端和云存储等应用设备。流媒体转发服务器采用先进RTP/RTSP流媒体网络传输技术，解决有限的带宽下多个用户并发访问同一个监控点问题，解决了网络带宽瓶颈问题，达到在低带宽网络中高效流畅的传输实时视频流功能。2、录像回看25流媒体服务器可以提供对历史视频数据的推送。存储系统将历史视频数据保存在云存储上，将云存储挂载到流媒体服务器上，流媒体服务器就可以像访问本地文件一样访问到云存储上的历史视频数据。当用户需要查看历史录像时，流媒体服务器可以将这些视频文件流化，通过RTSP或者HTTP协议推送给用户，实现用户查看远程历史录像的需求。3、流媒体负载均衡流媒体服务器集群采用LVS负载均衡来进行管理，对外提供虚拟网络服务。在服务器中设置一台负载均衡服务器，使用一个虚拟IP地址连接所有节点服务器，所有应用程序都使用该虚拟IP地址作为服务器集群地址。用户通过虚拟IP地址（VirtualIPAddress）访问服务时，访问请求的报文会到达负载调度器，由它进行负载均衡调度，从一组真实服务器选出一个，将报文的目标地址VirtualIPAddress改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将报文发送给选定的服务器。真实服务器的回应报文经过负载调度器时，将报文的源地址和源端口改为VirtualIPAddress和相应的端口，再把报文发给用户。4、视频流分发流媒体服务器可以对接入的同一路视频流进行多路的分发，当不同客户对同一路流发出请求时，流媒体服务器可以对视频流进行复制，并根据不同客户端的处理能力推送符合客户端需求的视频流，降低接入侧传输带宽的占用。5.6.多客户端客户端包括PC终端（支持Linux、Windows、MacOS等主流操作系统）、平板电脑终端（支持iOS、Android、Windows等操作系统）、智能手持终端（支持iOS、Android等操作系统）和大屏终端。主要功能有显示视频设备列表、播放视频流、与用户交互云台控制、多路视频播放等。5.6.1.客户端监控客户端主要实现用户登录，获取设备群组及设备信息列表，向平台请求实时视频流地址，以及解码并显示视频流等功能。客户端与平台通过JSON协议进行交互，用户登录后服务端返回一个UserID，以后各次请求数据将以这个UserID作为识别依据。同时进入主页之26后，客户端向服务端请求设备群组及设备信息列表，客户端通过树形结构、多级管理的方式来显示群组和设备列表。用户点击列表里某个视频设备之后，客户端向平台发送请求该路设备的实时视频流地址，而后平台对前端设备调度以及任务分发，得到处理之后的地址返回给客户端。客户端根据这个地址向流媒体服务器集群请求实时视频流，而后进行RTSP解码，转化成可以显示的图片，通过客户端页面控件显示出来。5.6.2.客户端功能用户管理功能：根据用户信息表，管理用户登录、用户的权限，可以管理用户信息、增删用户等。设备管理功能：采用树形结构，根据摄像机和用户的权限，管理当前用户授权的前端设备状态、节点运行状态，并进行实时的更新。服务器状态监控：定期轮询服务器，检测他们的状态，保证服务器稳定运行。实时监控：通过任务调度引擎，分发任务处理，获得接入的视频流，同时通过和接入服务器的交互完成云台、速度等相关的设备控制。移动接口：为保证适应移动设备不同的分辨率，需要对其进行实时解码，通过任务调度引擎来分发转码任务，返回转码的地址流，反馈给移动客户端。日志管理：完备的日志记录，可以了解系统的运行状况，以及现系统的bug，对调试等都有很大的帮助。录像回调：调阅已经录制的录像。监控大屏幕：控制解码器，将制定视频流推送给解码器，解码上墙。5.6.3.云台控制针对移动客户端，当用户在视屏播放窗口进行上、下、左、右、放大、缩小手势时，相应地将向服务端发送向上、向下、向左、向右、放大焦距、缩小焦距等命令。服务端通过调用前端设备的SDK接口来控制摄像头云台。而针对PC客户端，用户只需要通过点击相关云台按钮即可操控云台。5.6.4.智能识别调用后台智能识别的相关功能，通过浏览器的访问方式来展示智能识别的结果。并可根据预置的报警门限进行及时告警，如交管摄像头检测到车流量超过告警门限时，产生窗口提醒告警和日志记录，并对告警时的视频进行录像。275.6.5.多画面支持IPAD客户端、PC客户端以及视频墙分别实现了多画面监控播放，支持多画面模式里双击某路画面展现全屏效果。平台支持高并发的视频访问能力，并且根据客户端的不同处理能力，实时转码，瞬时动态调整视频的分辨率，满足用户需求的同时降低网络带宽的消耗。5.6.6.监控大屏监控大屏功能可以将平台中的视频流通过解码器将画面显示在电视墙上。首先客户在Web客户端上进入大屏监控管理界面，选择解码器并配置需要显示的画面数，将对应的摄像头配置到解码器的各个窗口里，当客户请求解码上墙后，平台通过任务调度引擎启动一个任务，从流媒体服务器上获取监控点的标准RTSP流，再将这些视频流重新编码成解码器需要的数据，推送给解码器，解码器被动解码还原出模拟信号，由VGA输出给大屏的某一个通道，通过大屏控制器指定电视墙的某一块区域，完成平台中视频流上墙功能，解决传统解码器只能接同一个厂家摄像头的问题。286.视频云存储系统设计6.1.产品概述ParaStor云存储系统采用了代表存储技术、网络通信技术及数据管理技术发展方向的并行体系架构，是一款面向海量非结构化数据、拥有自主知识产权的高端存储系统。ParaStor云存储系统汇集公司在并行计算和海量数据处理方面的丰富经验，从架构上彻底消除了传统存储系统的瓶颈，能够满足高带宽和高并发的海量文件存取的需求，为用户带来前所未有的存储性能体验。ParaStor云存储构建在X86存储服务器之上，通过并行文件系统实现数据分块管理，支持副本和N+M纠删码等多种数据保护手段，并以此为基础，完善多种文件传输协议支持，完善权限管理、配额管理、磁盘巡检、与UPS联动等高级功能。不同于传统的SAN存储，ParaStor云存储系统除支持文件存储服务之外，还提供面向OpenStack等云化环境的对象存储服务，提供面向Hadoop、Spark等大数据应用场景的数据分析服务。ParaStor云存储系统的每个存储节点通过多套网络直接与其它节点互联，既提高系统带宽，也提高网络系统的可用性；数据存储默认采用N+M方式提高数据可用性，一个文件的多个分片存储于不同的存储节点，防止存储节点失效引起的数据不可访问；数据存储节点根据硬盘类型自动分层，根据策略实现自动数据迁移和删除。296.2.产品特性ParaStor云存储系统具有如下优良的特性：1、EB级单一命名存储空间，集中化共享虚拟存储池ParaStor可以智能地将数据存放到存储系统的数据节点上，创建一个集中化的共享虚拟存储池，提供全局单一的命名空间。目前，业界有很多存储系统也声明支持PB级的单一命名空间，但其本质是将若干卷挂载在同一个目录下来形成的大容量统一命名空间，其效率和出现存储热点时的性能将会大大降低。2、单一命名空间支持千亿级文件数量在ParaStor中，把文件系统命名空间按照存储节点的数量进行分片，分别存储在不同的存储节点上，并同时向客户端提供服务。在ParaStor中单个目录下可以高效存放上千万个文件或者子目录，由于存储节点可以进行动态扩展，整套文件系统可以达到千亿级文件数量。所有的存储节点同时对外提供服务，支持海量文件高速查询，轻松应对大量客户端的并发密集型数据读写操作。3、多种数据保护机制，高空间使用率，支持快速数据重构ParaStor默认对数据以N+M纠删码方式进行可靠性保护。在ParaStor中N+M最高可以提供N+4的数据保护，在N+4的配置中，最高可以在系统中同时失效任意4块硬盘或者任意4台存储节点而不影响数据安全，提供比RAID5/6更高级别的数据保护。ParaStor在提供高级别数据保护的同时也保持了较高的空间率用率，如：常用的8+2:1，最少需要6台节点，但是允许同时失效任意2块硬盘或者任意1台存储节点而不影响数据安全，空间利用率为80%。4、全冗余架构，自动故障恢复ParaStor系统采用全冗余架构，支持快速数据重构技术。根据测试，2TB数据，硬盘发生故障后恢复时间小于1小时。（2TB指数据容量，硬盘容量可以是6TB或8TB）ParaStor内置自动故障探测机制，一旦探测到故障，则自动启动数据恢复流程。在恢复过程中无需加入新的硬件，损坏设备上的数据将被恢复到没有损坏的存储服务器。整个恢复流程完全在后端自动运行，无需管理员的参与，一旦数据恢复完成，整个系统立即成为最高安全状态，这时再发生硬件损毁也不会导致数据的丢失。305、自动存储分层技术ParaStor内置自动分级引擎，自动识别存储介质，在同一文件系统中将存储介质分为存储和近线存储两个存储层。能够根据文件的访问频度、创建时间等参数将数据在存储层中动态迁移，数据迁移过程对应用完全透明。存储层推荐SSD和15KRPMSAS，近线存储层可以是SATA和NL-SAS。6、多协议访问接口支持ParaStor支持标准的NFS、CIFS、HTTP、FTP、POSIX、SNMP接口，以及HDFS接口，具有广泛的适应性。ParaStor云存储系统外的其它设备，只要通过以太网络能访问集群系统，就能通过NFS或CIFS挂载ParaStor，方便数据访问管理。ParaStor支持对大数据分析和虚拟化存储系统的统一管理，使用存储系统自带的分级存储功能，能有效隔离虚拟机镜像文件，通过策略配置使虚拟机镜像或数据分析文件数据保存在高速SSD磁盘分组内，为虚拟机运行和数据分析提供持续高速、稳定的IOPS性能。此外，针对大数据分析，ParaStor提供标准的HDFS接口，数据无需拷贝到大数据分析平台，实现精简配置，实现多套大数据平台间的统一数据共享，降低大数据分析平台整体运维成本。7、模拟磁带库的WORM功能ParaStor提供基于文件的WORM（WriteOnesReadMany）技术。管理员可创建存储的WORM时钟，确保时间不被篡改。支持手动将写入数据置于WORM状态；可设置自动将写入数据置于WORM状态的时间。默认配置最小时间为2小时（可更长），意思是2小时文件无修改即被锁定为WORM状态。8、Scale-out扩展方式，性能和容量随节点数量增加而线性增长简单来说，Scale-up是纵向扩展，Scale-out是横向扩展。Scale-up向更强大的CPU，内存，通道及其他设备扩展，而Scale-out则是通过一定的技术将一个个独立的低成本存储节点聚合成一个大而强的系统。对用户而言，Scale-up架构的存储系统其设备处理能力上限在购买时已经确定，如果需求超过上限，只能重新购买更高规格的设备；而Scale-out架构的系统可以采用搭积木的方式，通过把成百上千台个体聚合起来，来满足不断增长的存储容量和性能的需求。319、支持高并发IO，提供高达数百TB/s级的聚合带宽ParaStor的聚合性能随着节点数量的增加而增加。ParaStor的聚合带宽，可以用每节点带宽乘以节点数来计算，系统性能线性增长。部署于深圳云计算中心的总容量16PB的ParaStor系统，提供高达100GB/s的聚合带宽。10、可视化统一管理和监控，支持集中部署、故障预警等高级功能ParaStor云存储管理系统是专为ParaStor系列产品开发的统一监控管理平台，提供系统配置、客户端管理、性能优化、监控告警等功能，直观易懂的中文图形化界面方便用户实时监控系统的软硬件状态和性能，简化安装和维护过程，提高管理效率。6.3.主要功能ParaStor云存储系统提供Web管理方式，用户可以通过Web管理界面进行系统的安装、使用、管理维护等操作，本章节主要对管理界面的各个模块进行简单地介绍。在浏览器地址栏中输入管理节点的URL地址，弹出如下所示的登录界面：目前ParaStor系统支持两种认证方式登录：\uf0d8Web用户登录，默认的用户名和密码分别是admin、admin。\uf0d8操作系统用户登录，需要输入root用户名及root密码。登录ParaStor系统后，可以看到主界面主要分为监控、管理、高级三大功能菜单。监控界面，提供对系统整体的监控，使得用户对系统的状态、性能、容量使用、告警等整体情况一目了然；管理界面提供ParaStor系统安装维护、客户端管理、文件系统、配额管理、NAS配置等功能；高级界面提供存储配置、资源配置等功能。326.3.1.监控界面监控界面分为视图、告警、报表、事件等部分，每一部分又分为不同的子菜单，从各方面对系统进行监控。支持点击节点类型或具体节点查看详情。1、系统视图1）全局视图（1）一级视图监控界面一级视图可以清楚地看到整个系统的状态，索引节点、存储节点、管理节点的状态；通过读写带宽、性能趋势图可分别了解系统当前及历史的性能值；与此同时，该视图还会显示存储容量使用及对象修复情况。（2）二级视图点击全局视图页面的控制器名称，可进入二级视图页面，如下图：33（3）三级视图在二级视图页面，双击节点名称可进入到三级视图界面，如下图所示：2）机柜视图点击监控菜单的机柜视图，可以看到机柜的整体情况，如图所示：34机柜视图的左上方给出系统故障盘、未用盘、正常盘的数目。机柜展示为按照实物位置放置物理节点的磁盘柜；鼠标移到机柜上可以显示机柜的具体信息，其中包括节点名称、节点类型及状态；鼠标移到磁盘上可以显示磁盘的具体信息，其中包括磁盘状态、剩余容量、已用容量、读速率、写速率、所在节点、插槽号、磁盘路径、磁盘角色、磁盘类型和序列号。点击机柜中的任一节点，可以放大该节点的显示效果。机柜的信息可以通过右上角的“导出”按钮导出备份。3）拓扑视图拓扑视图给出各节点的拓扑连接，同时显示各节点的状态及网络情况。拓扑视图最上方左侧给出了节点状态对应的显示图标，右侧提供手动刷新及定时刷新功能按钮。拓扑视图页面左上角是系统信息面板，主要展示了系统状态、各功能节点数量、系统总容量、剩余容量及系统的读/写速率。拓扑视图页面主体显示各功能节点之间的拓扑关系。4）网卡监控35系统提供网卡监控功能，可以对网卡设备的启动状态、连接状态、数据包接收数目、数据包丢弃数等参数进行监控。点击管理->网卡监控，可以看到如下信息：2、系统告警告警分为实时告警和历史告警，实时告警记录在特定时间内尚未恢复的问题，一旦解决就会消失，而历史告警同时记录未解决和已经解决的问题。工具栏中包含查询功能、高级查询功能、删除告警、恢复告警、终止处理及PDF和EXCEL格式的报表导出。3、报表管理为了统计系统在一段时间内的性能等指标的变化趋势，监控界面提供了自定义和预定义两种报表形式。1)自定义报表自定义报表允许用户按照模板设计自己需要的报表形式。36左侧列出系统提供的若干报表格式模版，双击某一模版，在右侧的面板中会出现报表中需要用户配置的信息。2）预定义报表除自定义报表以外，用户还可以通过之前配置保存的报表形式导出报表。选择左侧模版子节点的预定义报表格式，双击在右侧面板中展示报表。通过工具栏中的相应按钮可以按照格式导出报表；通过工具栏中的“删除预定义报表”可以删除左侧对应选取的预定义报表。4、事件管理事件管理界面以列表的形式展示系统的事件，其中包括事件发生的时间、时间的类型、等级和对事件的描述。376.3.2.管理界面管理界面提供对ParaStor系统的管理维护，主要分为集群管理、文件系统管理、权限管理和NAS管理几大部分。1、集群管理集群管理部分包含系统维护、系统IP更改、磁盘巡检、NAS激活向导多个模块。系统维护包括对于整个系统的启动、关闭、卸载等操作，也包括对存储节点、索引存储节点、管理节点各节点的启动、关闭、重新安装等相应操作。磁盘巡检功能定期对的数据盘进行扫描，保证数据的正确性。1）系统维护管理界面的系统维护包括ParaStor系统的维护及管理节点、索引存储节点、存储节点的维护。系统维护包括“启动系统”、“关闭系统”、“卸载系统”及“升级系统”。系统支持离线升级，系统的升级包括两部分，一是底层软件包的升级，二是Web管理界面的升级。底层软件包升级完成后才能升级web管理软件包。系统节点维护包括启停服务、在线添加节点、更换故障磁盘、在线删除/重建节点等操作。382）磁盘巡检系统支持磁盘巡检功能，定期对数据盘进行数据校验检查，如果出现坏道导致数据丢失后，系统将自动修复丢失的数据，目前，系统支持两种方式的磁盘巡检机制，一是“一次性巡检任务”，二是“定时巡检任务”。点击管理->磁盘巡检，可以看到如下界面：一次性巡检任务可以指定巡检的开始时间，当到达预设的时间时，启动磁盘巡检。定时巡检任务指定每周特定日期特定时间，系统将会在该日期的时间段内进行磁盘巡检。假如特定时间段内未完成所有磁盘的巡检，将会在下次定时任务时继续进行。2、文件系统管理文件系统管理部分包括对文件系统的增、删、改、查功能；配额管理能够提供针对文件系统、目录、用户及用户组的虚拟配额和配额管理功能。391）文件系统管理点击进入高级->文件系统，可以看到已有的系统名称、描述信息及创建时间，默认的初始文件系统是ParaStor，用户可以根据自己的需要重新创建。在“文件系统管理”控制面板中，点击“创建文件系统”，依次输入文件系统名称、描述信息（非必填写项）、系统模板，点击“确定”按钮，等待文件系统创建成功。2）配额管理登录系统，选择功能菜单中的“高级”，二级菜单选择“配额管理”，可以看到用户配额、用户组配额、文件系统配额、文件系统用户配额、文件系统用户组配额等5种不同的配额类型。配额列表包含以下信息：用户名、用户ID、已用容量、可用容量、空间利用率、已用文件数、容量软阈值、容量硬阈值、文件数软阈值、文件数硬阈值。3、权限管理用户权限管理部分包含用户认证服务器的配置和用户/用户组的管理，ParaStor支持使用本地认证或外部认证服务器两种方式；4、NAS管理NAS管理包含对NAS分区及共享目录的相关操作，共享目录提供了共享目录的增删、访问权限设置及查看等操作。1）NAS分区主要是针对NAS分区对应域名的设置、分区服务参数配置、访问IP限制和挂载目录设置等。具体操作同高级管理配置的分区管理章节。40支持针对分区内部节点的管理，含增加、删除和强制删除节点，启动、重启和停止节点上的各项服务。页面显示各节点的服务状态信息、挂载路径信息、客户端连接数量等。2）共享目录主要是针对共享目录的增加、删除和修改等操作，共享目录分区名称、目录名称、共享路径和NFS/CIFS等服务状态等（含详情）。（1）权限控制ParaStor云存储系统支持NIS、LDAP和AD用户管理方式，存储系统默认提供NIS服务。不同用户操作文件时，可以设置相应的权限。对于通过NFS访问的客户端来说，在导出共享目录时，可通过IP限制，只有授权的IP才能挂载，挂载时可以设置挂载的参数，比如：只读、可读写权限，使得客户端上的用户针对挂载目录具备不同的操作权限。对于不含删除的读写权限，可通过在客户端上设置共享目录的ACL属性，就可以控制用户的删除权限。41对于通过CIFS访问的客户端来说，在导出共享目录时，为每个用户指定只读和读写权限，然后通过底层的ACL属性，可以控制用户的删除权限。（2）多域名访问用户可以通过域名来访问ParaStor云存储系统导出的共享目录。用户可将系统管理节点设置为域名服务器，也可在原有域名服务上增加一条转发功能，将指定的域名访问转发给系统内的域名服务器；可建立多个域名服务器，客户端可以选择不同的域名访问。设置域名服务器如下图：42设置域名服务后的共享目录挂载如下图所示：可以看到，共享目录支持将存储系统目录或子目录导出为共享目录。共享目录的挂载方式可以应用于业务系统和虚拟化平台。以VMwarevSphere为例，虚拟化平台挂载示意如下图所示：436.3.3.高级界面高级功能界面提供分级存储、存储池配置、存储配置（参数、阈值、资源等管理）及WORM配置4个部分。其中，存储池配置提供分区管理、文件布局、磁盘分组；存储配置提供对文件系统的配置功能，包括参数配置、资源配置、阈值配置、策略配置；存储安全WORM配置主要是针对目录级别的安全性设置。1、分级存储登陆系统，进入“高级”界面，在界面左侧的二级菜单中选择“分级存储”，在策略类型一栏中可以看到迁移策略、删除策略、新文件策略、分区策略四种策略类型。这四种策略都是针对特定目录设置，其中：迁移策略即该目录下满足策略的所有文件都会被迁移到目标介质上；删除策略即目录下在策略规定时间内没有修改的文件及没有被修改及访问的目录都会被删除，除挂载点外策略对应的目录也会被删除；新文件策略只对对应目录下新创建的文件生效，已经存在的文件不适用该类策略，新文件策略对应的目标介质只是作为优选项，如果策略规定的介质选择失败则会按介质由慢到快的优先顺序选择其他介质；分区策略即指定目录下新创建的文件只能创建到特定分区。每类策略都支持设置多条策略，策略ID号依次上升，全局统一编号。如果迁移策略、新文件策略、分区策略三种策略内部设置了相冲突的多条策略，则遵循策略ID号最大的策略；否则若不冲突，则各策略均发挥相应的功能。44每种的策略类型都可以对其进行策略增加、策略修改、策略删除等操作。系统有默认的快慢介质分类，如果需要调整，可以通过设备配置功能进行。2、存储池配置1）分区管理登陆系统，进入“高级”界面，在界面左侧的二级菜单中选择“分区管理”，在右侧分区列表中可以看到增加分区、删除分区、修改分区名、配置分区，最右侧有分区最大节点数显示，并可以修改。每个分区中包含的信息有名称、序号、节点数、节点列表。2）文件布局登陆系统，进入“高级”界面，在界面左侧的二级菜单中选择“文件布局”，可以使用文件布局特性。该项特性支持查看文件、目录的布局信息；也可以修改目录的用于子文件创建的布局信息。左侧为目录树，选中相应的目录，单击设置布局，可以修改目录（包括子目录）的用于子文件创建的布局信息，这一修改只针对该目录树下新建文件，不会改变已经存在的文件布局。在设置布局弹出的对话框中有两种模式可以选择：副本和N+M模式。选择副本模式，则根据oStor节点输入相应的副本数，条带宽度和条带块大小默认；选择N+M模式，根据oStor节点输入相应的磁盘的冗余个数M、节点的冗余个数b、原始数据份数N。3）磁盘分组登陆系统，进入“高级”界面，在界面左侧的二级菜单中选择“磁盘分组”，在右侧可以看到相应的信息，包括：分区号、分组号、磁盘盘符、磁盘45ID、数据状态、磁盘状态、磁盘类型、磁盘分组号、磁盘所在节点号。其中分区管理中的分区设定决定了磁盘分组中的分区号。3、存储配置1）参数配置登陆系统，打开高级菜单下的参数配置菜单，参数配置如下图所示：列表中分类展示了所有系统的参数。2）阈值管理登录Web管理界面，打开高级功能下的阈值管理菜单，阈值管理界面如下图所示：此模块支持阈值描述的查询、手动刷新、显示设置和保存修改功能。3）资源配置登录Web管理界面，点击进入高级->资源配置，看到的界面配置如图所示：46页面左侧为资源种类的树形菜单，勾选任意类型，右侧表格显示对应种类的资源。6.4.对外接口ParaStor云存储系统支持SNMP和命令行的方式获取系统监控指标。其中，SNMP方式包含了所有的指标，命令行方式主要侧重于方便系统部署运维。6.4.1.SNMP监控指标系统在部署过程中通过节点信息采集命令获取节点初始信息，并保存到数据库。当系统启动后，存储系统SNMPServer服务即开启，可以通过SNMP标准调用接口获取存储系统的各个指标信息，其中包括节点网络信息、节点磁盘信息、节点操作性能以及告警指标等信息，然后更新保存在数据库中。后续章节仅就云存储基本信息、文件系统信息和告警信息予以说明。1、存储系统基本信息指标名称数据类型指标含义parastor_serial_number字符类型系统系列号parastor_name字符类型系统名称parastor_type字符类型系统型号parastor_version字符类型系统版本parastor_wwn字符类型系统WWNparastor_node_number字符类型系统节点个数parastor_total_disknr无符号32位整型系统磁盘总量parastor_physical_diskid_list字符类型系统物理磁盘id列表parastor_logical_diskid_list字符类型系统逻辑磁盘id列表parastor_total_bytes64位整型系统总容量parastor_offline_bytes64位整型系统可配置容量parastor_available_bytes64位整型系统总可用容量47指标名称数据类型指标含义parastor_used_bytes64位整型系统已用字节数parastor_avail_bytes64位整型系统可用字节数parastor_recent_throughput64位整型系统最近吞吐量parastor_total_read_bytes64位整型系统总读出数据量parastor_total_write_bytes64位整型系统总写入数据量parastor_recent_read_iorequest64位整型系统最近IO读请求数parastor_recent_wtite_iorequest64位整型系统最近IO写请求数parastor_cache_hit_rate64位整型系统CACHE命中率parastor_recent_read_bytes64位整型系统最近读带宽parastor_recent_write_bytes64位整型系统最近写带宽parastor_bad_objs64位整型系统坏对象数parastor_rcvr_objs64位整型系统修复对象数parastor_total_inodes64位整型系统inode总数parastor_used_inodes64位整型系统已用inode数量parastor_free_inodes64位整型系统可用inode数量parastor_files64位整型系统文件数量parastor_dirs64位整型系统目录数量parastor_state字符类型存储系统运行状态2、文件系统基本信息指标名称数据类型指标含义fs_name字符型文件系统名fs_id无符号32位整型文件系统IDfs_inode_size无符号32位整型inode大小fs_subdir_nr无符号32位整型子目录个数fs_stripe_size无符号32位整型条带大小fs_stripe_width无符号32位整型条带宽度fs_reps_nr无符号32位整型备份数fs_stripe_width_subtree无符号32位整型N+M:b中N数值大小fs_diskparity_subtree无符号32位整型N+M:b中M数值大小fs_nodeparity_subtree无符号32位整型N+M:b中b数值大小fs_files_nr无符号32位整型文件个数48指标名称数据类型指标含义fs_inodes_nr无符号32位整型inode个数fs_dirs_nr无符号32位整型目录个数3、节点网络状态监控指标说明指标名称数据类型指标含义net_localip字符型节点本地IPnet_remoteip字符型节点对端IPnet_remotetype字符型对端节点类型net_remoteid无符号32位整型对端节点IDnet_status字符型网络通路状态,状态有ok,failednet_recent_read_bytes64位整型网络通路最近读字节数net_recent_write_bytes64位整型网络通路最近写字节数node_net_recent_read_total_bytes64位整型节点网络最近读字节总数node_net_recent_write_total_bytes64位整型节点网络最近写字节总数4、告警信息监控说明指标归属指标名称数据类型指标含义DISKwarn_disk_state字符型磁盘状态，uinited,ok,warn,plugout,badwarn_disk_bytes32位整型磁盘使用率百分比（0~100）warn_disk_files32位整型磁盘创建文件百分比（0~100）MGRwarn_mgs_state字符型mgs状态,shutdown,ok,abnormalwarn_mgs_hastate字符型mgsHA状态DSwarn_ds_state字符型DS节点状态,shutdown,ok,abnormalwarn_ds_bytes32位整型磁盘使用率百分比（0~100）warn_ds_inodes32位整型磁盘使用率百分比（0~100）warn_ds_badobjs32位整型DS坏对象数（超过阈值）MOSwarn_mos_state字符型MOS节点上oPara状态,shutdown,ok,abnormalwarn_jnl_state字符型MOS节点上jnl状态,shutdown,ok,abnormal49指标归属指标名称数据类型指标含义warn_mos_hastate字符型MOS节点上HA状态,shutdown,ok,abnormalCPU/MEMwarn_cpu32位整型CPU使用率百分比（0~100）warn_mem32位整型内存使用率百分比（0~100）warn_swap32位整型交换分区使用率百分比（0~100）文件系统warn_para_bytes32位整型存储系统使用率百分比（0~100）warn_para_inodes32位整型存储系统文件个数使用率百分比（0~100）warn_para_badobjs32位整型存储系统坏对象个数网络warn_node_isolate字符串节点隔离描述warn_node_offline字符串节点离线描述warn_netlink_bad字符串网络连接断开描述配额warn_quotas_limit字符串配额超限描述6.4.2.命令行监控指标存储系统的命令行监控包括节点状态监控、节点性能监控、磁盘状态监控、网络监控和文件系统监控等。1、监控系统运行状态:checkstat命令格式/home/parastor/bin/sysctl/parastor_monitorcheckstat[nodetype=xnodeid=x]参数描述nodetype节点类型，即oStor、oPara、MGR等nodeid节点ID号功能用来监控节点nodetype#nodeid的服务状态。当不输入nodetype和nodeid时即监控整个parastor存储系统，2、监控节点状态:checknodeperf命令格式/home/parastor/bin/sysctl/parastor_monitorchecknodeperf[nodetype=xnodeid=x]参数描述nodetype节点类型，即oStor、oPara、MGRnodeid节点ID号功能用来监控节点nodetype#nodeid的状态。当不输入nodetype和nodeid时即监控整个parastor存储系统。503、监控系统存储状态:checkperf命令格式/home/parastor/bin/sysctl/parastor_monitorcheckperf参数描述无功能用来监控parastor存储系统的性能状态。4、监控网络状态:checknetperf命令格式/home/parastor/bin/sysctl/parastor_monitorchecknetperf[nodetype=xnodeid=x]参数描述nodetype节点类型，即oStor、oPara等nodeid节点ID号功能用来监控节点nodetype#nodeid的网络状态，当不输入nodetype和nodeid时则输出所有节点的网络性能数据。5、监控文件系统设置:checkfsperf命令格式/home/parastor/bin/sysctl/parastor_monitorcheckfsperf[fsname=xx]参数描述fsname文件系统名称功能监控文件系统fsname的详细信息。6、监控文件系统的网卡状态:checknetcardperf命令格式/home/parastor/bin/sysctl/parastor_monitorchecknetcardperf[nodetype=xnodeid=x]参数描述nodetype节点类型，即oStor、oPara等nodeid节点ID号功能用来监控节点nodetype#nodeid的网卡状态状态，当不输入nodetype和nodeid时则输出所有节点的网卡状态。全文完51',)