基于视频结构化图侦系统的应用

目前，视频监控系统已经成为治安防控、侦查破案的重要手段。但是，面对 海量的视频信息、 非结构化的数据形式和内容的多义性，

在案发后人工调阅方式

耗时耗力， 大量视频未经梳理而流失， 严重影响了监控系统的建设成效。 目前在 安全防范领域中， 有效分析、 组织和管理视频数据， 研究基于内容的视频应用系 统取代人工方式，已经成为警务信息化应用的研究重点。

本文分析研究了视频数据的规范化采集、结构化存储和全局性共享等问题， 提出基于视频内容结构化分析技术，按照“一个证据中心，两个核心应用”方式 来构建图侦系统的技术方案和应用模式。主要工作包括：

（1）分析了当前公安图侦工作的困难和制约，研究了视频图像从采集、研 判，到管理、应用的一体化工作模式， 基于视频内容结构化分析技术， 提出了“视 频证据中心、视频图像取证、视频研判分析”为框架的网侦系统研发思路。

（2）从警务一体化的角度， 以视频采集、 证据管理、 研判应用为业务主线， 研究了基于视频结构化图侦系统建设的总体技术方案、

基本功能点， 设计了系统

研发的体系架构、逻辑架构、数据架构，以及与外部系统之间的关系。

（3）分析了视频结构化建库的主要任务和核心问题，从视频人、车、物基 本要素入手， 进行了视频证据中心的模型设计，

包括证据中心的体系结构、 视频

- 关系图（ ERD）。

对象结构化定义、对外数据交互视图，以及证据中心实体

（4）从工作模式和核心应用出发， 分析了图侦业务的主要角色和主要环节， 设计了图侦工作的业务流程、 关键业务交互顺序、 摘要索引业务流程和基本功能 点，整合运用视频结构化、视频摘要、视频索引等先进技术，进行了软件的设计 和实现。

使用结果表明， 基于视频内容结构化开发的图侦系统， 能够实现视频监控信 息的全程筛选， 防止有用信息的流失， 再造了视频监控及研判应用的信息流及业 务流，能够有效支撑了图侦工作机制的转型发展。

第一章 绪论

1.1. 研究的背景和意义

随着国家经济、社会的快速发展 , 人民群众的安全防范意识不断提高。特别 是 2005 年以来，公安部大力推动 “3111”工程和城市报警服务与监控系统建设， 以“天网工程”、“ 平安城市”项目为引领的社会治安视频监控系统建设迅猛发展， 保守估计全国各级公安机关可直接调控的视频监控摄像机已超百万支

[1] ；各行

各业、各重点企事业单位社会也广泛开展视频监控系统建设，加强对重点部位、 重要场所的实时监控。 视频监控系统已经成为维护社会稳定、

治安安定和创新社

会管理的重要手段， 在指挥决策、 治安防控、 侦查破案和执法监督等方面发挥着 积极的作用。

当前，视频监控系统已经成为治安防控、侦查破案的重要手段。但是，由于 视频数据量庞大且格式复杂，存储代价昂贵且难以管理，面对海量的视频信息、 非结构化的数据形式和内容的多义性，

在案发后人工调阅方式耗时耗力， 大量视

频未经梳理而流失， 严重影响了监控系统的建设成效。 2012 年 2 月公安部下发 《全国公安机关视频图像信息整合与共享工作任务书》 ，要求充分利用先进的视 频监控、 图像处理技术， 深入开展视频图像信息共享应用平台建设。 目前在安全 防范领域中， 有效分析、 组织和管理视频数据， 研究基于内容的视频应用系统取 代人工方式，提升监控系统建设成效，已经成为警务信息化工作的研究重点。

为此，必须充分运用先进的图像处理技术， 突破视频监控系统联网、 整合与 共享工作中存在的发展瓶颈。 原有监控工作模式的不足， 主要表现在 “视频图像 采集”、“视频图像检索”和“视频要素建库”这三个环节。

（1）视频图像采集不规范

按照公安机关对视频监控系统建设的相关规定， 一般要求视频监控系统具备 至少 30 天连续视频图像存储能力， 并能自动循环覆盖存储。 在实际工作中， 由 于视频图像采集速度慢且过程繁琐， 原始视频数据量庞大且格式复杂， 备份海量 视频需要海量存储空间等原因，难以建立起一套有效的视频图像信息采集机制， 只有在查处大要案事件时， 办案部门才会调阅视频监控资源，

查找嫌疑人或可疑

物品，并随案保存相应视频资料， 99%以上的视频图像被自动循环覆盖而没有经

过图像信息的梳理采集并保存使用， 存在有价值的视频图像信息被覆盖、 被流失、 被放弃等问题，严重降低了视频监控系统的建设成效。

在传统的视频监控系统， 即使建设了大量的摄像镜头， 但是缺乏对数据的有 效分析和利用， 大量的有价信息被丢弃或湮没于数据海洋中， 成为数据垃圾， 投 资大、成效低。图 1-1 描绘了原有视频监控图像信息的完整生命周期，仅有不 到 1%的视频信息经过梳理研判，绝大部分的视频监控信息没有经筛选而直接流 失。因此，充分运用先进的图像处理技术，特别是视频信息的结构化分析技术， 建立成熟、规范的视频图像信息采集、管理和研判、应用机制已经十分紧迫。

图 1-1 传统视频监控图像信息的完整生命周期分析 在日常网上监

控巡逻工作中， 由于缺乏一个可操作性的工作平台，

立健全视频图像信息的采集、管理机制，视频监控有“巡”无“查”

也没有建 ，监控操作

人员缺乏有效的可操作性工作指标。 因此，构建规范化的视频图像采集机制对于 提升视频监控系统运用价值具有积极意义。

（2）视频图像检索困难 当前，视频监控系统深度运用的另一个瓶颈是视频调阅耗时耗力，

以人工方

式进行检索， 效率低下。 主要表现在： 在案发后对海量涉案视频信息的调阅过程 耗时严重， 所需人员投入量巨大并随着案情的复杂程度递增； 原始涉案视频质量 参差不齐， 有时还需要另外工具和受过专业图像处理训练的人员。

因此， 对海量

涉案视频的调阅， 对人的体能和精力都是极大的考验， 从而直接导致检索效率下 降，无法有效地快速浏览视频、定位目标。运用视频图像转码技术，可以将非标

格式图像转换成标准格式， 便于开展统一视频图像信息采集和建库管理； 基于视 频摘要技术处理后， 整合形成的摘要视频远远短于原始视频， 从而缩短了人工调 阅的时间， 便于快速锁定目标， 快速提取线索信息， 截取可疑目标出现和消失的 视频片段， 并与警务数据库进行图片或视频的关联标注保存。 这样当有案件需要 检索线索时可直接查看标注图片或截取视频，提高了检索线索的效率。

（3）视频对网络带宽的瓶颈制约

随着视频监控的联网发展， 警务人员在需要倒查录像的时候， 都会采用联网 下载的方式， 这样虽然提升了办案的效率， 但也带来了一些弊端， 例如对网络带 宽的依赖，在倒查录像的时候需要对录像进行下载或者以流媒体的方式进行查看， 无论采用何种方式， 都会占用非常巨大的网络带宽资源， 如果网络无法正常工作 或者出现网络堵塞等情况， 录像文件往往还有可能出现数据丢失的情况， 如何摆 脱或者降低对网络的依赖以成为了当前视频监控市场一个迫切需要解决的难题。

（4）视频结构化建库不足

目前，各地都在积极探索建立视频信息库， 对各部门、 警种关注的视频图像 信息进行整理、分类存储。但是，在实际工作中，由于视频信息的非结构化、多 语义性， 所建的视频信息库， 只能对案件进行简单标注，

各地仍然以人工查看为

主。近年来，视频特征提取、视频结构化分析、视频索引、视频检索等技术已经 取得了明显的进步， 但在整合应用上还有距离， 还没有形成一个成熟的工作平台 和应用体系。

因此，充分利用视频结构化分析、 视频摘要等图像处理技术， 从案事件证据 的角度，建立案事件视频证据库， 用来存储从视频监控系统中提取的视频片段和 图像特征信息， 构建以视频图像共享应用为核心的工作平台， 对强化公安机关视 频图像信息资源的综合开发利用， 提升公安机关的核心战斗力具有积极的现实意 义。

图侦系统是吴江市“ 1+X”视频监控系统项目建设的核心系统，系统建设的 部分成果， 例如视频摘要子系统、 视频检测子系统等， 已经在吴江市公安局进行 试用，效果满足公安实战需要，有关基层公安机关视频巡逻、视频取证、视频研 判、新机制也在逐步推进之中。

1.2. 项目研究的目的

本文将整合运用视频结构化、 视频摘要和数据挖掘等先进技术， 研究构建视 频图像信息共享侦查应用系统 （以下简称“图侦系统”），提供覆盖视频业务从 “采 集”、“研判”到“保存”、“管理”、“应用”的全局能力支撑，使视频图像成为重 要的案件侦破手段和情报来源， 前瞻性地推进视频监控系统建设由 “信息”到“情 报”的演进，并将最终为基层公安民警提供一个“贴近实战、研判高效、管理有 序”全局性的视频研判作业环境。主要目标如下：

1、对接视频监控联网系统，实现对联网监控视频图像的统一采集、调取， 进行案事件视频处理、研判、统一管理、图像要素布控等提供技术手段。

2、满足案事件现场移动视频图像采集，实现案事件现场视频图像处理、现 场研判；能够快速对现场周边图像进行采集、视频转码播放、视频属性编辑等。

3、能够实现视频的结构化分析，具有视频摘要、视频索引、视频检索、视 频编辑、图片处理等多种视频图像处理手段，提高视频自动分析能力。

4、实现基于 PGIS系统资源，实现案事件视频图像轨迹标注、 作案路线推演。 同时通过电子地图，快速调取需要关注的监控点、监控区域图像以及警务资源。

5、对接警务综合信息系统，建立视频图像信息证据数据库，为全警日常警 务工作中收集到的可疑或涉案图像资源提供统一的资源管理及存储空间。 信息的收集与查询、关联资源的碰撞、串并案分析研判提供基础环境。

总之，通过构建和部署应用图侦系统，要求能够： （1）快速锁定突发事件的 嫌疑目标；（2）快速标定嫌疑目标的运动轨迹； （3）发现潜在破案线索—可以有 更多的机会审视更长的录像文件，发现更多的破案信息。

从而，使公安机关能够：（ 1）缩短破案时间，节省办案人员； （ 2）降低警员 劳动强度，降低办案成本； （ 3）极大提升办案效率。

1.3. 国内外应用研究现状

在形式上，视频数据具有非结构化、 内容多义性和流媒体传播的特征。 因此， 视频数据不同于传统数据库所处理的数据类型， 它不是一种简单的数值或字符型 数据，传统数据库中对字符或数值型数据的处理方法己经完全不能适应对视频数 据的处理要求。长期以来，人们只能以流媒体的方式按时间段来存储视频数据。 同时，由于数据量庞大、非结构化形式，视频数据存储代价昂贵难以长期保存， 也不具备传统数据

为重要