步骤展开的。例如，在视频分割当中包含镜头探测、场景聚类、故事单元探测等 技术 ; 在视频内容提取当中包含字幕识别，人脸识别等技术。它们为后续的摘要 工作提供铺垫。

它们涉及了自然语言处理、 人工智能甚至心理学领域的知识， 所用技术也相 对比较复杂。

2.3.

视频检索技术综述

所谓“视频检索技术” ，就是通过对视频内容的分析、表示，提取视频特征 信息，建立视频结构化数据库和特征索引， 利用被检索的图像特征值与数据库中 图像的特征值进行特征的相似性匹配，从而达到对图像检索的目的。

因此，基于内容的视频图像检索技术首先要解决的问题就是视频中图像内容 的分析和表示 [34] 。视频中图像内容的分析和表示指的是首先提取视频段中的关 键帧，关键帧是这一段视频中能反映视频段主要信息的图像， 的颜色、 纹理、形状信息以及像素的相互关联进行分析，

通过对这张图像像 素从而可以得到一系列

数字特征或者描述特征， 通过这些特征可以在一定程度上对图像本身的内容进行 描述。然后， 利用这些特征值可以对图像建立索引， 利用被检索的图像特征值与 数据库中图像的特征值进行特征的相似性匹配， 从而达到对图像检索的目的。 因 此，图像内容的描述问题实质上是一个图像特征值的提取问题。

2.3.1 视频特征的提取

从广义上来说，图像的特征信息包括文本 ( 比如关键字、注释 ) 和视觉特征。 图像的视觉特征可分为两类， 一类为通用的视觉特征， 另一类为和领域相关的视 觉特征。第一类用于表示所有图像共有的特征，与具体的图像类型或内容无关， 主要包括图像的低级特征如颜色、

纹理、形状以及图像的高级特征如图像中的字

与实

幕等信息； 另一类主要建立在对所表示图像内容的一些先验知识的基础上， 际应用紧密相关，

比如，人的指纹特征与面部特征等。 从这个意义上来说， 基于内容的视频检 索实质上是基于视频图像特征检索的过程。 本文需要采用的是图像中行人与车辆 视觉特征的提取与匹配技术，主要涉及到图像的低级特征。

通过对视频进行结构化分析， 我们通常可以得到四种级别的视频单元： 场景、 镜头、事故单元和关键帧。 针对不同的级别单元， 提取单元特征的方法也不完全

相同。

如果提取的视频单元为场景， 就要提取场景的故事情节； 而对于镜头， 就需 要对运动对象的特定信息和视频的运动信息进行提取； 在对关键帧这一层进行处 理时，一般需要对图像提取一些低级特征，例如颜色、纹理、形状等。因为事故 单元可以由一个或多个关键帧来表示，

因此在事故单元级别上的特征提取事实上

也属于关键帧特征提取的范畴。 要在关键帧层次上提取这些低级特征， 相对比较 简单，一般可以自动提取。

而要在场景、 镜头层次上提取那些属于视频高级语义的图像特征， 就目前的 技术发展来看它的提取难度相对较大， 即使可以提取出来， 不仅需要大量的人工 交互，提取结果也与关键帧本身的特征信息存在一定误差。 也就是说就目前而言， 基于镜头或场景层次上的提取还不能实现完全的自动提取。

2.3.2

视频数据库技术

在基于内容的视频检索中， 首先要解决的是视频数据存储与管理这个最基础 的问题，因为在基于内容的视频检索中需要对大量的视频图像数据及图像的特征 描述信息进行存储， 而这就需要能够对这些数据特征信息支持的数据库——视频 数据库 (VDB)来实现。视频数据库与传统数据库最主要的区别在于所处理的数据 不同。传统的数据库一般处理的是一些文本和数字， 并且处理的数据都是

结构化的。 而视频数据库一般处理的对象为视频、 图片以及特征值等， 它们 对存储空间有较高的要求， 并且对数据库的抽象与描述能力也有较高要求， 因此 视频数据库技术是视频数据库系统研究的重点。本文将结合公安图侦工作需要， 分析进行视频图像数据描述与存储的视频数据库模型和数据库体系结构。

根据视频数据的特性，视频数据库系统应该具有以下特点：

(1) 扩展性。 视频数据库系统 (VDB)体系结构应该是易于扩展的、 灵活的， 以 便于支持对媒体对象或特征信息进行检索。 为了满足视频数据库的这些特殊需求， 通常 VDB系统应该包括大量的数据管理模块和功能实现模块，同时还要具备对 系统进行更新或扩展时增加新管理模块的要求。

(2) 分布性。因为视频数据库中存储的信息量较大，而且不同的媒体对信息 的使用和检索方式也可能不同，所以要求

VDB 一般采用分布式的存储方式。视

因此对存储空间的要求不高，

频与图像的网络通信对于视频数据的分布式访问和存储具有重要作用。

(3) 查询的多解性。传统性数据库查询一般只对精确的数据进行查询。但在 视频数据库系统中不能只要求精确地数据查询， 同时相似性检索和非精确性的匹 配将占相当大甚至多于精确性的比重，尤其是在基于相似度的检索中。

(4) 系统的长事务处理要求。传统数据库中处理的事务一般都是短小而且精 悍的，而在视频数据库系统中，仅仅只有短事务已经不能满足视频检索的要求， 尤其是在处理视频图像数据时， 比如要对一段数小时长的视频查询结果进行播放， 这就要对数据库系统对处理长事务的能力有所要求。

(5) 系统用户接口的支持。为了体现数据库查询的能力，就要求数据库中面 向用户的接口能够很好的描述和表示每一种媒体的性质。 就要求能够提供给用户方便检索的描述接口。

2.3.3

网络视频访问技术

视频信息检索的模糊性，

作为视频数据管理和处理的技术手段， 视频图像的存储、 传输和访问技术在 网络环境下的应用是实现视频数据信息网络化应用的重要手段。

本文阐述了视频

网络应用系统的三层结构、 视频数据库的网络访问方式以及如何利用流媒体技术 实现视频的网络访问、存储和传输。

如果从系统应用的角度来看， 要满足处于不同地点和不同时间的用户对同一 数据库进行检索和访问这一需求， 视频数据库系统必须是存在于网络环境下的分 布式检索系统。

当前网络数据库系统的结构主要有 C/S( 客户 / 服务器 ) 结构和 B/S( 浏览器 / 服务器 ) 结构 [40,41] 。这些体系架构都是为了解决网络环境下分布式数据的存储 与访问而提出的。

B/S 模式的三层或多层体系结构在某种意义上弥补了传统的 周期长，可维护性和扩充性差等方面的不足之处。

因此，基于 Internet/Intranet

的三层体系结构是一种浏览器服务器 (B/S)

C/S 结构开发

结构，它具有 C/S 结构的所有优点， 但它又对 C/S 结构进行了扩充， 因此他们 之间又存在一定的区别。 B/S 结构中用户可以直接通过浏览器工具向分布在网络 上的各个服务器发

出请求，因此在客户端机器上只需要安装极少量的工具软件，

而其他更多的

工作都留给服务器来担负， 这样就简化了客户端的管理任务。 B/S 结构的体系结 构在客户机端只执行显示服务， 而应用系统的执行和数据库的访问将在服务器端 上完成。

2.4. 视频处理技术应用综述

充分利用先进的视频内容结构化分析、 视频摘要、视频检索等图像处理技术， 可实现对活动目标进行提取， 快速截图原始视频画面或截取视频片段， 进行标注 后保存至数据库。主要应用的基本功能点有：

（1）视频目标运动轨迹提取和数据库存储。对实时、已有始视频图像中的 活动目标进行摘要分析并提取活动目标、

时间标记等相关信息， 能够对提取的案

事件信息进行图片编辑、标注，并保存至案事件证据管理中心数据库。

（2）视频目标快速自动提取及概要回放。可以配置任务对视频目标进行自 动处理，也可以通过手动上传视频方式进行视频摘要处理，并保存在数据库中， 能够回溯摘要视频的原始视频， 实现对视频文件中运动物体及其运行轨迹的环境 剥离和存储，实现将不同时空内目标对象的集中展示。

（3）视频信息自动分类

及数据统计分析。 支持人工设置或者从从视频文件名解析出起始时间， 对视频文 件时钟校对； 支持摘要后处理的视频半结构化数据以人、 车、物的结构化内容加 以描述，并保存到数据库中，实现以时间、案件类型、区域、目标的描述元素等 分类统计。

（4）海量视频自动快速处理。一是海量视频按用户需求设定规则进行按任 务方式处理， 提供筛选出用户关心的部分，

以截图、 摘要视频或者是视频片段形

式保存； 二是对海量视频处理进行智能化分配， 优化处理功能， 同时显示处理视 频的状态和任务分配情况；三是可以控制处理视频的优先级和排队顺序。

2.5.

本章小结

本章综述了图侦系统研发所涉及的视频结构化理论、 视频摘要及视频检索技 术的相关知识。 视频内容结构化理论主要阐述了视频内容结构化概念、 结构化层 次架构， 以及三种视频内容结构化分析方法。 在视频摘要技术方面， 阐述了视频 摘要技术的基本概念、 研究的必要性， 以及静态视频摘要和动态视频摘要两种视 频摘要形式， 阐述了视频摘要的一般生成过程。 在视频检索技术方面， 阐述了视 频检索的基本概念， 着重阐述了视频特征的提取、 视频数据库和网络视频访问等

关键技术内容。最后，综述了视频图像处理技术的主要应用功能点。

第三章 总体技术方案设计 3.1. 设计思路

研发图侦系统应充分考虑公安机关实战业务需求， 充分运用国内外先进的视 频分析最新算法—视频结构化、视频摘要、视频检索和图侦工作经验，以“围绕 实战、紧贴实战、 服务实战” 为着力点， 以采集、 研判、管理、应用为业务主线， 注重技术融合和业务整合，构建一套“支撑全程，服务一线”的图侦工作应用系 统。同时，要遵循标准和开放的原则， 可随图侦业务和技术的进步而可持续发展。

图侦系统将利用本地已建的视频图像信息和业务数据， 充分考虑各警种图侦 业务工作经验， 整合运用视频结构化、 视频摘要以及数据挖掘技术， 提供了覆盖 图像侦查业务从“采集” 、“研判”直至“保存发布” 、“管理”、“应用”的全局能 力支撑，解决

和弥补实战中的各项问题和不足，规范、创新图侦业务流程。 图侦系统将使视频图像处理技术成为重要的案件侦破手段和情报信息来源，

提高案件侦破率。图侦系统的应用将前瞻性地推进视频监控系统建设由“信息” 到“情报”的演进，提升视频监控系统的建设成效。

通过图侦系统的研发和运行， 将进一步创新公安图侦业务机制， 提升图侦工 作效能，推动基层公安机关“视频应用”建设跨上一个新的发展台阶。

3.2. 体系架构

基于视频结构化的图侦系统采用模块化的体系结构， 其技术体系架构设计如 图

3-1 所示，分为接入层、处理层、业务层、表现层四层。其中，