特征向量图像配准（多特征融合及最小均方误差优化的阴影检测-AET）

0 引言

运动侦测是视频分析与理解的基础研究课题，通过运动侦测可以将目标与背景分离开来，为后续目标的分析与理解奠定基础。因此，运动侦测常作为视频分析的预处理过程，在视频分析时，先对视频进行运动侦测，然后再对分离出的目标进行深一层的分析理解。运动侦测的方法很多，通常可以分为3类：帧差法、背景差法和光流法^[1]。总的来说，光流法在视频监控领域应用很少，因为该方法的复杂度高，无法满足视频监控系统对时效性的要求。帧差法和背景差法在视频监控领域都有广泛应用。其中，帧差法的运算效率一般高于背景差法。但是，帧差法对目标的运动速度比较敏感，如果目标走走停停，那么采用帧差法存在丢失运动目标的可能。而且，帧差法对像素颜色值的变化非常敏感，在处理动态背景、光照变化和阴影问题时都存在明显不足。背景差法通过训练背景模型可以适应动态背景的变化以及光照的变化，提升运动目标检测的鲁棒性，应用也最广泛。该方法的关键是建立合适的背景模型，常用的背景建模方法有单高斯模型、混合高斯模型、自组织背景模型、贝叶斯模型等^[2-6]。尽管通过构建背景模型可以提高背景对环境变化的适应能力，但是，在实际应用中运动目标检测还会受到阴影干扰，因为影子是与目标相关联的，无法通过建模来消除。对于视频监控系统中的许多应用，阴影检测是提高运动目标检测精度的重要环节，是运动侦测方法的重要补充^[7-10]。目前，阴影检测方面也涌现出了不少研究成果。如文献[9]提出了一种多特征融合阴影检测方法，融合了光照强度、色度和纹理3个特征来检测阴影，使用灰度形态滤波消除阴影。文献[10]使用离散小波变换检测阴影，借助小波变换的多分辨率属性，将图像分解成4个不同的频带，以相对标准偏差准则计算自适应分割阈值，检测和消除阴影。然而，现有阴影检测方法还存在过检测(将目标像素点检测为阴影像素点)和欠检测(将阴影像素点检测为目标像素点)问题，检测精度还有待提高。

为了解决这一问题，本文提出了一种多特征融合及最小均方误差优化的阴影检测方法。该方法的主要贡献有两个方面：(1)在相似度度量计算部分，该方法针对R、G、B 3个颜色通道提取相邻帧之间像素点的亮度、对比度和结构特征，融合这3类特征生成相似度度量，提高相似性度量对环境干扰的鲁棒性；(2)在分割阈值求解部分，该方法引入最优化理论，依据最小均方误差准则设计目标函数，通过最优化方法求解最佳的像素点分割阈值。

通过这两个方面的创新，该方法可以有效检测并消除运动侦测目标中的阴影像素点。

1 运动侦测概述

在视频监控领域，考虑系统对运动侦测方法运算效率的要求，通常采用帧差法和背景差法两类运动侦测方法进行运动目标的检测，简要描述如下^[11-12]。

1.1 帧差法

帧差法也称为时间差分法，该方法利用视频中不同帧之间的差异来检测运动目标。常用的是三帧差法，通过对相邻的3帧图像进行差分运算，检测视频中的运动目标。该方法主要包括3个步骤：帧间差分、二值分割和“与”运算。

(1)帧间差分

计算第k帧图像与前面间隔分别为Δk和2Δk的两帧图像之间的差分图像，记为：

其中，T_col为对应颜色通道上设置的分割阈值，该阈值通常为一全局量，可以自适应求解。

(3)“与”运算

将两幅二值图像进行“与”运算，可以剔除“鬼影”和噪声干扰，得到最终的运动目标检测结果，表示为：

其中，“&”表示“与”运算。

帧差法的优点是计算量小，对运动很敏感。但缺点是受目标运动速度影响，而且对于环境光照变化和动态背景也过于敏感。

1.2 背景差法

2 阴影检测

运动侦测除了检测运动目标之外，还会将目标的影子检测出来。因此，需要采用阴影检测方法检测影子并去除。本文提出一种阴影检测方法是对运动侦测方法的补充，也可以说是一个后处理过程。具体地，对于每一帧图像，运动侦测后可以得到一幅目标二值掩膜图像。其中，值为255的像素点为目标，其他像素点为背景。本文以目标像素点为研究对象，先进行连通域搜索，得到二值图像中的目标列表。然后对每一个目标进行阴影检测，判断该目标是否存在阴影像素点。如果存在阴影点，则将这些像素点置为背景像素点，从而降低阴影对运动侦测的干扰。本文所述阴影检测方法依据相邻帧之间像素点的亮度、对比度和结构的多特征融合生成相似度度量，依据最小均方误差准则寻找最优解，生成像素点为目标或者背景的最终判决，剔除前述运动侦测阶段生成的二值掩膜中的阴影像素点，实现流程如图1所示。

2.1 目标列表构建

运动侦测得到一幅二值图像，将每一帧图像上的像素点分为两类，即目标像素点和背景像素点。本文先对二值图像中的目标像素点进行8邻域连通域搜索，每一个连通域对应一个目标，这样构建一个目标列表，该目标列表包含当前帧中每一个目标的外接矩形框和二值掩膜。

记第i个目标的外接矩形框为：

下面针对目标列表中的每一个目标进行阴影检测。

2.2 多特征融合相似度度量

前述的运动侦测主要依据像素点不同颜色通道上亮度的变化来检测变化区域。事实上，光照等环境干扰引起的阴影现象也会导致像素点的亮度发生变化。因此，阴影像素点可能会被误检为目标像素点。而且，运动侦测节点亮度变化的阈值选择通常是针对整幅图像的，而事实上场景中不同位置的亮度一般存在较大差异，也即亮度不均匀。因此，相同的阈值可能不适合不同位置的目标的运动侦测。为了解决这一问题，本文对运动侦测得到的二值目标掩膜再进行一次判决。这里，需要对每一个目标的二值掩膜区域构建一个相似度度量，降低图像整体亮度不均匀对分割阈值计算的影响。

本文针对R、G、B 3个颜色通道提取相邻帧之间像素点的亮度、对比度和结构特征，融合这3类特征生成相似度度量。对于第k帧图像中第i个目标，其相似度度量可以表示为：

3 实验与分析

下面通过实验分析来验证本文所述的阴影检测方法的性能。首先，本文选择Changedetection.net中的shadow子集作为测试数据集。该数据集是运动侦测领域的公开测试数据集，目前大部分运动侦测算法都是在该数据集下进行测试和评价的，具有权威性。shadow子集共包含了6个视频图像序列，分别是backdoor、bungalows、busStation、copyMachine、cubicle和peopleInShade。这些图像序列的共同特点是都存在阴影干扰。本文针对这6个视频图像序列进行仿真实验，实验平台为Intel I5台式计算机，内存为16 GB，操作系统为Windows 7，软件平台为Visual Studio 2013。运动侦测方法采用的是文献[6]所述方法。针对运动侦测的结果，采用本文所述阴影检测方法和文献[9]、[10]所述阴影检测方法进行阴影检测，去除阴影。通过对比3种阴影检测方法的检测结果来评价本文方法的性能。其中，本文方法中参数设置为：t₁=t₂=t₃=1，Δk=1。

图2展示了3幅视频帧图像所对应的Groundtruth以及采用3种阴影检测方法得到的检测结果。可见，文献[9]所述方法能够消除部分阴影，但仍有明显的阴影存在，存在欠检测问题。文献[10]所述方法消除阴影的同时还消除了部分目标，存在过检测问题。而本文方法基本上能够消除所有阴影，而且基本上没有破坏目标，所得目标检测结果与Groundtruth最为接近。

为了定量评价本文阴影检测方法的性能，本文采用检测率和检测耗时两个指标进行性能评价。其中，检测率表示为：

其中，A_S是指检测到的阴影像素点的总数，R_S是指检测正确的阴影像素点比例，由检测正确的阴影像素点总数D_S与实际阴影像素点总数N_S的商来表示。D_S具体指检测到的阴影像素点中不属于Groundtruth中目标像素点的像素点总数。N_S具体指运动侦测得到的目标像素点中不属于Groundtruth中目标像素点的像素点总数。

检测耗时仅指阴影检测所耗费的时间，不包括运动侦测耗时。而且，检测耗时统计的是平均耗时，也即一帧图像进行阴影检测所耗费的平均时间。

图3具体给出了3种方法对于6个视频图像序列的阴影检测率指标对比结果。可见，文献[9]和文献[10]所述方法的阴影检测率指标相当。这是因为尽管文献[9]所述方法正确检测的阴影像素点数量DS较文献[10]所述方法偏少，但检测到的阴影像素点总数AS也少于文献[10]所述方法，所以最终得到的检测率指标相当。而本文方法对每一个视频图像序列的阴影检测率指标都高于其他两种方法，这是因为本文采用最优化理论寻找最优解决方案，虚检和漏检的阴影像素点较少。

表1给出了3种阴影检测方法对6个视频图像序列的检测结果。可见，本文方法的检测正确率明显优于其他两种方法，高出排在第二位文献[9]所述方法17%。另外，3种方法的检测耗时差异不大，本文方法的检测耗时略高于文献[9]所述方法，但低于文献[10]所述方法。因此，综合评价，本文的阴影检测方法优于所对比的其他两种阴影检测方法。

4 结束语

本文提出了一种多特征融合及最小均方误差优化的阴影检测方法，该方法以运动侦测检测到的目标为研究对象，设计了一种多特征融合的相似度度量，具体是针对R、G、B 3个颜色通道提取相邻帧之间像素点的亮度、对比度和结构特征，融合这3类特征的均值、方差和协方差生成相似度度量；同时，设计了一种基于最优化理论的分割阈值自适应求解方法，依据最小均方误差准则设计目标函数，通过最优化方法求解最佳的像素点分割阈值。该方法可以作为光流法、帧差法和背景差法等运动侦测方法的后处理步骤，能够有效检测并消除运动侦测目标中的阴影像素点。

参考文献

[1] BEHNIA R，CLARK D A，CARTER A G，et al.Processing properties of on and off pathways for drosophila motion detection[J].Nature，2014，512(7515)：427-30.

[2] SHINOMIYA K，KARUPPUDURAI T，LIN T Y，et al.Candidate neural substrates for off-edge motion detection in drosophila[J].Current Biology，2014，24(10)：1062-70.

[3] OHTA N，KANATANI K，KIMURA K.Moving object detection from optical flow without empirical thresholds[J].IEICE Transactions on Information & Systems，2015，81(2)：243-245.

[4] NAKAMURA M，KANEOKE Y，WATANABE K，et al.Visual information process in Williams syndrome：intact motion detection accompanied by typical visuospatial dysfunctions[J].European Journal of Neuroscience，2015，16(9)：1810-1818.

[5] LEE J H，YANG D，KIM S，et al.Stretchable strain sensor based on metal nanoparticle thin film for human motion detection & flexible pressure sensing devices[J].Nanoscale，2014，6(20)：11932.

[6] 余烨，曹明伟，岳峰.EVibe：一种改进的Vibe运动目标检测算法[J].仪器仪表学报，2014，35(4)：924-931.

[7] 姜建国，李婷，杨玲敏，等.c3通道高分辨率遥感图像阴影检测算法的改进[J].计算机辅助设计与图形学学报，2015，27(8)：1490-1497.

[8] 段志刚，屈靓琼，田建东，等.基于正交分解的室外光照阴影检测[J].光学学报，2016(8)：201-209.

[9] CHEN W.Moving shadow detection based on multi-feature analysis and gray-scale morphological filtering[J].Journal of Information & Computational Science，2014，11(8)：2535-2542.

[10] KHARE M，SRIVASTAVA R K，KHARE A.Moving shadow detection and removal-a wavelet transform based approach[J].Computer Vision IET，2014，8(6)：701-717.

[11] 蔡念，周杨，刘根，等.鲁棒主成分分析的运动目标检测综述[J].中国图象图形学报，2016，21(10)：1265-1275.

[12] 田合雷，丁胜，于长伟，等.监控视频中的移动目标侦测算法研究[J].合肥工业大学学报（自然科学版），2015(12)：1639-1642.

作者信息:

张 涵1，闫怀平1，张 展2

(1.安阳工学院 计算机科学与信息工程，河南 安阳455000；2.河南理工大学 电气学院，河南 焦作454000)

,