影像和点云结合（利用点云配准的空地影像融合技术）

本文内容来源于《测绘通报》2022年第6期，审图号：GS京（2022）0272号

‍利用点云配准的空地影像融合技术

谢洪¹

, 陈立波², 聂倩², 吴玮², 张沛¹

1. 武汉大学测绘学院, 湖北 武汉 430079;

2. 宁波市测绘和遥感技术研究院, 浙江 宁波 315042

基金项目：国家重点研发计划(2020YFD1100200)

关键词：空地影像融合密集匹配空三加密点云配准

引文格式：谢洪, 陈立波, 聂倩, 等. 利用点云配准的空地影像融合技术[J]. 测绘通报，2022(6)：82-87. DOI: 10.13474/j.cnki.11-2246.2022.0176.

摘要

摘要：为实现空地影像的高精度融合, 本文提出了一种基于密集匹配点云配准的融合方法, 并与利用空三加密点云配准的融合效果进行了对比。首先, 通过对空地影像进行空三加密和密集匹配, 得到相应的三维点云; 然后, 利用基于3DSC特征的SAC-IA算法, 完成空中点云和地面点云的粗配准; 最后, 通过改进的Point-to-Plane ICP算法进行精配准, 进而完成空地影像的融合。试验表明, 相比空三加密点云, 密集匹配点云能够提供更为稳健的配准结果, 且能够达到厘米级的精度。

正文

随着科学技术的不断发展，传统的二维数据已经不能满足人们的使用需求，而三维数据具有直观性，可以更加生动地还原真实三维世界，因此三维建模成为当今的研究热点。目标三维数据的获取方法有很多，如航空摄影、近地摄影、倾斜摄影测量、地面激光雷达等。但是单一的数据获取方式往往不可避免地出现不精细、空洞、覆盖范围小等问题。因此，不同方位拍摄的多视影像融合是解决场景高精度重建的有效方法^[1-3]。尤其是无人机近低空成像技术的出现与快速发展，为空地影像融合提供了新的技术支撑。

目前，同平台的多视影像的配准与空三问题通过尺度不变特征变换^[4](scale-invariant feature transform，SIFT)、加速稳健特征^[5](speed up robust features，SURF)、运动恢复结构^[6](structure from motion，SFM) 及相关改进优化方法得到了较好的解决，但该类方法难以适用于空地大视角、宽基线、特征差异大的空地影像联合匹配定位。为了解决空地视角差过大的问题，多位学者利用影像纠正的方法，首先通过将空地影像纠正为正射影像，然后利用道路标记角度进行特征匹配^[7-8]。但是该类方法需要数字表面模型(digital surface model，DSM)作为先验，而且未能利用建筑立面特征约束信息。文献[9]利用倾斜与地面影像的建筑自相似局部特征进行特征相似性评价，但只能应用于有规则结构的建筑物。基于深度学习的相关研究利用卷积神经网络(convolutional neural network，CNN)进行多源图像特征的提取与图像地理定位^[10-11]，则需要正射或深度信息作为先验。

采用影像点云融合是一种可行的方法，但是目前常采用的空三稀疏加密的点匹配方法^[12]，难以提供高精度的融合几何约束。在配准过程中，目前一般利用点特征进行匹配，未能利用场景中丰富的平面特征，其融合配准精度还有待进一步提高。针对该问题，本文提出一种基于密集匹配点云自动配准的空地点云融合方法。通过对空中影像和地面影像分别进行密集匹配，得到对应的三维点云数据，再利用改进的迭代最近邻点(iterative closest point，ICP)点云配准方式^[13-14]，将空中点云和地面点云融合，通过利用影像密集匹配点云的丰富几何约束，进而提高空地影像的融合精度。

1 算法流程

本文算法流程如图 1所示。

图 1 算法流程

图选项

2 空地密集匹配点云获取

试验使用ContextCapture软件，分别对无人机倾斜影像和地面近景影像进行空中三角测量，并通过连接点坐标提取得到空三加密点云数据。在空三加密完成的基础上，继续使用ContextCapture软件进行点云密集匹配，得到高密度、高精度的密集点云数据。

试验中所采用的数据为宁波某区域的空地影像，其中部分影像如图 2—图 3所示。使用ContextCapture软件生成三维点云数据的流程如图 4所示。

图 2 空中影像

图选项

图 3 地面影像

图选项

图 4 ContextCapture生成点云数据流程

图选项

无人机航摄影像与地面近景影像生成的密集点云数据如图 5—图 6所示(截取了建筑区域的部分数据，平均点间隔约为0.05 m)。对应区域的空三加密点云数据如图 7—图 8所示(平均点间隔约为0.40 m)。从该区域的空中影像生成的点云可以看出，其顶部区域的点云完整，信息丰富；但其侧边由于拍摄角度或遮挡，点云数量很少，部分区域甚至出现空洞。相反，由地面近景影像生成的点云，在顶部几乎没有，出现大面积空洞，而其侧面点云完整，信息丰富。同时，对比空三加密点云和密集匹配点云可知，密集匹配点云能够提供细节更为丰富的几何约束信息，这也为进一步实现空地高精度融合奠定了可靠的数据基础。

图 5 密集匹配点云顶部

图选项

图 6 密集匹配点云侧面

图选项

图 7 空三加密点云顶部

图选项

图 8 空三加密点云侧面

图选项

3 空地点云融合配准

针对传统ICP算法对点云初始位置要求高且配准效率低、对应点匹配易错等缺点^[15-16]，本文采用了一种改进的ICP空地点云配准算法。该算法首先利用内部形态描述子(intrinsic shape signatures, ISS)^[17]提取原始点云的关键点；然后基于三维形状上下文^[18](3D shape context, 3DSC)特征和采样一致性初始配准(sample consensus initial aligment, SAC-IA)算法进行点云粗配准^[19]；最后利用室外空地点云中广泛存在的建筑立面约束特性，采用更为可靠的Point-to-Plane ICP进行精配准。

3.1 ISS关键点提取

使用ISS提取关键点，在减少点云数量的同时也保证了点云数据的代表性，可以提高后续配准的效率^[20]。假设点云数据共有N个点，每个点的坐标为pi(xi,yi,zi)，ISS提取关键点的步骤如下：

(1) 对点云中每个点pi建立一个局部坐标系，并给定搜索半径R。

(2) 对于每个点pi，搜索R圆邻域范围内所有点，对该范围每个邻域点pj计算其权值wij为

(1)

(3) 计算点pi的协方差矩阵为

(2)

(4) 计算协方差矩阵的特征值{λi¹,λi²,λi³}，并从小到大进行排序。

(5) 设置阈值ε₂₁和ε₃₂，满足要求λi²/λi¹≤ε₂₁且λi³/λi²≤ε₃₂的点，即为ISS关键点。

3.2 3DSC特征描述

3DSC的基本思路为：利用统计分布直方图描述点云中点及其邻域的形状特征，通过匹配直方图建立不同点之间的对应关系，此直方图即为点的描述子。算法步骤如下：

(1) 以点云中任意一点pi为参考点，将以pi为球心、R为半径的球区域沿径向、方向角、俯仰角3个方向划分成网格，在方向角和仰角尺寸上由等间隔的边界分开，沿径向尺寸以对数间隔的边界分开成若干个同心球0, 1, 2, …,J，球的北极点由局部法线估计，同心球半径计算公式为

(3)

式中，r_min为最小半径；r_max为最大半径(相对pi点的距离)。

(2) 按权重统计落入每个网格内的点数，进而构造点的统计分布直方图hi(k)，即点pi的形状上下文。权重计算公式为

(4)

式中，V(j,k,l)为对应第j个同心球、第k个方位方向、第l个仰角方向区域的体积；ρi为对应局部点的密度，即以pi点为球心、δ为半径的球内的点数。

对于整个点集P，分别以n个点作参考点，计算与剩下的n-1个点构成的形状直方图，最终得到n个形状直方图。以n×(n-1)大小的矩阵存储。

(3) 计算代价矩阵C，评价两个点云的3DSC特征的相似度。两个点的形状直方图之间的匹配代价函数的计算公式为

(5)

式中，hi(k)为点云P中点pi的形状直方图；hj(k)点云Q中点qj的形状直方图。

(4) 基于代价矩阵C，进行同名点的匹配操作，以如下公式最小为准则。

(6)

式中，π表示排列或组合运算。

3.3 SAC-IA粗配准

SAC-IA算法的基本思路是利用特征相似性进行配准。基于3DSC的SAC-IA算法步骤如下：

(1) 从待配准点云P中选取n个采样点，采样点两两之间的距离应大于预先给定的最小距离阈值d。

(2) 在目标点云Q中搜索与点云P中采样点具有相似的3DSC特征的点，从满足匹配相似度条件的点中随机选取一个点作为点云P在点云Q中的对应点。

(3) 利用这些对应点关系，计算刚体变换配准矩阵，并通过求解Huber罚函数评价当前配准变换的质量。不断重复这3个步骤，直至得到最佳刚体变换矩阵。Huber罚函数公式为

(7)

式中，Lh(ei)为第i组对应点的配准错误度；te为预先设定的误差阈值；ei为第i组对应点变换后的距离差。

3.4 基于改进ICP的精配准

经过粗配准后，待配准点云和目标点云大致重合，但其精度还达不到应用需求，因此需要进行精配准。由于空地点云的密度存在差异，导致传统的Point-to-Point的配准方法难以获取准确的配准参数。为了充分利用室外空地影像匹配点云中广泛存在的丰富建筑立面特征，本文采用基于K-D(K-dimensional)树查找最近点对的Point-to-Plane ICP算法进行点云的精配准，算法具体步骤如下：

(1) 通过随机采样的方式从待配准点云中选择一部分点集P_ref。

(2) 对点集P_ref中的任何一点，在目标点云中找到与其欧氏距离最近的点作为对应点，进而得到点集P_ref的对应点集Q_tar。

(3) 从对应点集P_ref和Q_tar中，删除距离值大于一定阈值的点，剩下的点作为最后的对应点。

(4) 计算两个对应点集的质心为

(8)

(5) 计算最优旋转矩阵R和最优平移矩阵T，以目标函数值最小为准则，具体为

(9)

式中，k为迭代次数；E为第k次迭代的目标函数；nqi为目标点云中对应点的法向量。

(6) 将待配准点云P进行转换为

(10)

(7) 构造并计算误差评价函数。误差评价函数为点到对应点及对应点法向量建立的局部平面的平均距离，计算公式为

(11)

(8) 设定距离阈值τ，当dk-dk 1 <τ时，算法终止；否则，继续迭代。

4 试验与分析4.1 试验数据与过程

试验数据：采用无人机搭载5镜头倾斜相机获取空中影像，影像分辨率为7952×5304像素，焦距分别为40 mm(下视镜头)与60 mm(倾斜镜头)，平均飞行高度约130 m, 地面采样间距(ground sample distance，GSD)约为2 cm。地面影像采用大疆精灵无人机由下至上绕着该区域中的某栋办公建筑进行拍摄，影像分辨率为5248×3936像素，焦距为16 mm，拍摄距离约为20 m，GSD约为7 mm。

在试验过程中，利用ContextCapture对空地影像分别进行空三测量和密集匹配，获取空三加密点云与密集匹配点云，利用实测的尺度约束进行点云空间尺度统一。配准算法利用C 实现，试验平台操作系统为Windows10 64位，处理器性能配置为Intel I7-8700K @3.70 GHZ，内存为16 GB，显卡为NVIDIA 1080TI。

4.2 试验结果与对比分析

在空地点云配准中，ISS关键点的搜索半径R设置为5倍的平均密度，ε₂₁和ε₃₂根据经验均设置为0.95，3DSC特征描述r_min设置为3倍的平均密度，r_max设置为10倍的平均密度，其余相关参数采用文献[17—19]推荐参数进行设置。点云配准结果中，空三加密点与密集匹配点的特征提取结果如图 9—图 10所示，两类点云的粗配准和精配准结果如图 11—图 12所示。在对应参数设置条件下，两类点云的ISS关键点提取、配准融合精度、耗时见表 1—表 2。

图 9 空三加密点云关键点提取结果

图选项

图 10 密集点云关键点提取结果

图选项

图 11 基于3DSC的SAC粗配准结果

图选项

图 12 精配准结果

图选项

表 1 密集匹配和空三加密点云关键点提取结果

表选项

表 2 密集匹配和空三加密点云配准结果对比

表选项

由表 2可看出，基于密集匹配的融合方法的精度大约是基于空三加密点云融合的3倍，表明基于密集匹配的融合方法能够大幅度提升空地影像融合的精度。为了测试两类点云在配准过程中的参数敏感性，选取在粗配准阶段的关键3DSC特征描述的r_max作为调整参数，分别设置为5倍、8倍、10倍、15倍的平均密度。从粗配准结果来看，在4种不同参数设置条件下，密集匹配点云均能够得到正确的初始配准结果，但是稀疏点云在5倍与15倍的平均密度条件下，会出现上下与前后颠倒的错误配准结果(如图 13所示)，进而导致进一步的精配准失败。通过分析，其原因主要为空三稀疏点云的稀疏性和密度不一致，导致其难以通过形状上下文表达局部的形状特征，无法获取足够的正确同名点而使得粗配准失败。相比较而言，密集点云能够充分表达局部的几何特征分布信息，在配准过程中表现出良好的参数阈值适应性。

图 13 空三加密点云配准可能出现的错误

图选项

5 结语

本文提出了一种基于密集匹配的空地影像点云配准的融合方法，能够高自动化地解决传统影像配准方法无法支撑空地大视角影像的融合问题。通过试验分析了影像空三加密点云和密集匹配点云在空地点云配准过程中的效率、精度和可靠性。试验结果表明，相较于空三加密点云而言，密集匹配点云能够支撑稳定的空地点云融合配准过程，配准精度能够达到厘米级。如何引入深度学习以提高影像的密集匹配效率与点云配准的效率将是下一步研究方向。

作者简介

作者简介：谢洪(1987—)，男，博士，讲师，研究方向为移动激光测量与三维计算机视觉。E-mail：hxie@sgg.whu.edu.cn

初审：杨瑞芳

复审：宋启凡

终审：金 君

资讯

,