延时摄影记录火龙果种子生长历程（专题报道基于相机拍照的油茶果形状特征提取研究）

原创 棘 玉等 南京林业大学学报

专题报道

基于相机拍照的油茶果形状特征提取研究

棘 玉1，尹显明1，严恩萍1，蒋佳敏1，彭邵锋2，莫登奎1*

1.林业遥感大数据与生态安全湖南省重点实验室；国家林业与草原局南方森林资源管理与监测重点实验室； 中南林业科技大学林学；2.湖南省林业科学院。

油茶(Camellia oleifera)产业作为我国湖南、广西、江西等南方地区农村经济的支柱和特色产业对推动农业经济的发展有重要作用。特别是近年来在各级政府的大力扶持下,油茶种植面积不断扩大,因此,快速准确地获取油茶果形状特征信息,对掌握油茶果大小分布情况,指导果实分级和快速测产有重要意义。

目前,国内外学者对农林业果实、种子的形状特征提取主要基于图像检测和高光谱检测。图像检测用时短且成本低,更能满足实际需求。在利用图像检测方面,通常采用OTSU 算法、支持向量机、人工神经网络或多种算法相结合对图像进行分割,然后基于Hu不变矩、傅里叶描述子、凸壳理论、Hough变换等方法提取目标果实的面积、周长等形状特征参数。然而上述研究均集中于采摘机器视觉和果实智能分选领域,其研究对象主要是自然条件相机拍摄树上局部果实或采摘后单个果实，对形状特征参数的描述大多是基于目标区域内像素点的数目、位置及比值,对果实特别是油茶果的长轴、短轴、面积、周长等形状特征批量获取的方法鲜有报道,若想得到果实长短轴等参数的实际值仍须要借助传统的人工测量,不仅耗时耗力、重复性差，还易出现人为测量和记录错误。本期论文推荐的作者基于油茶果智能识别技术提出利用相机拍摄采摘油茶果的方法实现对果实快速计数以及长短轴、周长、面积等特征参数的批量化提取,以期直观、快速、准确地获取大量油茶果尺寸信息，为指导油茶果实分级和快速测产提供科学依据。

下面跟学报君一探究竟！

作者简介

通讯作者

莫登奎，男，1980年11月出生，主要从事林业遥感智能解译和空间数据挖掘研究。

第一作者

棘玉，女，1998年1月出生，中南林业科技大学森林经理学硕士研究生。

关键词：近景摄影；形状特征提取；图像处理；卷积神经网络；油茶果

基金项目：国家自然科学基金项目(32071682,31901311);湖南省大学生创新创业训练计划项目(S202010538008) ;湖南省教育厅重点项目( 18A151，19A525)。

引文格式：棘玉，尹显明,严恩萍,等.基于相机拍照的油茶果形状特征提取研究[J].南京林业大学学报(自然科学版), 2022,46(2):63-70.JI Y,YIN X M,YAN E P,et al.Research on extraction of shape features of Camellia oleiferu fruit based on camera pholography[J].Jourmal of Nanjing Forestry University (Natural Sciences Edition) ,2022,46(2):63-70.DOI：10.12302/j. issn.1000-2006.202109030.

1目的

为实现油茶果实尺寸及大小分布的快速获取,提出一种基于相机拍摄的油茶果形状特征参数批量化提取方法。

2方法

首先将采摘油茶果摆放于含刻度尺的背景板,利用相机快速获取油茶果图像并进行校正;然后利用Mask R-CNN模型对图像油茶果进行快速检测计数,根据生成的掩码采用椭圆拟合法统计油茶果特征参数(长轴、短轴、面积、周长)的像元个数;最后结合背景板刻度尺计算的像元大小,获取油茶果特征参数,同时利用实测值进行精度验证。

2.1 试验材料

数据采集区域位于新邵县陈家坊镇江村华怡油茶种植标准化示范基地，通过随机抽样选择120棵油茶样本树,于2020年10月27日到10月28日,将采摘后的样本树油茶果随机摆放于含110 cm×110 cm刻度尺的水平放置背景板,且果与果之间不相互堆叠。自然光照条件下,从2 m附近垂直拍摄油茶果样本,每棵油茶样本树拍摄3~5张,共拍摄图像657张。研究采用哈苏L1D-20c相机,分辨率为3 648×5 472像素,图像格式为JPEG。

为消除相机拍照产生的几何畸变问题,采用ArcGIS10.7软件的配准工具,结合背景板中的校准格网对影像数据进行校准。对校准后的油茶果照片进行筛选,剔除模糊重复等无效数据,最后保留312张图片。利用开源计算机视觉库OpenCV对图像进行处理,将3 648×5 472像素的原图裁剪为大小为2975×2071像素的油茶果图像。

2.2 研究方法

2.2.1 数据集制作

为满足不同环境油茶果实识别的多样性,随机抽选不同数目、颜色、光照条件摆放疏密度的油茶果图片样本26张,使用Label me标注软件进行数据标注,以人工目视为主,检验修正为辅,共标注2874个油茶果实目标。为防止训练出现过拟合以及抵消外部光照等环境因素影响,对样本进行旋转、翻转等操作增强数据集,最终处理完成后得到420幅数据集样本。将数据集按照4∶1的比例随机划分,其中 336幅图像作为训练集,另外84幅图像作测试集。

2.2.2 特征识别网络

为对图像中油茶果进行像素级分割,采用由Facebook提出的Mask R-CNN模型作为油茶果实检测识别的基础网络框架(图1),该模型在Faster R-CNN基础之上增加了图像分割分支并能够将结果以掩膜(mask)形式输出,可同时实现目标识别和实例分割且准确率较高,此外该模型使用感兴趣区域对齐(ROI Align)替换感兴趣区域池化(ROI pooling),利用双线性插值法解决了特征图(feature map)与原像素对准的精度问题,满足本研究高复杂度及多任务的需求。

▲图 1 Mask R-CNN油茶果识别模型网络结构示意图

研究将ResNet50 与 FPN相结合的网络作为油茶果特征提取的主干网络,得到对应的特征图，将其输入至区域候选网络(RPN)进行二值分类，使图像分为油茶果与背景,并对含油茶果的区域进行框选生成感兴趣区域(ROI)。将ROI输入基于双线性差值的ROI Align层得到固定大小的特征图，接着将其输入由全卷积网络(FCN)构成的分割掩膜(mask)生成网络得到与目标油茶果形状大小相同的掩码用于分割目标油茶果,并通过兴趣区域分类器和边框回归对ROI区域进行像素级的坐标对齐准确识别目标油茶果。最终得到包含目标油茶果提取结果以及与目标油茶果形状大小相同的mask图像。

本研究试验环境为Intel i7 6700k的 CPU,6GBGPU,运行内存为24GB;软件环境为Google Colab,在此基础上搭建Pytorch1.4深度学习框架,并用Python语言编程实现网络模型训练和测试。训练的参数设置为:迭代次数设置为15 000次,初始学习率为0.004,每次迭代训练图像的数量(batch size)为2,迭代8 000次后学习率下降为10% ,迭代10 000次学习率下降为0.1%。

2.2.3 特征参数提取

本研究的油茶果形状特征参数为短轴、长轴、周长、面积(图2)。首先对利用Mask R-CNN识别模型生成的油茶果mask 二值图采用腐蚀膨胀的形态学操作进行处理,去除图片噪声;然后采用开源计算机视觉库OpenCV提供的函数CV2,对油茶果mask图像进行Canny边缘检测提取油茶果边缘特征,采用基于最小二乘法的椭圆拟合算法,计算油茶果长轴和短轴对应的像元个数(图3);根据图像背景板中刻度尺计算像元大小,获取每个椭圆形的长轴、短轴、周长和面积,即为对应的油茶果形状特征参数。其中椭圆的面积、周长计算公式如下所示:

式中:S为椭圆面积;L为椭圆周长;a为短半轴;b为长半轴。

▲图 2 油茶果形状特征参数

▲图 3 油茶果椭圆拟合过程

3结果

Mask R-CNN模型的平均识别准确率和召回率分别为99.55%和91.19%,测度值为95.22% ,满足用于统计油茶果形状特征参数的要求;对油茶果面积的估测精度最高,决定系数(R2)、平均绝对误差(MAE)、均方根误差(RMSE)分别为0.999 0,10.75 m㎡,14.88 m㎡,其次为周长和长轴,短轴的估测精度最低,其R2、MAE、RMSE分别为0.8647,3.15 mm ,3.74 mm。

3.1 油茶果识别结果及精度分析

利用经训练得到的油茶果识别模型对油茶果测试集进行测试,得到油茶果平均精度(IAP)为99.59%。该模型检测油茶果准确率为99.60%,正确检测出129棵油茶果树上的共17 783个油茶果,漏检1 716个,漏检率为8.80% ,召回率为91.20% ,测度(F1)为95.22%;模型共误判油茶果79个,原因是模型将图片中背景板上一些枝叶、油茶籽等杂物误判为油茶果。总体上,模型识别油茶果准确率为99.60% ,总体精度95.22% ,说明本研究网络模型性能良好,总体识别精度较高,未出现将阴影识别为油茶果的现象,可满足后续油茶果特征参数提取的精度要求。

油茶果模型训练过程中损失值随迭代次数变化的曲线如图4所示。模型迭代次数为15 000次,当迭代12000次左右,损失值逐渐趋于稳定，最终损失值保持在0.13左右。

▲图 4 Mask R-CNN训练时损失值曲线

3.2 油茶果形状特征参数提取结果

3.2.1 油茶果形状特征参数变异情况

结合油茶果识别模型检测出的油茶果提取其形状特征参数并进行统计分析。可知,油茶果实形状特征参数的变异范围为16.84% ~34.87% ,其中，面积变异程度最大(34.87%),其次为短轴变异幅度(19.41%)和周长变异幅度(17.69%),长轴变异程度最小(16.84%)(表1)。

▼表 1 油茶果形状特征参数变异

3.2.2 油茶果实形状特征参数的频率分布及正态性检验

根据得到的油茶果形状特征参数绘制果实形状特征参数频率分布图(图5),对4个特征参数进行单个样本的Kolmogorov-Smirnov正态性检验,长轴、短轴、面积、周长4个性状指标的Sig值均大于0.05,符合正态分布,计算各形状特征参数概率密度函数。概率密度函数[f(X)]计算公式如下所示:

式中:σ为标准差,X为随机变量,μ为期望值。

▲图 5 油茶果形状特征分布频数

在该研究区内油茶果短轴平均值为31.80 mm ,标准差为6.17 mm,变异幅度为10.45~58.17 mm,变异系数为19.41% ,概率密度函数为f(X)=0.418 5exp[ -0.013 1(x-31.79)2];长轴平均值35.55 mm,标准差5.99 mm,变异幅度为14.68~70.47 mm ,变异系数为16.84% ,概率密度函数为f(X)=0. 406 3exp[-0.013 9(x-35.55)2] ;周长平均值105.90 mm,标准差18.72 mm ,变异幅度为42.98~139.29 mm,变异系数为17.69% ,概率密度函数为f(X)=0.1339exp[-0.001 4(x-105.90)2] ;面积平均值914.58 m㎡,标准差318.95 mm,变异幅度为144.12~2 960.25 m㎡,变异系数为34.87%,概率密度函数为fX)=0.007 9exp[-4.915 0x10-6 (x-105.90)2]。

3.3 油茶果特征参数提取精度分析

将随机抽取的300个油茶果特征参数实测值作为自变量,将经拟合椭圆法得到的特征参数估测值作为因变量绘制相关性散点图(图6) ,通过一元线性回归分析对提取结果进行精度评价。可以看出,采用椭圆拟合法估测油茶果形状特征参数时，对面积的提取精度最高(图6D) ,R2达到0.999 0,MAE为10.75 m㎡,RMSE为14.88 m㎡;对油茶果短轴提取的精度最低(图6A),其R为0.864 7,MAE为3.15 mm, RMSE为3.74 mm ;对油茶果周长估测结果的 MAE和 RMSE最大,分别为22.81mm 、23.36 mm。利用椭圆法拟合估测油茶果长轴和短轴存在高估现象(图6A、6B) ,可能是由于油茶果边缘存在噪声或受油茶果不同摆放角度影响使得对长轴和短轴过高估测;对周长估测时存在低估现象(图6C) ,可能是由于油茶果边缘果壳裂开，边缘凹凸不平导致实际周长要大于拟合的椭圆形周长。此外,人工测量和校准以及周长、面积计算公式的选择等因素均可能对油茶果形状特征参数估算结果的鲁棒性、精度产生影响。

▲图 6 油茶果形状特征参数估测值与实测值相关性散点图

4结论

该方法实现了油茶果采摘后的快速准确计数以及形状特征参数的批量化提取,可为大量果实特征参数的快速准确检测提供参考,为指导油茶果实分级和快速测产提供科学依据。

关注我们，更多精彩

,