无人机航拍建筑物视图网络融合目标识别分析

基金项目：江西省教育厅科学技术研究项目，项目编号：GJJ2208301

城市道路坍塌事故随着城市地下空间资源开发程度不断增加而持续增加。通过调研得出，地下隐性病害是造成道路坍塌的主要因素，这点可通过调查大量路面质量所得^[1]。作为道路病害检测的重要手段，无人机航拍技术可实现快速无损检测地下介质分布，以电磁波反射作为主要依据^[2]。

李海峰等^[3]融合了GPR 与B-scan 三维数据特征，充分利用卷积神经网络，实现高效率识别机场跑道病害。Moalla等^[4]在检测埋藏危险物时选取视图方向为横断面和纵断面，利用GPR 三维数据以及CNN 和递归神经网络CNN。目标识别方法以试图融合为基础，三维数据由无人机航拍获取，视图特征主要运用该方法提取，获取得到3 个2DCNN 并融合，有利于促进目标识别准确率的提高。

应用视图融合方法实现地下多目标分类主要应用3DGPR 数据。2DCNN 的输入包含GPR 三维数据的俯视图、侧视图及正视图立方体，实施特征分类时需充分融合3 个2DCNN 的特征。相比于B-scan 图像方法，现有三平面方法经实验证明表现出的多目标分类性能更好。室内实验数据数量较小时，GPR 实测数据集被标记的数量较少。为了对视图融合方法性能进行验证分析，十分有必要利用多种CNN 架构和大量实测数据。

1 视图融合原理

作为一种通用的网络体系结构，将2DCNN 与视图融合方法相结合。为验证该方法性能，2DCNN 由VGG16 和Alexnet 两个深度神经网络的主干网络构成，均具有全连接层^[6]。分别按照227×227×K、224×224×K（K 为通道数）调整Alexnet 网络、VGG16 网络的输入图像大小，为减少特征图尺寸和提取特征，需要通过池化层和利用连续卷积实现^[7]。

2 实验方案

2.1 数据采集

步进频连续波GPR 系统以VN A 为基础，完成三维数据的采集实验。设定步进频步长为8 MHz，频率处于（1.8~5）GHz。在干沙表面放置收发天线，高5~10 cm，中心距离为18 cm。共有5 种地下目标：无埋地物背景、多芯电力电缆4 根、含水量不同的塑料瓶、聚氯乙烯（PVC）塑料管1 根、金属管共2 根。模含水地下空洞选用含水塑料瓶实现。本次实验中涉及的场景有14 个，深度和位置不一致，采用随机方式在内部埋入2~3 个目标，采集的B-scan 图像为平行状态，共20个，231×74×20（深度× 长度× 宽度）为GPR 原始3D 数据的采集尺寸。

2.2 控制流程

Alexnet 网络各层数据大小情况如1 所示。首先，依次按照227×227×60、227×227×30 及227×227×5尺寸采用双线性插值法调整输入视图立方体。2D 图像的通道数在前两个2DCNN 分支中依次为正视图立方体宽度和侧视图立方体长度，在第3 个2DCNN 分支中是俯视图立方体深度。然后再依次按照11×11×60、11×11×30 和11×11×5 大小设置第1 个卷积层在3 个分支中的内核尺寸。FC4 层重组（Concatenation）FC1、FC2 和FC3 这3 个全连接层的输出，经3 个2DCNN 分支获取视图立方体，充分融合3 种网络分支的特征。最后利用softmax 函数在分类层输出，FC4 通过FC5 实现。对比分析传统方法与本文方法，按4 096 的标准设置各层神经元数量，包括FC1、FC2、FC3 及FC5，softmax层所含神经元因分类目标有5 种数量也为5。

图1 基于Alexnet网络的视图融合目标识别方法示意图

3 结果分析

对比分析基于B-scan 图像的传统方法与单视图方法。评估分类性能时主要以F-score 准确度和平均值作为重要参考依据。利用Alexnet 结构调整所有方法。如表1 所示，测试集和训练集在不同方法下显示的数据。测试集和训练集在选用单视图法和视图融合法时的数量依次为250 和750。但是当立方体宽带为w，选用传统方法以B-scan 图像为基础时，将w 乘以250 和750 作为训练集与测试集的数量。

表1 不同宽度下的训练集和测试集数量

3D 立方体不同宽度采用不同方法获取的数据如下表2 所示。通过对比分析得出，不论是从F-score 还是从准确度数据结果来看，视图融合方法显优势较为突出。大量信息提取方式采用视图融合方法完成，保证分类结果更佳。相比于基于B-scan 图像的传统方法，在分类性能方面侧视图立方体与正视图立方体占据更大优势，大量目标空间信息可通过组合多个D-scan 图像与B-scan 图像获取。

表2 各方法在不同宽度下的分类结果

4 结束语

本文开展了无人机航拍建筑物视图网络融合目标识别分析，研究得到如下结果：

1）不论是从F-score 还是从准确度数据结果来看，视图融合方法显优势较为突出，保证分类结果更佳。

2）相比于基于B-scan 图像的传统方法，在分类性能方面侧视图立方体与正视图立方体占据更大优势。

参考文献：

[1] 张力文, 聂俊丽. 利用改进的f-k滤波方法压制无人机航拍中的线性干扰[J].电子学报, 2022, 50(6): 1444-1450.

[2] 杜文静, 刘庆华, 欧阳缮. 一种复块稀疏贝叶斯无人机航拍成像算法[J].现代雷达, 2022, 44(5): 33-39.

[3] LI H,LI N,WU R,et al.GPR-RCNN: an algorithm of subsurface defect detection for airport runway based on GPR[J].IEEE Robotics and Automation Letters,2021,6(2):3001-3008.

[4] MOALLA M, FRIGUI H, KAREM A, et al. Application of convolutional and recurrent neural networks for buried threat detection using ground penetrating radar data[J].IEEE Transactions on Geoscience and Remote Sensing,2020,58(10):7022-7034.

[5] 丁晓雯,丁强,顾君垚,等.基于1DCNN-DS的冷水机组故障诊断[J].低温与超导,2022,50(7): 69-76.

[6] 金守峰,侯一泽,焦航,等.基于改进AlexNet模型的抓毛织物质量检测方法[J].纺织学报,2022,43(6):133-139.

[7] 杜翠,王宁,刘杰,等.无人机航拍铁路检测大数据多线程并行处理方法[J].铁道建筑,2022,62(4):126-129.

（本文来源于《电子产品世界》杂志2023年8月期）