基于无人机与深度学习的少样本混凝土表面裂缝检测方法

作者：张慧乐¹,杨发¹,吴丹¹,张淳杰²

作者简介：

张慧乐，高级工程师，E⁃mail:zhanghuile@ cribc. com

作者单位：

1.中国京冶工程技术有限公司，北京 100088; 2.北京交通大学，北京 100089

基金项目：

∗国家自然科学基金（62072026）

摘要：

混凝土表面裂缝检测是混凝土建筑安全评估和风险预警的重要手段。传统人工检测方法工作量大，且需考虑复杂环境下影响人身安全等因素。基于无人机的裂缝检测方法得到了应用，但当受不确定因素影响时，无人机无法采集足够的训练样本，限制了其检测性能。为此，基于无人机与深度学习，提出少样本条件下混凝土表面裂缝检测方法，采用主流深度学习网络 Faster⁃RCNN 和 YOLOX,利用 WBF 算法将检测结果进行融合，有效弥补了像素级标签信息较少导致的检测性能下降。在少样本裂缝图像库及户外场地进行了试验测试，试验结果表明，在少样本条件下基于无人机与深度学习的裂缝检测方法性能得到有效提升，对裂缝检测的准确率达到 58. 67%.

关键词：混凝土；裂缝；检测；无人机；深度学习。

English：

Concrete surface crack detection is an important means of concrete building safety assessmentand risk earlywarning. The traditional manual detection method has a large workload, and it is necessaryto consider factors such as personal safety in complex environments. The crack detection method based onUAV has been applied, but when affected by uncertain factors, UAV cannot collect enough trainingsamples,which limits their detection performance. Therefore, based on UAV and deep learning, a crackdetection method for concrete surface under the condition of few samples is proposed. The mainstreamdeep networks Faster⁃RCNN and YOLOX are used, and the detection results are fused by WBFalgorithm,which effectively alleviates the detection performance degradation caused by less pixel⁃levellabel information. Experimental tests were carried out in a few sample crack image library and outdoorsites. The test results show that the performance of the crack detection method based on UAV and deeplearning is effectively improved under the condition of few samples, and the accuracy of crack detection is58. 67%.

[1]	方恩权，王耀东，袁敏正，等。地铁隧道表面裂缝智能视觉采集系统 [ J ].铁道科学与工程学报， 2019, 16 （ 4 ）：1074⁃1080.FANG E Q, WANG Y D, YUAN M Z, et al. An intelligentvisual acquisition system for surface cracks of subway tunnels[J]. Journal of railway science and engineering, 2019,16（4）：1074⁃1080.
[2]	王保宪，白少雄，赵维刚。基于特征增强学习的路面裂缝病害视觉检测方法【 J].铁道科学与工程学报， 2022, 19（ 7）：1927⁃1935.WANG B X, BAI S X, ZHAO W G. Visual detection method ofpavement crack disease based on feature enhancement learning[ J]. Journal of railway science and engineering, 2022, 19 （7）：1927⁃1935.
[3]	陈辉，张甜，陈润斌。基于轻量级卷积 Transformer 的图像分类方法及在遥感图像分类中的应用【 J].电子与信息学报，2022, 44:1⁃9.CHEN H, ZHANG T, CHEN R B. Image classification methodbased on lightweight convolution transformer and its application inremote sensing image classification[ J]. Journal of electronics &information technology, 2022, 44:1⁃9.
[4]	HE K M, ZHANG X Y, REN S Q, et al. Deep residual learningfor image recognition [ C ] // IEEE Conference on ComputerVision and Pattern Recognition, 2016.
[5]	赵荣欣，王枫，吴华勇，等。桥梁病害自动检测研究综述[J].施工技术， 2023, 52（9）： 1⁃6.ZHAO R X, WANG F, WU H Y, et al. Research review ofautomatic inspection of bridge defects [ J ]. Constructiontechnology, 2023, 52（9）： 1⁃6.
[6]	张慧，王坤峰，王飞跃。深度学习在目标视觉检测中的应用进展与展望【J].自动化学报， 2017, 43（8）： 1289⁃1305.ZHANG H, WANG K F, WANG F Y. Application progress andprospect of depth learning in object vision detection [ J]. Actaautomatica sinica, 2017, 43 （8）： 1289⁃1305.
[7]	田萱，王亮，丁琪。基于深度学习的图像语义分割方法综述[J].软件学报， 2019, 30（2）： 440⁃468.TIAN X, WANG L, DING Q. A survey of image semanticsegmentation methods based on depth learning [ J]. Journal ofsoftware, 2019, 30 （2）： 440⁃468.
[8]	徐昊，彭雪村，卢志芳。基于四旋翼无人机的桥梁裂缝检测系统设计【J].水利水运工程学报， 2018（1）：102⁃110.XU H, PENG X C, LU Z F. Design of bridge crack detectionsystem based on four rotor UAV [ J ]. Hydro⁃science andengineering, 2018（1）：102⁃110.
[9]	陶晓力，武建，杨坤。基于无人机视觉的桥梁裂缝检测【 J].计算机技术与发展， 2018, 28（3）： 174⁃177.TAO X L, WU J, YANG K. Bridge crack detection based onUAV vision[ J]. Computer technology and development, 2018,28 （3）：174⁃177.
[10]	丁威，俞珂，舒江鹏。基于深度学习和无人机的混凝土结构裂缝检测方法【J].土木工程学报， 2021, 54（S1）： 1⁃12.DING W, YU K, SHU J P. Concrete structure crack detectionmethod based on depth learning and UAV [ J ]. China civilengineering journal, 2021, 54 （S1）： 1⁃12.
[11]	李新叶，龙慎鹏，朱婧。基于深度神经网络的少样本学习综述【J].计算机应用研究， 2020, 37（8）： 2241⁃2247.LI X Y, LONG S P, ZHU J. Overview of deep neural networkbased small sample learning [ J ]. Application research ofcomputers, 2020, 37 （8）： 2241⁃2247.
[12]	郑欣悦。基于深度学习的少样本图像分类方法【D].北京：中国科学院大学（中国科学院国家空间科学中心），2019.ZHENG X Y. A few sample image classification method based ondeep learning[D]. Beijing: University of Chinese Academy ofSciences （National Space Science Center, CAS）， 2019.
[13]	卢依宏，蔡坚勇，郑华，等。基于深度学习的少样本研究综述【J].电讯技术， 2021, 61（1）： 125⁃130.LU Y H, CAI J Y, ZHENG H, et al. A review of small sampleresearch based on deep learning [ J ]. Telecommunicationsengineering, 2021, 61（1）： 125⁃130.
[14]	徐佳琦。基于边缘提取与 VGG16 深度卷积神经网络的混凝土裂缝识别方法研究【J].施工技术， 2023, 52（9）： 11⁃15.XU J Q. Concrete crack recognition method based on edgeextraction and VGG16 deep convolutional neural network [ J].Construction technology, 2023, 52（9）： 11⁃15.
[15]	高友文，周本君，胡晓飞。基于数据增强的卷积神经网络图像识别研究【J].计算机技术与发展， 2018, 28（8）： 62⁃65.GAO Y W, ZHOU B J, HU X F. Research on convolutionalneural network image recognition based on data enhancement[J].Computer technology and development, 2018, 28 （8）： 62⁃65.
[16]	REN S Q, HE K M, GIRSHICK R, et al. Faster R⁃CNN:towards real⁃time object detection with region proposal networks[ J ]. IEEE transactions on pattern analysis and machineintelligence, 2017, 39（6）：1137⁃1149.
[17]	REDMON J, DIVVALA S, GIRSHICK R, et al. You only lookonce: Unified, real⁃time object detection[C] // IEEE Conferenceon Computer Vision and Pattern Recognition, 2016.
[18]	ROMAN S, WEIMIN W, TATIANA G. Weighted boxes fusion:Ensembling boxes from different object detection models [ J].Image and vision computing, 2021, 107:104117.
[19]	陈志强，杨霞，陈小杰。 YOLO 与 SAHI 模型在建筑外立面表观损伤检测中的协同应用【 J].施工技术， 2022, 51（ 24）：114⁃119.CHEN Z Q, YANG X, CHEN X J. Collaboration application ofYOLO and SAHI models in the detection of apparent damage ofbuilding facades[J]. Construction technology, 2022, 51（ 24）：114⁃119.

应用研究 > 2024年 第53卷 第21期