Weld defect recognition in ultrasonic TOFD image based on depth learning algorithm
-
摘要:目的
针对传统焊缝缺陷检测中人工效率低、检测难度大和漏检率高等问题，基于试验模拟与深度学习算法提出了一种面向TOFD D扫图像的缺陷识别方法。
方法通过室内试验对不同类型的对接焊接缺陷（夹渣、裂纹、未焊透、气孔和未熔合）进行了模拟，利用不同数据增强方法构建了实际TOFD检测数据特征图库，结合YOLOv5深度学习网络结构进行TOFD D图像数据集的训练与检测，提升模型对焊接缺陷的识别性能，并且自动输出缺陷智能检测结果。
结果试验结果表明，该方法具备优越的模型泛化能力，当IoU阈值设定为0.5时，模型训练的准确率可达到98.05%；针对5种焊接缺陷类型，在识别时的分类置信度均超过95%，有效提升了焊接缺陷识别的效率，可满足实际场景在线识别要求。
结论提出的焊接缺陷识别方法具有较高的准确性，可广泛用于不同缺陷检测模型的构建，为焊接质量控制提供了有效的技术支持。
Abstract:[Objective] Addressing the issues of low manual efficiency, high detection difficulty, and high missed detection rates in traditional weld defect detection, this study proposes a defect recognition method for TOFD D-scan images based on experimental simulation and deep learning algorithms. [Methods] Different types of butt weld defects (slag inclusions, cracks, lack of penetration, porosity, and lack of fusion) are simulated through indoor experiments. A feature image library of actual TOFD detection data is conducted by various data augmentation methods. TOFD D-scan image datasets are trained and detected by the YOLOv5 deep learning network structure to enhance the model’s capability to recognize weld defects and automatically output intelligent detection results. [Results] The experimental results indicate that this method possesses excellent model generalization ability, achieving an accuracy of 98.05% with an IoU threshold of 0.5. For five types of welding defects, the classification confidence during recognition exceeds 95%, significantly improving the efficiency of weld defect recognition and meeting the requirements for online recognition in practical scenarios. [Conclusion] The proposed weld defect recognition method demonstrates high accuracy and can be widely used for constructing various defect detection models, providing effective technical support for welding quality control.
-
Keywords:
- defect recognition /
- TOFD /
- YOLOv5 /
- deep learning
-
0. 前言
超声衍射时差法（Time of flight diffraction，TOFD）以其精确的缺陷定位特性、丰富的检测信息、良好的抗干扰能力和高效率，在焊接质量评估领域备受青睐，成为常用的无损检测技术之一。但传统上TOFD数据的分析依赖于专家的目视评估，这一过程易受成像原理、焊缝特性及现场环境等因素干扰，尤其在处理大规模焊接数据时，缺陷数据量太少，导致检测结果中可能出现噪声难以分辨[1]。因此，人工分析方法在效率、一致性和准确性方面存在局限。随着TOFD技术在交通领域的深入应用以及数据的大量积累，基于TOFD检测数据进行自动化焊缝缺陷鉴定的技术研究变得日益重要。
近几十年专家学者对深度学习等理论进行了深入研究，其中基于无损检测数据的识别技术也逐渐受到关注。陈振华等人[2]通过对TOFD直通波信息特征的分析与提取，实现了对表层缺陷的有效识别与分类。Ren等人[3]开发了一种两阶段的检测器Faster-RCNN，该检测器结合仿真和少量真实数据训练的卷积神经网络，能够从超声相控阵数据中实现缺陷的检测、定位及大小确定，在IOU阈值设定为0.4时，其定位准确率达到70%。Posilović[4]利用B扫描的缺陷检测图像测试了SSD和YOLOv3两类算法，发现YOLOv3的无损评估数据分析精度达到了89.7%，但测试数据集只包含98张图像，可能会导致网络过于泛化。Jin[5]将B扫图像信息转换为波形信号，提取出波的传播时间和振幅等特征，实现了对厚壁构件表面缺陷的鉴别。Silva等人[6]采用极限学习机（ELM）分类网络算法对TOFD信号进行分析，通过输入傅里叶频谱系数，实现了85%的缺陷检测准确率。林乃昌等人[7]通过结合粒子群优化算法和核主成分分析法对图像特征进行降维处理，并选取109幅D扫描图像作为训练样本，以25幅图像测试支持向量机（SVM）分类器，获得了76%的缺陷检测率。Chen等人[8]利用区域性卷积神经网络（R-CNN）构建缺陷识别模型，输入D扫描图像中的缺陷区域，实现了超过80%的缺陷识别准确度。黄焕东等人[9]探讨了TOFD-D扫描图像中缺陷轮廓与图像特征之间的关联，运用Faster R-CNN算法对图像进行分类，不过该方法对TOFD数据中的噪声和界面波的判别存在误差风险。谷静等人[10]利用深度学习的DenseNet算法对数据进行了动态增强，并与LS-SVM及LeNet算法相比较，结果显示DenseNet网络在焊接缺陷识别上的准确率可达98.97%。
综上所述，TOFD检测方法具有海量的数据特征，其中波形数据与图像数据各自承载了部分的缺陷信息[11]，但已有研究主要以A扫、B扫和D扫产生的波形数据进行分析，对图像数据的相关研究较少，不能完全挖掘出图像包含的丰富信息。目前应用于焊接缺陷图像识别的算法（例如SVM，BP，AdaBoost，ANN，MLP等）在图像的精确分割方面效果并不理想[12]，特征选择及其参数化过程容易受到主观因素的干扰，进一步限制了缺陷识别效率与准确性的提升。因此，文中针对不同类型焊接缺陷展开试验模拟，利用实际TOFD检测数据构建样本库，基于YOLOv5算法自动学习不同缺陷类型中的复杂特征，从而对目标进行分类，并确定缺陷目标在图像中的精确定位，有效提高缺陷识别效率。
1. 网络结构
YOLOv5算法根据网络深度和宽度的不同有4个版本，分别为v5s，v5m，v5l和v5x。根据目标检测的精度和时间需求，需要调整相应的深度系数（depth_multiple）和宽度系数（width_multiple）。考虑到YOLOv5s具有较快的检测速度[13]，文中选择采用YOLOv5s网络来检测焊缝缺陷。该网络架构主要包括输入层、骨干网络（Backbone）、特征融合层（Neck）和目标检测头（YOLOHead）。
图像在Backbone骨干网络中首先进行Focus切片，然后进入CSPDarknet53网络，该网络主要结构是多个CBS（Conv + BatchNorm + SiLU）模块和C3模块堆叠，CBS模块用于辅助C3模块进行特征提取，最后连接一个SPPF模块，通过最大池化特征，避免了SPPNet中SPP的重复操作，增强了主干的特征表达能力，显著提高模块的运行速度，其结构如图1所示。
Neck模块由特征金字塔网络（FPN）和路径聚合网络（PAN）组成。在FPN中，通过将Backbone提取的深层特征上采样与浅层信息逐元素相加，形成了多尺度的特征金字塔结构（32倍下采样，16倍下采样，8倍下采样）。同时FPN巧妙地融合了低层特征的高分辨率和高层特征的高语义信息[14]，PAN在进一步强化语义信息的同时，增加了多层自底向上的金字塔结构，以获取更多的位置信息。通过将PAN与FPN相结合，有效获得了丰富而全面的特征信息。YOLOv5特征融合部分如图2所示。
在特征融合后提取多个不同尺度的检测特征，最终将输出的特征分成S×S的网格，在目标框定位损失lloc中使用GIoU计算边界框得分，可以更好地反映预测帧与真实帧之间的重叠关系，不断调整得到最终预测框，其相互关系如图3所示。虚线框代表需要调整的anchor，地图坐标的左上角设置为(0,0)，pw和ph分别是anchor的宽度和高度，bw，bh为预测框尺寸，bx和by为虚框的中心。
2. TOFD检测图像数据集
2.1 对接焊缝试验
利用YOLOv5的方法进行缺陷识别并评估此方法的性能，就必须有一个较大的图像数据集。文中通过制作了12块含有裂纹、气孔、夹渣、未焊透、未熔合缺陷的测试试块进行试验研究[15]，板材厚度基本覆盖了目前钢桥常用的钢板厚度，材质为Q345，坡口形式为V形，编号为N1～N12，试板缺陷形式以及部分试板形貌如图4和图5所示。
试验仪器为汕头研究所生产的SUPOR 32PT，工艺参数采用楔块角度60°、探头频率7.5 MHz、晶片尺寸3 mm，PCS 70 mm，通过使用相控阵探头对区块进行扫描，扫描角度为30°～90°。从不同的角度和扫描方向可以看到其中的缺陷，每个扫描图像中其外观都会略有不同，忽略焊缝组织的不均匀性，以射线/渗透检测结果为基准，分别使用TOFD进行检测，试验D扫图像样本如图6所示。
2.2 图像数据集
文中对试验照片进行噪声添加、对比度调整、裁剪、平移、旋转、马赛克等处理，以此作为一种隐式的规整化方法提高网络的鲁棒性，防止小样本训练产生过拟合现象。最终的TOFD数据集包含462张图像，其中包含5种典型表面缺陷，即裂纹（Crack）、未熔合（Incomplete fusion）、未焊透（Lack of penetration）、气孔（Porosity）、夹渣（Slag inclusion）。为了便于训练YOLOv5算法，需将VOC格式的数据集标注文件批量转换为YOLO格式，标注文件包括类别序号（0，1，2，3，4）和目标位置的边框坐标，见表1。同时为了保持数据集的多样性和均衡性，编写脚本将数据集按照7∶3的比例划分为训练集和验证集，其中训练集包含396张图像，验证集包含66张。
表 1 数据集划分Table 1. Partitioning of data sets编号 缺陷
类型名称 总样
本数n训练
样本n1验证
样本n20 裂纹 Crack 112 96 16 1 未熔合 Incomplete fusion 84 72 12 2 未焊透 Lack of penetration 84 72 12 3 气孔 Porosity 112 96 16 4 夹渣 Slag inclusion 70 60 10 3. 试验设置
启动网络训练流程之前，需对训练文件内的参数执行调整，详细参数配置见表2。CUDA版本是10.2.89，Python版本是3.7，将迭代次数设置为90次，迭代的批量大小设置为16，优化器选择SGD，并采用余弦退火算法来更新学习速率。
表 2 试验关键超参数Table 2. Experimental key hyperparameters试验超参数 值 初始学习率 0.01 IoU训练阈值 0.2 IoU损失系数 0.05 Anchor长宽比 4.0 梯度下降动量 0.937 预训练权重 YOLOv5s 训练图像大小 640 训练轮数epoch 90 Batch-size 16 权重衰减系数 0.000 5 4. 试验结果
4.1 训练过程
焊缝缺陷智能识别算法在制作好的训练集上训练，损失函数曲线如图7所示。可以看出：（1）置信度损失lconf降低到了0.01左右，分类损失lclass降低到了0.001左右，目标框定位损失lloc的loss值在0.015；（2）在模型训练达到稳定状态后，损失值的下降曲线呈现一致性，逐步趋于收敛，表明在训练与验证阶段均未观察到过拟合现象。在TOFD图像数据集上的各种参数指标的变化情况如图8所示，从图中可以发现：（1）在精确率方面，YOLOv5网络模型达到最高的精确率为98.05%；（2）网络模型在小范围训练时，召回率会有较大波动，但后面随着输入量的提高，召回率逐渐收敛；（3）在前25轮训练过程中，模型迅速达到了收敛状态，但经过50轮训练后，mAP值趋于稳定，这表明训练效果比较理想，同时表现出对训练数据和新样本的良好泛化能力。
4.2 识别结果
训练流程完成后，在验证数据集上对模型进行了评估，相关的部分检测效果如图9所示，依次展示了对气孔、裂纹、未熔合、未焊透以及夹渣等缺陷的检测结果图像。通过采用YOLOv5算法对检测到的目标进行分类，结果显示没有发生分类错误，无论从目标框的回归效果、错检以及漏检现象而言，效果都较为良好，各类缺陷的单个分类置信度都在95%以上，最高达到97%。同时可以发现，在已有的焊缝缺陷图像中气孔、夹渣和未焊透的形态和灰度较为相似，呈线状的裂纹、细线状的未熔合这2类缺陷在形态上相似，这些都可能会导致网络结构产生错误识别，但是YOLO的算法结构能够有效学习到各类图像的深度特征。
5. 结论
（1）展开室内试验获得TOFD检测焊缝缺陷数据，通过不同数据增强方法建立对接熔透焊缝典型缺陷的图像训练库，结合能够自动提取不同特征的YOLOv5算法，提出了TOFD焊缝缺陷类型和区域的智能识别方法，在输入检测图像后自动识别焊缝图像中每个缺陷的位置、大小与类型。
（2）训练的深度学习网络能够准确、快速地检测出不同缺陷的D扫图像，网络模型达到最高的精确率为98.05%，取得了良好的分类效果，且对于试验样本验证的分类置信度都在95%以上，为TOFD当前检测数据的深入分析与实践应用提供技术路径。此外，该方法具有一定的适用性，其技术架构能够被扩展至包括相控阵在内的其他具备显著图像特性的检测数据分析领域。
-
表 1 数据集划分
Table 1 Partitioning of data sets
编号 缺陷
类型名称 总样
本数n训练
样本n1验证
样本n20 裂纹 Crack 112 96 16 1 未熔合 Incomplete fusion 84 72 12 2 未焊透 Lack of penetration 84 72 12 3 气孔 Porosity 112 96 16 4 夹渣 Slag inclusion 70 60 10 
下载: 导出CSV
表 2 试验关键超参数
Table 2 Experimental key hyperparameters
试验超参数 值 初始学习率 0.01 IoU训练阈值 0.2 IoU损失系数 0.05 Anchor长宽比 4.0 梯度下降动量 0.937 预训练权重 YOLOv5s 训练图像大小 640 训练轮数epoch 90 Batch-size 16 权重衰减系数 0.000 5
下载: 导出CSV
-
[1] Praveen A, Vijayarekha K, Abraham S T, et al. Fourier analysis of ultrasonic TOFD signals for defect detection in austenitic stainless steel welds[J]. International Journal of Computer Applications, 2013, 71(9): 14 − 17. doi: 10.5120/12385-8737
[2] 陈振华, 胡怀辉, 卢超. 基于超声TOFD直通波及神经网络的近表面缺陷自动识别[J]. 无损检测, 2014, 36(3): 14 − 17. Chen Zhenhua, Hu Huaihui, Lu Chao. Automatic identification technology of near surface defects based on neural network and through wave of ultrasonic TOFD[J]. Nondestructive Testing, 2014, 36(3): 14 − 17.
[3] Ren Shaoqing, He Kaiming, Girshick Ross, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137 − 1149. doi: 10.1109/TPAMI.2016.2577031
[4] Posilović L, Medak D, Subašić M, et al. Flaw detection from ultrasonic images using YOLO and SSD[C]//2019 11th International Symposium on Image and Signal Processing and Analysis (ISPA). IEEE, 2019: 163 − 168.
[5] Jin S J, Sun X, Ma T T, et al. Quantitative detection of shallow subsurface defects by using mode-converted waves in time-of-flight diffraction technique[J]. Journal of Nondestructive Evaluation, 2020, 39(2): 33 − 41.
[6] Silva L C, Filho E, Albuquerque M, et al. Segmented analysis of time-of-flight diffraction ultrasound for flaw detection in welded steel plates using extreme learning machines[J]. Ultrasonics, 2019, 102(11): 106057.
[7] 林乃昌, 杨晓翔, 林文剑, 等. 基于改进的KPCA的TOFD图像缺陷识别方法[J]. 福州大学学报(自然科学版), 2014, 42(2): 277 − 281. Lin Naichang, Yang Xiaoxiang, Lin Wenjian, et al. Research on defect recognition of TOFD image based on improved KPCA[J]. Journal of Fuzhou University (Natural Science Edition), 2014, 42(2): 277 − 281.
[8] Chen Z, Huang G, Lu C, et al. Automatic recognition of weld defects in TOFD D-scan images based on faster R-CNN[J]. Journal of Testing and Evaluation, 2020, 48(2): 1 − 15.
[9] 黄焕东, 胡利晨, 李斌彬, 等. 基于区域的快速卷积神经网络的焊缝TOFD检测缺陷识别[J]. 无损检测, 2019, 41(7): 12 − 18. Huang Huandong, Hu Lichen, Li Binbin, et al. Recognition of defect in TOFD image based on faster region convolutional neural networks[J]. Nondestructive Testing Technologying, 2019, 41(7): 12 − 18.
[10] 谷静, 王琦雯, 张敏, 等. 基于DenseNet网络的焊缝缺陷检测识别[J]. 传感器与微系统, 2020, 39(9): 129 − 131. Gu Jing, Wang Qiwen, Zhang Min, et al. Weld defect detection and recognition based on DenseNet network[J]. Transducer and Micr0system Technologies, 2020, 39(9): 129 − 131.
[11] 支泽林, 姜洪权, 杨得焱, 等. 图谱数据深度学习融合模型及焊缝缺陷识别方法[J]. 西安交通大学学报, 2021, 55(5): 73 − 82. Zhi Zelin, Jiang Hongquan, Yang Deyan, et al. A deep learning fusion model of wave and image data for weld defect recognition[J]. Journal of Xi’an Jiaotong University, 2021, 55(5): 73 − 82 .
[12] 李砚峰, 刘翠荣, 吴志生, 等. 基于深度学习One-stage方法的焊缝缺陷智能识别研究[J]. 广西大学学报(自然科学版), 2021, 46(2): 362 − 372. Li Yanfeng, Liu Cuirong, Wu Zhisheng, et al. One-stage identification method for weld defects based on deep learning network[J]. Journal of Guangxi University (Natural Sciencc Edition), 2021, 46(2): 362 − 372.
[13] 吕秀丽, 卢海滨, 侯春光, 等. 改进YOLOv5s的钢材表面缺陷检测算法[J]. 化工自动化及仪表, 2024, 51(2): 301 − 309. Lv Xiuli, Lu Haibin, Hou Chunguang, et al. Improved YOLOv5s algorithm for steel surface defect detection[J]. Control and Instruments in Chemical Industry, 2024, 51(2): 301 − 309.
[14] 张龙. 基于YOLOX-S深度学习算法的多路视频火灾烟雾检测系统研究[D]. 太原: 中北大学, 2023. Zhang Long. Research on multi-channel video fire smoke detection system based on YOLOX-S deep learning algorithm[D]. Taiyuan, China: North University of China, 2023.
[15] 彭森, 何连海, 马志华, 等. 钢结构桥梁对接焊缝缺陷的TOFD检测图像特征[J]. 无损检测, 2021, 43(12): 49 − 53. doi: 10.11973/wsjc202112011 Peng Sen, He Lianhai, Ma Zhiha, et al. TOFD testing image characteristics of butt weld defects in steel structure bridges[J]. Nondestructive Testing, 2021, 43(12): 49 − 53. doi: 10.11973/wsjc202112011
计量
- 文章访问数: 0
- HTML全文浏览量: 0
- PDF下载量: 0
