Application of improved U-Net algorithm in image segmentation of pipeline inner weld defect
-
摘要:目的
图像处理技术在管道焊缝识别系统中的应用已经成为了机器视觉在焊缝检测中主要应用方向。对焊缝表面缺陷进行识别是应用的关键技术。为了提高焊缝表面缺陷识别效果，需要对焊缝图像进行有效分割。针对管道内焊缝边界区域可能出现的模糊不清，导致分割结果不准确的现象，需要采取相应的技术有段进行改善。
方法针对管道内焊缝缺陷图像分割问题，提出一种改进的U-Net图像分割方法。以管道内焊缝图像为研究对象，采用改进型U-Net网络对管道内焊缝缺陷图像进行识别和分割，经过网络训练和模型测试后，将分割结果与原U-Net网络、FCN网络进行对比。
结果结果表明，在改进型U-Net网络对管道内焊缝缺陷图像的分割中，相似性系数（Dice）、平均交并比（mIoU）两项评价指标分别达到
0.8420 和0.8514 ，相较于FCN网络分别提升13.44%和8.68%，相较于原U-Net网络分别提升6.51%和3.31%。结论因此，该文提出的改进后的U-Net网络对管道内焊缝缺陷的识别和分割具有更好的效果，也为研究管道焊缝缺陷识别系统提供可靠基础，减少人工检测的成本和时间。
Abstract:[Objective] Application of image processing technology in pipeline’s weld recognition system has become main application direction of machine vision in weld detection. Identification of surface defects on welds is a key technology for the application. In order to improve recognition effect of surface defects on weld, it is necessary to effectively segment weld images. In response to possible blurriness of weld boundary area inside pipeline, which leads to inaccurate segmentation results, corresponding techniques need to be adopted to improve it. [Methods] An improved U-Net image segmentation method was proposed to solve the problem of image segmentation of pipeline inner weld defects. Taking images of weld inside pipelines as the research object, the improved U-Net network was used to recognize and segment defect images of weld inside pipelines. After network training and model testing, segmentation results were compared with original U-Net network and FCN network. [Results] The results showed that the two evaluation indexes of similarity coefficient (Dice) and mean intersection over union (mIoU) of the improved U-Net network in the segmentation of weld defect images inside pipelines reached
0.8420 and0.8514 respectively. 13.44% and 8.68% were improved respectively compared with FCN network, and 6.51% and 3.31% were increased compared with original U-Net network. [Conclusion] Therefore, the improved U-Net network proposed in this paper had a better effect on identification and segmentation of pipeline’s weld defects, and also provided a reliable basis for the study of pipeline’s weld defect identification system, reducing cost and time of manual detection.-
Keywords:
- image segmentation /
- neural network /
- U-Net /
- weld defects
-
0. 前言
因为某些不可避免的工艺问题，凝汽器、换热器等设备的管道环焊缝中可能出现裂缝、未焊透等缺陷，这些焊件材料在应用的过程中，会影响整个产品的使用性能。目前，管道内焊缝外观检测主要靠人工完成。由于管道内的工作空间有限，检测人员对管道内焊缝表面有时无法观察，尤其在一些特殊工况下，比如管道成U形或者V形，管道内焊缝的观察或者质量检测，由人工进入管道借助辅助光源完成，有着诸多不利，甚至有危险存在。此外，检验时使用肉眼检测管道焊缝表面质量，易产生漏检、错检现象，影响检测结果的准确性。从而研究管道焊缝识别系统中的图像处理技术，通过视觉检测技术对现场采集的管道内的焊缝表面质量进行检测，实现对管道焊缝准确检测。
为了实现管道内焊缝缺陷检测，图像分割是必不可少的一步。卷积神经网络[1 − 2]就是2012年以来兴起的一种用于图像分析的深度学习模型[3]，各种卷积神经网络在基于VGG16[4]，ResNet[5]体系结构，以及MobileNet[6]，Exception[7]等网络结构的发展不断提升。
由于在焊缝图像的采集过程中背景区域易受光照强度，噪声等环境信息的影响，有时无法使机器很好的学习到其特征，而且进行训练的样本数也较小，很容易发生过拟合问题。这些都会导致图像分割不精确，给图像分割工作带来了挑战。因此，很多学者选择了在小数据集上表现较好的U-Net作为网络基础架构并进行了大量的研究。近几年，基于U-Net模块技术的发展主要有针对编码器、解码器结构的改进[8]及针对损失函数的改进[9]。Ronneberger等学者[10]在FCN的基础上进行改进和拓展后提出U-Net，相较于之前的其他网络，U-Net在多种图像的分割精度上都有显著的提升。Zhou等学者[11]于2018年设计了Unet++网络，减少了编码器和解码器之间的语义差距。Zhang等学者[12]通过添加残差网络模块对U-Net进行了改进，改进后的网络可以顺利的完成训练，并取得很好的效果。Xiao等学者[13]提到的Res-UNet网络是将残差网络与U-Net网络相结合，用残差网络中的残差块替代U-Net网络结构中的子模块来提升分割性能，并且DenseNet[14]网络可以对提取的特征重复利用，既能克服训练中梯度消失的问题，也能减小模型的参数量。张晓宇等学者[15]构建了使用融合损失函数的3D U-Net++网络来对图像不同区域进行分割。
该文对于图像分割时，边界区域出现的模糊不清而导致分割结果不准确的现象，设计出一种改进的U-Net网络模型，使其能够提高图像分割精度。
1. 焊缝缺陷检测算法
1.1 U-Net
U-Net的网络结构如图1所示，整个网络结构包括主干特征提取部分，加强特征提取部分和预测部分。这样的结构也称为编码器—解码器结构。因为网络结构与大写字母U很像，所以被命名为U-Net。主干特征提取部分由卷积和池化组成传统的卷积神经网络。加强特征提取部分使用2×2反卷积，每次卷积后，图像大小加倍。在最后一层中，所需的分类结果通过核大小为1×1的卷积获得，整个U-Net结构有23个卷积层。
1.2 改进型U-Net
该网络的主要改进如下。
（1）在原U-Net网络的基础上通过引入残差机制后得到的残差编码器块（REB）和残差解码器块（RDB）来提高网络的深度。由于特征提取的精度随着网络深度的增加而变高。但网络层数逐渐增加的过程中，不同层次的网络学习的速度差异逐渐增大，梯度在反向传播中的连乘效应会引起网络退化和梯度爆炸等问题，影响训练的效果。而残差神经网络通过将前面的激活值跳过中间的网络层而直接传到更后面的网络中，将输入的多重非线性变化拟合变成拟合输入与输出的残差，即恒等映射，从而有效克服在深度神经网络中出现梯度消失的现象。其中，所引入的瓶颈残差块的结构如图2所示。
残差模块的输入x通过残差单元与恒等映射回路的计算累加得到输出y，这一过程用数学符号可定义为：
$$ y_l =F(x_l,w_l)+h(x_l) $$ (1) 式中：F为残差单元的计算过程；xl和wl分别为第l个残差单元的输入及系列权重，为恒等映射过程。
那么第l+1层的输入为：
$$ {x_{l + 1}} = f\left( {{y_l}} \right) $$ (2) 为了简化计算过程，将第2个Relu函数忽视，令$ x_{l+1}=y_{l} $，那么式可变换为：
$$ {x_{l + 1}} = F\left( {{x_l},{W_l}} \right) + {x_l} $$ (3) 将$ l $展开，即
$$ {x_L} = \sum\limits_{i = l}^{L - 1} {F\left( {{x_i},{W_i}} \right)} + {x_l} $$ (4) 则对于残差网络，其反向传播公式为：
$$ \frac{{\partial \varepsilon }}{{\partial {x_l}}} = \frac{{\partial \varepsilon }}{{\partial {x_L}}}\frac{{\partial {x_L}}}{{\partial {x_l}}} = \frac{{\partial \varepsilon }}{{\partial {x_L}}}\left( {1 + \frac{\partial }{{\partial {x_l}}}\sum\limits_{i = l}^{L - 1} {F\left( {{x_i},{W_i}} \right)} } \right) $$ (5) 式中：l为恒等映射机制，它的存在可以无损的将梯度进行保留。若经过残差单元得到的梯度出现问题时，由于前者的存在，将会有效的缓解导致梯度失效等问题，因此残差神经网络可以有效的学习数据的特征。
（2）改进型U-Net网络在原U-Net网络的编码区中用卷积层替代池化层。这是由于卷积操作在对特征进行降维的同时也去除了重复的特征，有效的降低了训练过程中参数的数量，能够在减少下采样过程中更有效的提取焊缝缺陷的特征，从而提高计算效率。
图3为改进的U-Net网络结构，依然保持了U-Net的U型结构，分别对原U-Net网络中的编码−解码区结构进行改进，共使用了4个REB和4个RDB。每个REB由3个卷积核大小为3×3的卷积层组成。在特征提取过程中，编码器首先采用自然分布的方式对所有输入数据进行归一化处理，在激活层中通过ReLU[16]函数抑制或激活部分信号，然后通过不同尺度的卷积方法提取特征部分。在解码器中，上采样是步长为２的卷积逆运算。经过反复训练，网络自动学习管道内焊缝图像中的气孔，裂缝等特征。
主干网络主要用于挖掘焊缝深层次特征，把输入焊缝图像进行不同程度的下采样，用于对网络获取的多层次特征图进行融合补充。网络的上采样解码器，接收综合下采样主干网络和联合变形卷积的残差结构两部分的多层次、多尺度特征信息图，然后把获取的多特征融合图向前上采样逐步恢复图像尺寸与细节，最后将其送入网络的末端判别器实现对焊缝缺陷的预测和分割。
改进的U-Net网络不但能够发挥U-Net的优点，还具备了残差网络的梯度不易消失的特点。
2. 数据集构建
2.1 开发环境
该文所建立的模型训练是在版本为1.10.2的Pytoch深度学习框架下进行的，采用显卡配置为NVIDIA GeForce RTX 3050的Windows 11计算机操作系统；其中CPU型号为AMD Ryzen 55600 @ 3.3 GHz；运行内存16 G；OpenCV的版本为4.5.5，编程语言为python 3.6，编辑器为Pycharm。具体试验网络代码可通过通讯作者获取。
2.2 焊缝训练数据的处理
将GDXray焊缝数据集[17]作为研究对象，首先，对获取的焊缝图像开展缺陷标注工作，标注的方法采用Labelme进行标注，Labelme标注一般采用点、椭圆、矩形等多种形式，该文在对焊缝图像中的缺陷进行标注时采用多边形的方式。原始焊缝图像及标签所对应的标签图如图4和图5所示，图4(a)、图4(b)为单一孔缺陷图，图5(a)、图6(b)为多缺陷并存图。
由于焊缝图片面积较大且数量较少，不利于网络的训练，因此对焊缝图像进行切块处理，将焊缝图像及其对应的标签切成128×128的尺寸，焊缝图像通过Labelme得到相应的缺陷标签如图6所示。经过切割后总共获得了636张缺陷图像，将切割后得到的数据集依照随机分配原则，并按6∶2∶2的比例分为训练集、验证集和测试集。
为了增加焊缝图片数量，将含有裂纹和孔缺陷的图像进行了处理，即通过Labelme得到相应的孔缺陷标签。图7为裂纹和孔并存的原始焊缝、焊缝标签图。
依据以上做法处理数据集后，焊缝出现缺陷的情况也比较少见，所以对数据集采用数据扩充方法，主要包括对焊缝缺陷图像进行水平，垂直方向的翻转及45°角的旋转，增加光照强度变化等。通过扩充，样本数据集图像达到3 816幅，焊缝缺陷图像经过以上方法处理的结果如图8所示。
![]()
图 8 焊缝缺陷图像扩充图Figure 8. Weld defect image expansion. (a) weld defect original drawing; (b) expanded weld defect diagram3. 试验过程与结果
3.1 网络的参数设置
该研究所有试验的网络输入均为通道数为1，尺寸为572×572的图像。根据计算机硬件配置和图像数据尺寸，为提高网络训练效率及模型后期训练的稳定性，通过大量调参试验对比，得到以下较优的网络超参数：所有网络的批处理量大小batchsize设为4，总训练次数epochs设为100，学习率初始化为0.000 04。
3.2 评价指标
该研究采用训练过程中的相似性系数（Dice）和平均交并比（mIoU）2个指标来衡量网络对焊缝缺陷图像的分割能力。
3.2.1 Dice系数
Dice系数是一个衡量相对重叠（overlap）程度的指标，用于计算预测值X与真实值Y之间的差异。其公式表示为：
$$ D = \frac{{2\left| X \right| \cup \left| Y \right|}}{{\left| X \right| + \left| Y \right|}} $$ (6) 式中：X为真值（标签）；Y为测试区域（模型预测出的内容）。
3.2.2 mIoU值
mIoU值就是指数据集中的每一个类的交并比的平均值，设i为真实值，j为预测值，pij为将i预测为j，其具体计算公式为：
$$ mIoU = \frac{1}{{k + 1}}\sum\limits_{i = 0}^k {\frac{{{p_{ii}}}}{{\displaystyle\sum\limits_{j = 0}^k {{p_{ij}} + \displaystyle\sum\limits_{j = 0}^k {{p_{ji}} - {p_{ii}}} } }}} $$ (7) 3.3 试验结果
FCN网络、U-Net网络及改进型U-Net网络的Loss曲线及训练分割效果如图9、图10所示。
![]()
图 10 改进型U-Net网络和FCN网络、U-Net（Base）网络分割效果对比Figure 10. Comparison of improved U-Net network and FCN network and U-Net (Base) network segmentation effect. (a) original figure; (b) tag; (c) FCN; (d) U-Net; (e) Eff_U-Net分析图9，对比FCN网络、U-Net网络及改进型U-Net网络损失下降图，可以看出改进型U-Net网络最优。
分析对比图10中3种网络对焊缝缺陷的分割效果，都可以清晰分割出对应的缺陷，FCN网络有分割缺陷丢失现象存在，如图10第3行裂纹与孔缺陷并存时，U-Net网络有分割缺陷噪点存在，如图10第4行多个孔缺陷并存时，Eff-U-Net网络分割效果最好，与焊缝原图、即标签一致。通过以上分析，可以得出该文所提的Eff-U-Net在焊缝缺陷分割效果，比U-Net网络和FCN网络要好。
FCN网络、U-Net网络及改进型U-Net网络在训练过程中的Dice系数和mIoU值随迭代次数变化曲线如图11(a)、图11(b)所示。
![]()
图 11 不同算法训练过程中的变化曲线Figure 11. Variation curve during training of different algorithms. (a) Dice curve; (b) mIoU curve分别计算不同算法网络训练的Dice系数和mIoU值见表1和表2。
表 1 3种算法的Dice系数比较Table 1. Comparison of Dice coefficients under three algorithms算法 Dice值 FCN 0.742 2 U-Net 0.790 5 Eff_U-Net 0.842 0 表 2 3种算法的MIoU值比较Table 2. Comparison of MIoU values under three algorithms算法 MIoU FCN 0.783 4 U-Net 0.824 1 Eff_U-Net 0.851 4 根据表中的数据分析可知，该文提出的改进的U-Net算法在焊缝缺陷分割任务上效果是最好的。在焊缝缺陷分割任务上Dice系数达到了0.842 0，mIoU值达到了0.851 4，分割的效果和真实值最为接近，较其他算法网络准确度有所提升。
4. 结论
（1）该文以深度学习的U-Net网络结构为基础，提出了一种改进的应用在管道内焊缝缺陷图像中的U-Net网络分割方法，可以有效的保留在编码过程中不同层容易丢失的信息，使特征的表达更加准确，从而准确预测焊缝中气孔，裂缝等缺陷的区域，提高图像的分割精度。
（2）改进的U-Net与FCN，Eff-U-Net焊缝图像分割效果相比较，相似性系数（Dice）和平均交并比（mIoU）2个指标均最高，证明了该算法对焊缝缺陷图像的分割能力。改进型U-Net网络对管道内焊缝缺陷图像的分割中，相似性系数（Dice）、平均交并比（mIoU）2项评价指标分别达到
0.8420 ，0.8514 ，相较于FCN网络分别提升13.44%和8.68%，相较于原U-Net网络分别提升6.51%和3.31%。因此，使用改进的U-Net网络对管道焊缝图像进行分割，则缺陷特征更准确，缺陷区域分割更精确，有助于管道焊缝图像数据的分析及焊缝表面质量检测。 -
![]()
图 8 焊缝缺陷图像扩充图
Figure 8. Weld defect image expansion. (a) weld defect original drawing; (b) expanded weld defect diagram
![]()
图 10 改进型U-Net网络和FCN网络、U-Net（Base）网络分割效果对比
Figure 10. Comparison of improved U-Net network and FCN network and U-Net (Base) network segmentation effect. (a) original figure; (b) tag; (c) FCN; (d) U-Net; (e) Eff_U-Net
![]()
图 11 不同算法训练过程中的变化曲线
Figure 11. Variation curve during training of different algorithms. (a) Dice curve; (b) mIoU curve
表 1 3种算法的Dice系数比较
Table 1 Comparison of Dice coefficients under three algorithms
算法 Dice值 FCN 0.742 2 U-Net 0.790 5 Eff_U-Net 0.842 0 
下载: 导出CSV
表 2 3种算法的MIoU值比较
Table 2 Comparison of MIoU values under three algorithms
算法 MIoU FCN 0.783 4 U-Net 0.824 1 Eff_U-Net 0.851 4
下载: 导出CSV
-
[1] 樊丁, 胡桉得, 黄健康, 等. 基于改进卷积神经网络的管焊缝X射线图像缺陷识别方法[J]. 焊接学报, 2020, 41(1): 7 − 11. Fan Ding, Hu Ande, Huang Jiankang, et al. X-ray image defect recognition method for pipe weld based on improved convolutional neural network[J]. Transactions of the China Welding Institution, 2020, 41(1): 7 − 11.
[2] 孙家豪, 张超勇, 吴剑钊, 等. 基于神经网络的316L不锈钢激光焊焊缝形貌预测[J]. 焊接学报, 2021, 42(12): 40 − 47. doi: 10.12073/j.hjxb.20210526003 Sun Jiahao, Zhang Chaoyong, Wu Jianzhao, et al. Prediction of weld profile of 316L stainless steel based on generalized regression neural network[J]. Transactions of the China Welding Institution, 2021, 42(12): 40 − 47. doi: 10.12073/j.hjxb.20210526003
[3] Rajee M V, Mythili C. Gender classification on digital dental x-ray images using deep convolutional neural network[J]. Biomedical Signal Processing and Control, 2021, 69: 102939. doi: 10.1016/j.bspc.2021.102939
[4] Yang Haoyan, Ni Jiangong, Gao Jiyue, et al. A novel method for peanut variety identification and classification by improved VGG16[J]. Scientific Reports, 2021, 11(1): 15756. doi: 10.1038/s41598-021-95240-y
[5] Shaikh A, Gupta P. Real-time intrusion detection based on residual learning through ResNet algorithm[J/OL]. International Journal of System Assurance Engineering and Management, 2022. https://doi.org/10.1007/s13198-021-01558-1.
[6] Kulkarni U, Meena S M, Gurlahosur S V, et al. Quantization Friendly MobileNet (QF-MobileNet) architecture for vision based applications on embedded platforms[J]. Neural Networks, 2021, 136: 28 − 39. doi: 10.1016/j.neunet.2020.12.022
[7] Chollet F. Xception: deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017: 1800-1807.
[8] Tagivan II LLC. Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus: US10992953B2[P]. 2020-09-04.
[9] Lv Peiqing, Wang Jinke, Zhang Xiangyang, et al. An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography[J]. Mathematical Biosciences and Engineering, 2022, 19(2): 1426 − 1447.
[10] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer, Cham, 2015: 234 − 241.
[11] Zhou Z, Rahman Siddiquee M M, Tajbakhsh N, et al. Unet++: a nested u-net architecture for medical image segmentation[C]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, Springer, Cham, 2018: 3 − 11.
[12] Zhang Zhengxin, Liu Qingjie, Wang Yunhong. Road extraction by deep residual U-net[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 749 − 753. doi: 10.1109/LGRS.2018.2802944
[13] Xiao Xiao, Lian Shen, Luo Zhiming, et al. Weighted res-UNet for high-quality retina vessel segmentation[C]//2018 9th International Conference on Information Technology in Medicine and Education (ITME), Hangzhou, China, 2018: 327 − 331.
[14] Huang Zhixiong, Li Jinjiang, Hua Zhen. Underwater image enhancement via LBP-based attention residual network[J]. IET Image Processing, 2021, 16(1): 158 − 175.
[15] 张晓宇, 王彬, 安卫超, 等. 基于融合损失函数的3D U-Net++脑胶质瘤分割网络[J]. 计算机科学, 2021, 48(9): 187 − 193. doi: 10.11896/jsjkx.200800099 Zhang Xiaoyu, Wang Bin, An Weichao, et al. 3D U-Net++ glioma segmentation network based on fusion loss function[J]. Computer Science, 2021, 48(9): 187 − 193. doi: 10.11896/jsjkx.200800099
[16] Maniatopoulos A, Mitianoudis N. Learnable Leaky ReLU (LeLeLU): an alternative accuracy-optimized activation function[J]. Information, 2021, 12(12): 513. doi: 10.3390/info12120513
[17] Mery D, Riffo V, Zscherpel U, et al. GDXray: the database of X-ray images for nondestructive testing[J]. Journal of Nondestructive Evaluation, 2015, 34: 1 − 12. doi: 10.1007/s10921-014-0275-3
-
期刊类型引用(1)
1. 洪宇翔，应其洛，林凯，王开明，王瑶祺. 基于注意力机制和迁移学习的弧焊熔池图像识别. 焊接学报. 2025(04): 94-102 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 61
- HTML全文浏览量: 11
- PDF下载量: 13
- 被引次数: 1
