TIG penetration prediction based on capsule network
-
摘要:
以钨极气体保护焊（tungsten inert gas welding，TIG）熔透预测作为研究对象，文中提出了一种基于胶囊网络（capsule network，CapsNet）的熔透预测模型，并在模型中引入压缩奖惩网络模块（squeeze-excitation，SE模块）来提高模型的精度及训练速度。模型以焊接区的熔池正面图像作为输入，利用卷积层提取浅层特征，并通过压缩奖惩网络模块自适应提取不同特征的重要程度，依据重要程度调节特征图，再传递至胶囊层，采用动态路由算法迭代更新胶囊层间的耦合系数，最终获得3种熔透状态（未熔透、熔透、过熔透）的预测结果。迭代次数为70、激活函数选线性整流函数（linear rectification function，ReLU）、卷积层数为2层、胶囊层数为2层时模型在预测准确率和训练时间上表现最佳。为了进一步验证所提模型的性能，分别与传统胶囊网络，AlexNet和VGG19进行了对比分析。结果表明，改进后的胶囊神经网络能够有效地预测焊缝的熔透状态，在小样本数据集上表现较稳定，精度较高。
Abstract:Taking the penetration prediction of TIG welding as the research object, this paper proposes a penetration prediction model based on capsule network, and introduces the Squeeze-Excitation module into the model to improve the accuracy and training speed of the model. The model takes the front image of the weld pool in the welding area as the input, extracts the shallow features by using the convolution layer, adaptively extracts the importance of different features by Squeeze-Excitation module, adjusts the feature map according to the importance, and then transmits it to the capsule layer. The dynamic routing algorithm is used to update the coupling coefficient between the capsule layers, and the model finally obtains the prediction results of three penetration states (incomplete penetration, penetration and over penetration). When the number of iterations is 70, the activation function is ReLU, the number of convolution layers is 2, and the number of capsule layers is 2, the model performs best in prediction accuracy and training time. In order to further verify the performance of the proposed model, it is compared with traditional capsule network, AlexNet and VGG19. The results show that the improved capsule neural network can effectively predict the penetration state of weld, which is stable and accurate on small sample data sets.
-
Keywords:
- penetration prediction /
- capsule network /
- squeeze-excitation /
- image processing
-
0. 前言
熔透状态是表征焊接质量的重要指标，因此在焊接过程中利用正面熔池信息对背面熔透进行精准预测，对于焊接质量控制具有重要意义。由于焊接过程的瞬时性和复杂性，使得利用正面熔池信息实时准确识别焊缝熔透状态成为焊接过程监测和质量控制的关键瓶颈[1 − 3]。目前针对于熔透状态的分类识别已有研究，高向东等人[4]提取焊接过程中熔池图像中的熔池面积、熔宽以及熔池中心位置作为网络输入，建立了ICA-BP熔透状态预测模型；刘新峰[5]将熔池图像作为输入，采用改进的AlexNet作为训练模型，对焊接穿孔、熔透状态进行预测，识别率高于BP神经网络；Xia等人[6]利用HDR焊接摄像机来监控TIG焊接过程中的熔池和匙孔，并使用图像增强方法提高数据集的多样性，建立Resnet网络模型来识别不同的焊接状态；卢振洋等人[7]利用视觉传感器进行图像采集，结合经典图像处理方法与深度学习方法，对焊接熔池状态进行分类，通过定位熔池边界获得最大熔宽；李海超等人[8]提出一种基于卷积神经网络的背面熔透预测模型，通过试验确定了模型中卷积核的数目和尺寸，熔透状态的预测准确率超过了96%。虽然深度学习在熔透状态的识别中取得了一定的效果，但是存在3个缺陷在性能上有待提高。①没有考虑空间信息、特征旋转和视角变化对识别结果的影响；②池化层使用会造成信息丢失，浅层特征中只有最活跃的部分才能传递至深层，其它会被丢弃[9]；③数据量影响学习效果，深度学习需要海量数据支持。为克服以上3个缺陷，Vesperini等人[10 − 14]在2017年提出了胶囊网络，胶囊网络将神经元的输入输出由标量形式改为向量形式，向量的每一维度代表特征的一种属性信息，通过向量空间上的计算使其拥有空间位置特征提取能力。一方面采用动态路由算法代替池化层，解决了特征丢失问题；另一方面胶囊中包含的信息可以有效抵御图片被平移、旋转或缩放带来的干扰，只需较小的数据集就能取得较好的效果。文中将胶囊网络创新性的应用到熔池识别中，并嵌入压缩奖惩网络模块，能够更好地捕捉全局特征和局部特征的关系，解决了建立熔池和熔透状态关系难的问题。此方法相比传统CapsNet和其它经典深度学习网络模型，在解决熔透状态预测上有了一定提升，证明了该方法的有效性。
1. 胶囊网络原理
胶囊网络的结构如图1所示，主要包括卷积层、基础胶囊层和数字胶囊层。
1.1 卷积层
卷积层利用卷积运算对输入的熔池图片进行特征提取，卷积运算是卷积核中的各个参数与熔池图片中对应的局部像素相乘之和，并通过滑动窗口完成，卷积核中的各个参数为网络的训练参数，卷积层即
$$ {u_{i}} = {f_{i}}({X_{i}} * {W_{i}} + {B_{i}}) $$ (1) 式中：
$ {X_{i}} $ 为第$ i $ 个卷积层的输入；$ {u_{i}} $ 为第$ i $ 个卷积层输出；$ {W_{i}} $ 为卷积核中的参数；$ {B_{i}} $ 为偏置项；$ {f_{i}} $ 为激活函数，取ReLU函数；$ * $ 为卷积运算，可表示为$\displaystyle\sum\limits_{ m = 0}^{l} {\displaystyle\sum\limits_{ n = 0}^{l} {{\omega _{m,n}} \cdot {x_{i + m,j + n}}} }$ ，卷积核大小为l · l。1.2 胶囊层
胶囊层包括基础胶囊层和数字胶囊层，输入输出均为向量，向量的长度表示诊断为某种识别结果的概率，不受向量方向的影响。基础胶囊层对卷积层获得的低级特征进行整合，卷积层的输出
$ {u_{i}} $ 乘以基础胶囊层权重矩阵$ {W_{i,j}} $ 获得预测向量$ {U_{i}} $ 。$ {W_{i,j}} $ 可表示为浅层特征与深层特征之间的关系，$ {W_{i,j}} $ 的初值随机产生。$$ {U_{i}} = {u_{i}}{W_{i,j}} $$ (2) 预测向量
$ {U_{i}} $ 进行标量加权，如图2所示。图2中，
$ {C_{i,j}} $ 为基础胶囊层与数字胶囊层向量间的耦合系数，即决定一个低层胶囊输送到哪个高层胶囊，$ {C_{i,j}} $ 的值越趋向于1，基础胶囊层的输出信息会越多的传送至数字胶囊层，越趋向于0信息会越少的传送至数字胶囊层，该过程是通过动态路由的方式来完成的。$$ {C_{i,j}} = \frac{{\exp ({b_{i,j}})}}{{\displaystyle\sum\nolimits_{k} \exp ({b_{i,k}})} } \geqslant 0,\;\;\displaystyle\sum_{ j} {{C_{i,j}} = 1} $$ (3) 式中：
$ {b_{i,j}} $ 表示基础胶囊层中第$ i $ 个预测向量与数字胶囊层中第$ j $ 个向量之间的偏置系数，初值为0。再次，对标量加权后的向量进行累计求和得到第$ j $ 层的总输入向量$ {S_{ j}} $ ，再对求和后的结果利用一种矢量的新型非线性激活函数Squash函数进行非线性变换，即$$ {S_{ j}} = \sum\limits_{i} {{U_{i}}} {C_{i,j}} $$ (4) $$ {V_{j}} = {\rm{Squash}}({S_{ j}}) = \frac{{{{\left\| {{S_{ j}}} \right\|}^2}}}{{1 + {{\left\| {{S_{ j}}} \right\|}^2}}} \cdot \frac{{{S_{ j}}}}{{\left\| {{S_{ j}}} \right\|}} $$ (5) 通过Squash函数可以将输入向量
$ {S_{ j}} $ 压缩至0～1，还能保留输入向量的方向。基于输出向量$ {V_{j}} $ 可对偏置系数$ {b_{i,j}} $ 进行更新，$ {b'_{i,j}} $ 表示更新后的偏置系数，即$$ {b'_{i,j}} = {b_{i,j}} + {V_{j}} \cdot {U_{i}} $$ (6) 1.3 动态路由算法
基础胶囊层与数字胶囊层向量间的耦合系数是利用动态路由算法进行更新的，其决定了2个胶囊层之间的动态连接关系，通过不断的迭代更新筛选出更有效的胶囊来提高网络的性能[15 − 17]。以下为动态路由算法的伪码。
设定最大迭代次数R
$ {b_{i,j}} = 0 $ ; Step=0//第一轮迭代初值While (Step < R)
$$ {C_{i,j} } = \dfrac{ { {\rm{exp} } ({b_{i,j} })} }{ {\displaystyle\sum\nolimits_{k} }\exp ({b_{i,k} })} \geqslant 0,\;\;\displaystyle\sum\limits_{ j} { {C_{i,j} } = 1} $$ $$ {S_{ j} } = \displaystyle\sum\limits_{ i} { {U_{i} } } {C_{i,j} } $$ $$ {V_{ j} } = {\rm{Squash} }({S_{ j} }) = \dfrac{ { { {\left\| { {S_{ j} } } \right\|}^2} } }{ {1 + { {\left\| { {S_{ j} } } \right\|}^2} } } \cdot \dfrac{ { {S_{ j} } } }{ {\left\| { {S_{ j} } } \right\|} } $$ $$ {b_{i,j} } = {b_{i,j} } + {V_{ j} } \cdot {U_{i} };\,\rm Step = Step + 1 $$ End
Return V
1.4 Squeeze-Excitation模块
Squeeze-Excitation模块的结构如图3所示。
模块对通道间的内部依赖关系进行建模，主要包括3部分内容：①Squeeze操作：对特征图进行全局平均池化，获得全局信息；②Excitation操作：包括2个FC层和1个ReLU层，主要目的是将特征维度降低以减小计算量，并且提高模型的非线性能力，利用Sigmoid进行归一化处理后获得特征图权重；③Scale操作：自动获取每个特征通道的重要程度，并依照这个重要程度去增强有用的特征，并抑制对当前任务用处不大的特征，从而能实现特征通道的自适应校准。
2. 改进的胶囊网络模型
胶囊网络在图像识别、文本分类等众多领域应用中都展现出其独特的优势，但胶囊网络的发展在某些方面也受到现有技术制约，如训练速度。胶囊网络中动态路由算法迭代耗时长，迭代次数越多识别效率就会降低，在实时性要求较高的工业生产应用中受到限制。压缩奖惩网络模块以特征图作为输入，可自动获得每个特征通道的重要程度，依照这个重要程度去增强有用的特征，抑制对当前任务无用的特征。为了进一步提升胶囊网络的熔透预测效果，针对熔池图片中特征分类贡献程度不同的问题，文中将SE模块嵌入到胶囊网络模型中，可提高模型对熔池特征的表示能力，有效地避免信息冗余、使网络轻量化、减少模型过拟合问题，网络模型如图4所示。首先利用卷积层进行特征提取，并通过Squeeze和Excitation操作获得特征图的权重，将加权后的特征作为输入传至基础胶囊层，获得特征向量，再利用动态路由算法通过数字胶囊层获得最终分类结果。
对卷积层得到的c个大小为
$H*W $ （H为特征图的高度，W为特征图的宽度）的特征图进行Squeeze操作。Squeeze操作的全局平均池化如式（7）所示，可获得c个特征图的全局信息。$$ {z}_{c}={F}_{\rm sq}\left({u}_{c}\right)=\frac{1}{H\cdot W}{\sum }_{ i=1}^{ H}{\sum }_{ j=1}^{W}{u}_{c}(i,j) $$ (7) 式中：
${u_{\rm{c}}}(i,j)$ 表示U中第c个二维矩阵；${F_{\rm sq}}$ 表示对特征进行Squeenze操作。为了捕捉通道之间的非线性关系，对输出的$1*1*c $ 向量进行Excitation操作，该操作包括2个FC全连接层和1个ReLU。其中第1个FC层负责将特征维度降低到输入的1/r，r为减少率，目的是降低计算量，然后采用ReLU作为激活函数以增强网络的非线性表达能力，从而拟合出特征通道间复杂的关联关系，之后再经过1个FC层，并利用Sigmoid进行归一化处理，获得0～1之间的权重。Excitation操作需要特征通道自适应校准公式，即$$ s=\sigma \left[{W}_{2}\delta ({W}_{1}z)\right] $$ (8) 式中：
$ z $ 为全局平均池化的输出；$ {W_1} $ 是第1个全连接层FC的参数；$ \delta $ 是ReLU激活函数；$ {W}_{2} $ 是第2个全连接层FC的参数；$ \sigma $ 是Sigmoid激活函数，最终得到Scale的参数$ s $ 。Scale操作可将归一化获得的权重作用到特征图通道上，权重的大小表示特征通道的重要程度，可通过不断地学习自动获取，从而提高模型的预测精度和收敛速度。Scale操作用公式为$$ \tilde{{X}_{c}}={F}_{\rm scale}({u}_{c},{s}_{c})={s}_{c}\cdot {u}_{c} $$ (9) 式中：
${s_{\rm{c}}}$ 为式（8）获得的权重；${u_{\rm{c}}}$ 为原通道特征；$\tilde{{X}_{c}}$ 为加权后的通道特征。以加权后的特征通道作为输入，将其传至基础胶囊层进行整合获得预测向量，再通过数字胶囊层利用动态路由算法获得最终分类结果。在胶囊网络原有的基础上引入压缩奖惩网络模块，可增强特征的表达能力，提高预测精度的同时会减少其迭代次数，进而提高网络的识别效率。3. 试验结果与分析
3.1 硬件平台搭建和数据采集
文中采用的焊接方法为脉冲TIG焊，焊接材料为3.5 mm不锈钢，硬件设备如图5所示。将工业相机和数据采集卡采集到的熔池正面图片和相应的焊接电流和电压信号传输到计算机，计算机对接收到的数据处理之后，通过调节焊接电流电压控制器和伺服电机控制器来控制焊接过程中的电流电压以及焊接速度，从而得到不同状态下的熔池数据。
焊接电流控制在140～200 A，变化步长为20 A；焊接速度控制在20～40 cm/min，变化步长为10 cm/min；通过调节焊接电流与焊接速度，获得3种状态下的熔池图片（图6），去掉起弧和收弧时不稳定状态下采集的图像，最终采集得到了739张正常熔透照片，676张未熔透照片和80张过熔透照片，按照7∶3的比例随机划分为训练集和测试集，其中正常熔透样本标记为1，未熔透样本标记为−1，过熔透样本标记为0。截取分辨率大小为64 × 64的含有熔池的窗口进行分析，通道数为1。
3.2 网络超参数设置
超参数是深度学习中非常重要的概念之一，在模型开始训练之前需要人为进行参数设置，超参数设置的合理性对网络模型的性能具有很大影响。所以寻找一组合适的超参数是建立1种深度学习模型的关键步骤之一。文中分别选取迭代次数、激活函数、卷积层数和基础胶囊层数4种超参数作为研究对象，采用对比试验，以超参数训练集上的识别准确率作为评判标准，考察了4种超参数的不同取值对模型性能的影响。图7分别展示了4种超参数对模型性能的影响情况，每批次读入64张图片（Batch-Size值为64）。
根据上述试验结果，选择以下超参数配置方案。迭代次数为70，激活函数选ReLU，卷积层数为2层，胶囊层数为2层。
3.3 试验结果
利用改进后的胶囊网络对熔池状态进行识别，输入层为64 × 64大小的熔池图片，学习率为0. 001。为了验证SE-CapsNet的有效性，与CapsNet（1个卷积层、1个基础胶囊层、1个数字胶囊层）、AlexNet（5个卷积层、3个全连接层）、VGG19（16个卷积层、3个全连接层）进行了对比，识别结果见表1。
表 1 不同模型的对比结果模型 准确率 A(%) 损失函数值 时间t/h 参数个数 AlexNet 79.8 0. 342 2 4.836 2 089 738 VGG19 82.3 0. 225 3 5.030 4 283 914 CapsNet 87.6 0. 147 9 5.682 398 720 SE-CapsNet 91.2 0. 027 7 3.210 207 380 从表1的对比结果可以看出，文中提出的SE-CapsNet模型在测试集上的平均准确率达到91.2%，传统CapsNet的平均准确率为87.6%，二者的平均准确率均高于其它模型，且损失函数值最低，由此可说明胶囊网络模型在解决熔池状态预测问题上的性能优于其它深度学习网络，并且文中提出的SE-CapsNet模型与传统CapsNet模型相比准确率提高了3.6%，说明SE嵌入模块强化了相关特征，提高了识别精度，缩短了训练时间，说明文中所提出的模型可提高胶囊网络的学习效率，增强网络的实用性。
为了进一步说明胶囊网络在小样本集以及图像旋转上的有效性，将已采集到的熔池图像分别旋转24°，72°，120°，168°，216°，264°和312°，对3种类别的样本分别进行了扩充，均扩充为原来的3倍，正常熔透2 217张、未熔透2 028张、过熔透240张。分别随机选各类样本数的8%，12%，35%，60%和100%作为训练集，比较不同数据量下各个算法的性能，结果如图8所示。
由图8可知，数据集中样本的个数较少时各模型的准确率均较低，与其它3种模型相比，SE-CapsNet模型准确率的变化较平缓。随着样本数量不断增大，4种方法的性能均有所增强，这也体现出数据量的增多有助于网络模型从样本中获取更丰富和完善的信息，从而加强了模型的识别能力。此外，SE-CapsNet在不同数据量下的性能比传统方法都好，这说明SE-CapsNet不但适用于小样本数据，而且在样本数据量较大的情况下，相比于其它算法同样具有一定的优势。
4. 结论
（1）使用胶囊网络有效解决了传统方法因特征选择所造成的误差问题，克服了深度学习方法中池化层造成的信息丢失问题，避开了深度学习需要海量数据支持的问题。
（2）通过在胶囊网络引入压缩奖惩网络模块，使得准确率提高了3.6%，缩短了训练时间。与经典深度学习模型AlexNet和VGG19进行对比分析，改进后的胶囊神经网络在小样本数据集以及图像旋转上表现较稳定，且精度平均高出8%。
-
表 1 不同模型的对比结果
模型 准确率 A(%) 损失函数值 时间t/h 参数个数 AlexNet 79.8 0. 342 2 4.836 2 089 738 VGG19 82.3 0. 225 3 5.030 4 283 914 CapsNet 87.6 0. 147 9 5.682 398 720 SE-CapsNet 91.2 0. 027 7 3.210 207 380 
下载: 导出CSV
-
[1] 郭永健. TIG薄板焊接熔孔视觉检测与动态行为研究[D]. 山东: 山东大学, 2018. [2] 顾盛勇. 基于视觉传感的高效深熔锁孔TIG焊焊缝识别及熔透状态的研究[D]. 广东: 华南理工大学, 2018. [3] 陈子琴, 高向东, 王琳, 等. 大功率激光焊背面焊缝宽度神经网络预测[J]. 焊接学报, 2018, 39(11):48 − 52. [4] 高向东, 林俊, 萧振林, 等. 电弧焊熔透ICA-BP神经网络识别模型[J]. 焊接学报, 2016, 37(5):33 − 36. [5] 刘新锋. 基于正面熔池图像和深度学习算法的PAW穿孔/熔透状态预测[D]. 济南: 山东大学, 2017. [6] Xia C, Pan Z, Fei Z, et al. Vision based defects detection for keyhole TIG welding using deep learning with visual explanation[J]. Journal of Manufacturing Processes, 2020, 56(8):845 − 855.
[7] 卢振洋, 宫兆辉, 闫志鸿, 等. 基于深度学习的 TIG 焊背部熔池检测和熔宽提取[J]. 北京工业大学学报, 2020, 46(9):988 − 996. doi: 10.11936/bjutxb2018110030 [8] 李海超, 刘景风, 谢吉兵, 等. 基于卷积神经网络的GTAW熔透预测[J]. 机械工程学报, 2019, 55(17):22 − 28. [9] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]∥Advances in Neural Information Processing Systems, 2017: 3856 − 3866.
[10] Vesperini F, Gabrielli L, Principi E, et al. Polyphonic sound event detection by using capsule neural networks[J]. IEEE Journal of Selected Topics in Signal Processing, 2019, 13(2):310 − 322. doi: 10.1109/JSTSP.2019.2902305
[11] Paoletti M E, Haut J M, Fernandezbeltran R, et al. Capsule networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(4):2145 − 2160. doi: 10.1109/TGRS.2018.2871782
[12] 李鹏, 王德勇, 师文喜, 等. 大数据环境下基于深度学习的行人再识别[J]. 北京邮电大学学报, 2019, 42(6):29 − 34. doi: 10.13190/j.jbupt.2019-124 [13] 朱娟, 陈晓. 改进胶囊网络的有序重叠手写数字识别方法[J]. 激光杂志, 2019, 40(7):43 − 46. doi: 10.14016/j.cnki.jgzz.2019.07.043 [14] Rosario V M, Borin E, Breternitz M, et al. The multi-lane capsule network[J]. IEEE Signal Processing Letters, 2019, 26(7):1006 − 1010. doi: 10.1109/LSP.2019.2915661
[15] Jia S, Zhao B, Tang L, et al. Spectral – spatial classification of hyperspectral remote sensing image based on capsule network[J]. The Journal of Engineering, 2019(21):7352 − 7355. doi: 10.1049/joe.2019.0526
[16] Yang Jucheng, Han Shujie, Mao Lei, et al. Review of capsule network[J]. Journal of Shandong University (Engineering Science), 2019, 49(6):1 − 10.
[17] Xu Q, Chen K, Zhou G, et al. Change capsule network for optical remote sensing image change detection[J]. Remote Sensing, 2021, 13(14):2646. doi: 10.3390/rs13142646
-
期刊类型引用(1)
1. 王颖，高胜. 基于改进CeiT的GTAW焊接熔透状态识别方法. 焊接学报. 2024(04): 26-35+42+130-131 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 59
- HTML全文浏览量: 25
- PDF下载量: 34
- 被引次数: 1
