基于激光结构光的视觉传感器的图像处理技术研究应用及展望

孙博文; 朱志明; 郭吉昌; 于英飞

基于激光结构光的视觉传感器的图像处理技术研究应用及展望

清华大学机械工程系, 先进成形制造教育部重点实验室, 北京 100084

基金项目:

国家自然科学基金资助项目(51775301)

详细信息

作者简介:
孙博文,1993年出生,硕士研究生。主要从事机器视觉与图像识别方面的研究。

通讯作者:
朱志明,1964年出生，工学博士，教授,博士研究生导师。主要研究方向为焊接过程控制及自动化、现代电能变换技术与先进材料加工装备等，已发表论文100余篇。

中图分类号: TG47
计量
- 文章访问数: 275
- HTML全文浏览量: 12
- PDF下载量: 16
出版历程
- 收稿日期: 2018-05-13

Image processing technology of visual sensor based on laser structured light

Key Laboratory for Advanced Materials Processing Technology, Ministry of Education of China, Department of Mechanical Engineering, Tsinghua University, Beijing 100084, China

摘要

摘要: 基于激光结构光的视觉传感技术是目前实现焊接过程自动化和智能化的主流传感技术。简要介绍了基于激光结构光的不同类型的视觉传感器及其在焊接领域的典型应用。针对图像处理过程中的图像预处理、激光中心线提取、特征点识别这3个阶段，分别详述了每个阶段的传统图像处理算法，并针对一些焊接领域应用的典型场景，举例说明了更具特色的图像处理算法及其应用所获得的图像处理效果，包括检测精度和实时性。最后，对基于激光结构光的视觉传感技术在焊接领域的进一步研究和应用以及未来的发展方向进行了展望。
- 激光结构光 /
- 视觉传感器 /
- 图像处理 /
- 焊接领域
Abstract: The visual sensing technology based on laser structured light is currently the mainstream of sensing technology that realizes the automation and intelligentization of welding process. Different types of visual sensors based on laser structured light and their typical applications in welding field were firstly and briefly introduced. Then,in view of the three stages of image preprocessing,laser centerline extraction,feature point recognition in image processing,the traditional image processing algorithms at each stage were introduced in detail,respectively. After that,for some typical scenarios in welding applications,examples are given to illustrate the more characteristic image processing algorithms and the image processing effects obtained by their applications,including detection accuracy and real-time. Finally,the further research and application of visual sensor based on laser structured light and its future development direction in welding field were proposed.
- laser structured light /
- visual sensor /
- image processing /
- welding field

HTML全文

参考文献(31)

[1]	陈媛媛, 徐浩, 魏庆丰. 智能弧焊机器人在汽车生产中的应用[J]. 金属加工: 热加工, 2018(5): 6-8.
[2]	杨丽娟. 基于视觉传感的机器人管道焊接关键技术研究[D]. 南京: 南京航空航天大学硕士学位论文, 2016.
[3]	Marr D.Vision: a computational investigation into the human representation and process of visual information[M]. Henry Holt and Co. Inc., New York,USA, 1982.
[4]	刘子腾, 白瑞林, 王秀平. 基于激光视觉的角焊缝图像特征点提取[J]. 焊接学报.2016, 37(2): 89-93.
[5]	于英飞, 郭吉昌, 朱志明. 焊接可视化技术的发展与研究现状[J]. 焊接, 2017(12): 4-8.
[6]	郭吉昌, 朱志明, 于英飞, 等. 焊接领域激光结构光视觉传感技术的研究及应用[J]. 中国激光, 2017, 44(12): 7-16.
[7]	章妍. 基于铝合金GTAW焊三光路视觉传感的熔池特征提取[D]. 上海: 上海交通大学硕士学位论文, 2014.
[8]	刘志辉. 坡口及焊缝数字轮廓的激光光栅视觉测量[D]. 兰州: 兰州理工大学硕士学位论文, 2018.
[9]	杨明敏. 基于十字激光的中厚钢板平直度检测方法研究[D]. 杭州: 浙江理工大学硕士学位论文, 2015.
[10]	鲁建波, 徐培全, 姚舜, 等. 圆形扫描结构光传感器的标定和焊缝检测[J]. 焊接学报, 2006, 27(4): 53-57.
[11]	张刚, 石玗, 黄健康, 等. 基于激光点阵的TIG焊熔池自由表面三维形貌测量方法[J]. 机械工程学报, 2014, 50(24): 10-16.
[12]	李春凯, 石玗, 顾玉芬, 等. GTAW熔池三维表面激光点阵反射特征的仿真与优化[J]. 焊接学报, 2017, 38(9): 42-46.
[13]	罗璐, 林三宝, 伏喜斌, 等. 基于激光视觉的焊缝特征信息检测技术研究[J]. 焊接, 2008(7): 33-38.
[14]	李佳璇. 基于结构光成像的焊缝跟踪与检测系统[D]. 太原: 中北大学硕士学位论文, 2017.
[15]	张欣. 基于视觉的焊缝特征识别与自动跟踪研究[D]. 昆明: 昆明理工大学硕士学位论文, 2017.
[16]	王立伟. 基于视觉信息的钢板连续生产线激光焊接关键技术的研究[D]. 天津: 河北工业大学博士学位论文, 2012.
[17]	Rafael C.Gonzalez, Richard E. Woods. Digital Image Processing[M]. 北京:电子工业出版社. 2011.
[18]	刘明友, 刘南生, 郭昌荣, 等. 基于结构光视觉传感的焊缝视觉信息检测和识别研究[J]. 焊接, 2007(1): 28-31.
[19]	李艳东, 刘涛, 郑毅, 等. 基于视觉的智能切割钢板边缘跟踪研究[J]. 焊接, 2009(6): 33-36.
[20]	张铮, 徐超, 任淑霞, 等.数字图像处理与机器视觉[M]. 北京: 人民邮电出版社, 2014.
[21]	王平. 基于激光结构光视觉传感的焊缝图像处理[D]. 上海: 上海交通大学硕士学位论文, 2010.
[22]	刘习文, 王国荣, 石永华. 单条纹激光引导焊缝跟踪图像处理[J]. 焊接学报, 2006, 27(6): 25-28.
[23]	孙立新, 戴士杰, 李慨, 等. 基于线结构光多道焊跟踪系统图像处理[J]. 焊接学报, 2002, 23(3): 53-57.
[24]	邓景煜. 激光结构光视觉传感器焊缝跟踪的图像处理方法研究[D]. 上海: 上海交通大学硕士学位论文, 2012.
[25]	李莹莹, 张志毅, 袁林. 线结构光光条中心提取[J]. 激光与光电子学进展, 2013(10): 13-22.
[26]	林欣堂, 朱莉, 张海波. 多层多道焊结构光中心线提取[J]. 焊接学报, 2016, 37(7): 105-110.
[27]	吴家勇, 王平江, 陈吉红, 等. 基于梯度重心法的线结构光中心亚像素提取方法[J]. 中国图像图形学报, 2009(7): 1354-1360.
[28]	李春明, 王萌萌, 刘海洋, 等. 精确的线结构光中心提取算法研究[J]. 机械与电子, 2017(6): 29-31.
[29]	邓汛. 基于线结构光视觉的六轴机器人焊缝跟踪研究[D]. 广州: 华南理工大学硕士学位论文, 2016.
[30]	岳建峰, 杜博宇, 王天琪, 等. 基于激光单目视觉系统的焊缝提取[J]. 天津工业大学学报, 2015(6): 84-88.
[31]	赵素娟. 激光视觉传感焊缝识别与自动跟踪系统[D]. 长春: 长春工业大学硕士学位论文, 2015.

施引文献(33)

期刊类型引用(16)

1.	郭小强，戴志彬. 基于BIM和机器视觉的钢结构智能焊接机器人系统分析. 安装. 2023(09): 70-72 . 百度学术
2.	孙忠涛，李先珍，李红华，周文斌，李斌，张旭光. 激光寻位技术在商用车仪表板横梁焊接上的应用. 汽车工艺与材料. 2023(11): 30-34 . 百度学术
3.	来振华，孔德群，周建，李轩，周晓炜. 先进表征技术在铝/铜异种金属激光焊接中的应用. 电焊机. 2022(01): 35-45 . 百度学术
4.	董金枋，汤大赟，吴頔，张培磊，于治水，许燕玲. 强噪声下的激光视觉焊缝跟踪图像处理研究现状及展望. 电焊机. 2022(12): 1-16 . 百度学术
5.	刘莹，刘维，高进强. 棱形管与法兰角焊缝图像处理及特征提取. 焊接. 2022(11): 59-64 . 本站查看
6.	赵志宇. 基于机器视觉的激光焊接熔池图像处理与特征提取. 应用激光. 2021(01): 195-200 . 百度学术
7.	黄炜，刘超. 基于视觉技术的连接器孔位识别与定位装配. 组合机床与自动化加工技术. 2020(02): 43-46 . 百度学术
8.	李瑛，成芳，赵志林. 采用结构光的大跨度销孔加工精度在线测量. 浙江大学学报(工学版). 2020(03): 557-565+613 . 百度学术
9.	吴兴华. 焊缝跟踪技术的发展与应用现状. 金属加工(热加工). 2020(06): 7-9 . 百度学术
10.	张云翔，饶竹一，王忠军. 基于激光视觉的局部放电图像识别系统. 激光杂志. 2020(09): 188-191 . 百度学术
11.	张晓娟，邹存名. 基于激光传感技术的车位自动检测和定位研究. 激光杂志. 2020(11): 37-41 . 百度学术
12.	杨秀芝，张锐，王兴东，蒋宇辉，王子涵. 基于PSD的薄板焊接坡口信号识别系统. 焊接. 2020(10): 28-33+62-63 . 本站查看
13.	寿明耀，余焕伟，诸源，余翔. 压力容器焊接智能化关键影响因子探讨. 焊接. 2020(11): 50-55+64 . 本站查看
14.	李若熙，赵一秾，曹语含，陈小静，张学东. 自适应聚类激光标定图像提取算法的研究. 辽宁科技大学学报. 2019(04): 294-300+308 . 百度学术
15.	陈其嶙，胡海鹏，刘兰欣. 激光-电弧复合焊熔池图像采集及特征研究. 应用激光. 2019(05): 825-834 . 百度学术
16.	曹守启，刘洪飞，冯杰才，田应仲. 基于窗口迭代的对接焊缝路径识别. 工业控制计算机. 2019(11): 76-77+107 . 百度学术