徕卡金相显微镜|奥林巴斯金相显微镜|蔡司金相显微镜|尼康显微镜

收藏本站 - 设为首页 - 网站地图
  • 首页Home
  • 关于百贺About Us
  • 产品中心Products
  • 新闻中心News
  • 技术资料Technical Data
  • 客户案例Cases
  • 联系我们Contact Us
技术资料 / Technical Data
  • 技术文章
  • 资料下载
产品搜索
   BAHENS百贺仪器拥有一支朝气蓬勃,勇于创新,团结协作的精英团队。公司倡导创造价值,培养使命感、责任感、荣誉感和成就…   阅读更多>>
您当前的位置:首页 > 技术文章

基于深度学习的TA15 钛合金显微组织检测

发表时间:2022-07-04    点击次数:805    相关产品:徕卡显微镜 金相/体视/偏光
摘 要:钛合金在航空制造中常用于飞机的主要承力构件,需要对其进行显微组织检测以保证材料性能。为克服钛合金显微组织图像难以自动检测的问题,文章以TA15 钛合金为突破口,提出并详细说明了一种基于深度学习的显微组织检测方法,包括采集原始图片时应注意的问题、数据增强时旋转图片导致的纹理不一致问题及解决方法,提出了一种性能较好的神经网络结构以及考虑实际生产置信度的预测结果后处理与管线构建方法。实现了从原始图片到显微组织类别的端到端预测。
 
关键词:深度学习;卷积神经网络;图像增强;金相检测;显微组织
 
在航空制造中,钛合金常用于飞机的主要承力构件,需要对其组织形态进行检测,及时发现缺陷,保证材料的力学性能。显微组织检测是金相检测的一个重要项目,通过使用金相显微镜对样品进行观察,确定材料的结构、组织形态和元素分布。长期以来,钛合金的显微组织检测都是靠人工观测显微镜下的金相图像,然后与标准图样、尺寸要求对比进行的,效率低,对人员经验依赖严重。
 
试图解决该问题的方法中,传统图像识别算法需要计算轮廓矩作为识别特征,而金相图片很难提取到轮廓;传统机器学习在面对像素形式的图像数据时,无法克服平移不变性问题;近年来兴起的深度学习可以通过卷积和池化学习到具有平移不变性的特征,为解决问题带来了希望,但在实际应用中仍面临着一些困难。本文将以TA15 钛合金为突破口,讨论使用深度学习技术进行钛合金显微组织检测的方法。
 
1 数据采集
将需要检测的各显微组织形态的钛合金试样磨制到镜面程度,热镶嵌到酚醛树脂模具中,并使用金相显微镜拍取多个位置的组织图片。由于深度学习本质上是对像素值进行数学运算,所以需要考虑清晰度与视野的问题,即图片的像素数与其表达的物理距离之间的关系。理论上,只要多张原始图片之间像素数与物理距离的比一定,即可通过简单的裁剪获得训练图片,本文所用的显微镜在500x 的视野下20μm 对应的像素数为143 左右,该值因设备的拍摄像素密度而异。图片应纹理清晰、亮度均匀(如图1 左),不应有黑边、标尺等其它内容(如图1 右)。
图2 图片旋转后产生的纹理不一致
 
为解决上述问题,可以使用根据旋转角与目标尺寸回推裁切尺寸的方法。即对于随机的旋转角α∈[0,360)deg,求其对90 的余数α',计算:
 
式中d 为目标尺寸,本文取512,ε 由下式确定:

将原始图片灰度化后,在随机位置裁切出形状为(D,D)的正方形图片,绕旋转α,再从位置裁切出形状为(d,d)的小正方形,对小正方形做随机水平、垂直翻转,然后在样本(图片)范围内对像素值进行标准化,得到增强后的图片。对每一张原始图片重复上述步骤以生成数据集。本文通过数据增强生成训练图片3018 张,验证、测试图片各626 张,以A1 类别为例,如图3。

图3 数据增强所得的图片

3 设计与训练模型

由于缺乏明确可靠的理论指导,神经网络结构的设计一直是深度学习中的一大问题。结合金相检测专业知识,本文的思路是:TA15 合金的显微组织评级(分类)需要关注初生α、次生α、β 组织的大小和数量,注意到初生α 面积较大,而次生α、β 区图像较细,所以神经网络在输入后分成两条路径处理。其中一条支路使用了4×4 很大池化层,并在随后使用了带孔卷积块,加速特征图收缩且减少了池化的使用;另一支路则使用了传统的卷积、池化层堆叠结构。整个网络在适当的位置使用了批标准化,两条支路的张量展平合并,输入全连接层进行分类。
 
经过了大量的尝试与迭代优化后,本文得出了一种性能较好的网络结构,如图4。
图4 神经网络结构
 
确定模型结构后,使用categorical_crossentropy 损失函数、adam 优化器,使用准确率作为性能指标,训练30个轮次。本文第28 轮时模型的验证准确率达到了98.52%,测试发现模型存在轻度过拟合,但性能已经满足要求,于是使用这个模型。
 
4 构建管线
检测新的试样时,首先读取待测试样的显微组织图片,与训练时一样将其转换为灰度图片。由于网路的输入比原图小,需要对原图进行裁切,为避免裁切随机性导致的结果波动,可以在图片内随机位置裁出10 个形状为(d,d)的子图,并在之后综合考虑它们的结果。将数据进行张量化与样本范围的标准化,输入神经网络进行预测,对输出张量沿0 轴求均值,得到的结果可以视为该试样属于各个类别的概率。
 
考虑到模型验证准确率约98.5%,意味着每100 次检测预期会错1-2 次,此时需要对于合格类别(A-C 类)有高置信度,否则就需要对全部预测结果进行人工复核,自动检测将失去意义。所以对于合并后的softmax 输出,不使用argmax 得出类别索引,而是规定一个较大的阈值t(如0.8),仅当模型的自信程度大于t 时才输出这个类别,否则输出“待定”,提醒操作人员人工检查。
 
至此构建了从原始图片到显微组织类别的预测管线,部署至合适的使用场景(如web 应用)后即可使用。
 
5 结束语
本文介绍了一种基于深度学习的TA15 钛合金显微组织检测方法,详细说明了实现步骤与过程中的主要问题,包括原始数据采集需要注意的事项、数据增强方法、神经网络结构以及后处理/管线构建方法,实现了从原始图片到显微组织类别的端到端预测。本文方法的整体流程,如图5。

图5 本文检测方法流程
 
,由于水平和精力有限,本文在模型结构的尝试上仍以传统卷积层为主,诸如Inception 系列的胶囊网络、ResNet 系列的残差连接等热门方法并未考虑,可能遗漏性能更好的网络结构;另外,其他的图像预处理方法,如将灰度图像二值化以突出有用信息,都值得进一步研究。

上一篇:钢材微结构的目视

下一篇:徕卡半导体检查显

与此资讯相关条目更多>>
热点新闻推荐更多>>
友情链接:万能试验机

网站声明 | 商业合作 | 联系我们 | 集团邮局

版权及内容所有:上海百贺仪器科技有限公司沪ICP备10009833号-18 Copyright 2010 BaHens(CHINA) INSTRUMENT CO.,LTD.