公开(公告)号：CN114332040A

公开(公告)日：2022-04-12

申请号：CN202111660372.3

申请日：2021-12-30

申请人： 华中科技大学协和深圳医院

发明人： 姜伟 ,  邓晓妃 ,  朱婷 ,  汪天富 ,  雷柏英 ,  向卓 ,  柳懿垚 ,  赵程

IPC分类号： G06T7/00 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于多模态的甲状腺病理图像分类方法及终端设备，其中，方法包括步骤：采用三个ResNet18网络分别对三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征，所述三个模态的甲状腺病理图像包括甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像；采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征；将三模态信息特征和共有信息特征进行融合后，并利用残差网络进行甲状腺病理图像分类，输出分类结果。本发明在合作研究单位提供的多模态甲状腺超声数据集上验证了设计的多模态的甲状腺病理图像分类方法，结果证明了此方法可以准确地对甲状腺病理图像进行分类，为超声科医生对诊断甲状腺癌提供快速、准确的辅助。