公开(公告)号：CN117934511A

公开(公告)日：2024-04-26

申请号：CN202410111337.3

申请日：2024-01-26

Applicant: 吉林大学

Inventor： 张小利 ,  薄晓磊 ,  王瑞霖 ,  杨飞扬

IPC: G06T7/11 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/096 ,  G06N3/048 ,  G06N3/0895

Abstract: 本发明公开了一种模态缺失医学图像分割方法、装置、终端及存储介质，属于医学图像处理技术领域，包括获取三维医学图像，将所述三维医学图像正则化得到正则化后的三维医学图像；将所述正则化后的三维医学图像通过编码器提取并进行整合得到高维图像特征输出数据；将所述高维图像特征输出数据通过多级知识蒸馏方法得到进一步丰富后的高维图像特征；将所述进一步丰富后的高维图像特征输入到分割解码器当中得到最终分割结果。本发明从单模态输入中提取更多的潜在信息，最终提高在单模态情境下的分割性能，得到高质量的分割结果。

公开(公告)号：CN117576460A

公开(公告)日：2024-02-20

申请号：CN202311540007.8

申请日：2023-11-17

Applicant: 吉林大学

Inventor： 张小利 ,  孙杰 ,  杨飞扬 ,  李雄飞 ,  李忱阳 ,  王李颖 ,  薄晓磊

IPC: G06V10/764 ,  G06V10/774 ,  G06T7/00 ,  G06V10/42 ,  G06V10/80

Abstract: 本公开提供了一种基于对比学习的多模态医学图像数据集蒸馏方法及装置，获取医学的多模态图像，并进行预处理；将每种模态视为对应成像区域的一种独特的数据增强方法，使用对比学习方法通过少量的标签对多模态图像进行特征提取并融合；基于提取的多模态特征使用知识蒸馏的方法，将大规模的多模态的数据集的信息压缩合成的小型数据集中。本公开有效解决了医学图像标签获取困难问题以及医学图像多模态数据在医院之间传递的隐私和运输成本问题。

公开(公告)号：CN119049637A

公开(公告)日：2024-11-29

申请号：CN202411140662.9

申请日：2024-08-20

Applicant: 吉林大学

Inventor： 张小利 ,  薄晓磊 ,  杨飞扬

IPC: G16H15/00 ,  G06V10/40 ,  G06V10/82

Abstract: 本发明公开了一种胸透诊断报告自动生成方法、装置、终端及存储介质，属于医学图像文本多模态处理技术领域，包括获取胸透图像，将所述胸透图像通过卷积特征提取模块得到图块级视觉特征；将所述图块级视觉特征通过编码器进一步捕获并整合复杂映射得到最终视觉隐藏状态；将所述最终视觉隐藏状态通过记忆驱动的视觉语义增强模块进行语义增强，得到增强后的视觉特征；将所述增强后的视觉特征输入到解码器中得到最终生成的诊断报告。本发明通过对视觉特征进行特别的语义增强，解决了主流模型架构的非对称特征流向性隐患，最终得以生成更准确更全面的诊断报告。