公开(公告)号：CN118864880A

公开(公告)日：2024-10-29

申请号：CN202410820499.4

申请日：2024-06-24

Applicant: 山东大学

Inventor： 刘宁 ,  陈欣然 ,  徐庸辉 ,  郭伟 ,  何伟 ,  刘磊 ,  崔立真

IPC: G06V10/44 ,  G06V10/25 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06T7/00 ,  G06N3/045

Abstract: 本发明涉及医学图像处理技术领域，提供了一种医疗影像特征提取模型训练方法及医疗影像分类方法，包括：将医疗影像输入医疗影像特征提取模型，得到粗粒度影像特征和细粒度影像特征；将医学报告输入医学报告特征提取模型，得到报告粗粒度特征和报告细粒度特征；将细粒度影像特征和报告细粒度特征进行交叉注意力计算，得到跨模态融合特征；基于粗粒度影像特征和报告粗粒度特征，计算粗粒度跨模态对齐损失；基于细粒度影像特征和跨模态融合特征，计算细粒度跨模态对齐损失；以损失的加权和最小为目标，对医疗影像特征提取模型和入医学报告特征提取模型进行训练。使医疗影像特征提取模型提取的影像特征更为精准。