双模态融合可解释乳腺癌自动化智能诊断方法

    公开(公告)号:CN117911775A

    公开(公告)日:2024-04-19

    申请号:CN202410086893.X

    申请日:2024-01-22

    申请人: 重庆大学

    摘要: 本发明涉及一种双模态融合可解释乳腺癌自动化智能诊断方法,属于医学诊断技术领域。该方法先获取灰阶图像和SWE图像的DICOM格式的数据并进行标注,再转换为图像格式的数据;将图像数据输入神经网络模型中训练分别用于提取灰阶图像的纹理特征和SWE图像的硬度特征的权重;将灰阶图像和SWE图像输入动态特征融合编码模块中,采用训练好的权重分别提取纹理特征和硬度特征后将两种特征进行融合,同时输出融合特征的分类结果;融合后的特征和分类结果输入后可解释模型中,在后可解释模型中结合原始图像数据得到具有分类结果的可视化热力图,借助可视化热力图辅助定位乳腺癌。