公开(公告)号：CN118411504A

公开(公告)日：2024-07-30

申请号：CN202410505959.4

申请日：2024-04-25

申请人： 重庆邮电大学

发明人： 杨浦 ,  乔丽红 ,  石宇航 ,  舒禹程 ,  肖斌 ,  李伟生

IPC分类号： G06V10/24 ,  G06V10/774 ,  G16H50/20 ,  G16H30/00

摘要： 本发明属于医学数据处理领域，具体涉及一种医学图像文本对齐模型的训练方法、装置及设备；所述方法包括获取医学图像、增强视图、医学文本和增强文本；采用图像编码器提取图像特征，采用文本编码器提取文本特征；利用多视图监督图像文本对齐获得更为详尽的医学图像和医学文本表征；利用多尺度自注意力与交叉注意力集成对齐策略能在无需外部信息的情况下，通过内部特征的关联性来理解每个模态的上下文信息，还能够学习到跨模态的信息。利用高置信度聚类信息引导正负样本构建算法能够深入挖掘高阶语义信息，使得预训练完成后的模型能够用于医学图像和其成对的医学报告之间精准的配对能力，以及对图像中病灶区域的精准定位能力，辅助医疗病情诊断。