专利检索 ap:("河北工业大学(CN)") AND inv:"许铮铧" 第 1 页

1.

发明公开
基于多模态自监督的医学影像分割方法审中-实审

公开(公告)号：CN115601352A

公开(公告)日：2023-01-13

申请号：CN202211374925.3

申请日：2022-11-04

申请人： 河北工业大学(CN)

发明人： 许铮铧 , 张娇娇

IPC分类号： G06T7/00 , G06N3/04 , G06N3/08 , G06V10/26 , G06V10/82

摘要： 本发明为基于多模态自监督的医学影像分割方法，首先获取病灶组织的多模态医学影像，包括A模态图像和B模态图像，并对图像进行预处理；接着，构建循环一致性模态对比域翻译网络，包括两个生成器和两个判别器；生成器用于将一个模态的图像转换为另一个模态的图像，包括编码器、中间共享模块和解码器；判别器用于判断自身输入的来源；然后，预训练循环一致性模态对比域翻译网络，计算训练损失，损失函数包括多模态语义一致性损失、对抗性损失、跨域翻译损失和循环一致性损失；最后，构建A模态分割网络和B模态分割网络，将预训练得到的权重迁移到两个分割网络中，将训练后的两个分割网络分别用于对应模态的医学影像分割。将对比跨域翻译作为多模态自监督预训练任务来学习更全面的模态特征，促进网络更好地学习模态特性和共性知识，提升分割能力。