发明公开
CN115937227A 一种多模态图像分割方法
审中-实审
- 专利标题: 一种多模态图像分割方法
-
申请号: CN202211631748.2申请日: 2022-12-19
-
公开(公告)号: CN115937227A公开(公告)日: 2023-04-07
- 发明人: 王如心 , 肖福安 , 李烨
- 申请人: 中国科学院深圳先进技术研究院
- 申请人地址: 广东省深圳市南山区深圳大学城学苑大道1068号
- 专利权人: 中国科学院深圳先进技术研究院
- 当前专利权人: 中国科学院深圳先进技术研究院
- 当前专利权人地址: 广东省深圳市南山区深圳大学城学苑大道1068号
- 代理机构: 北京市诚辉律师事务所
- 代理商 成丹; 耿慧敏
- 主分类号: G06T7/11
- IPC分类号: G06T7/11 ; G06T7/00 ; G06V10/44 ; G06V20/70 ; G06N3/0455 ; G06N3/0464 ; G06N3/082
摘要:
本申请提供一种多模态图像分割方法,该方法包括:提取多模态图像的初始特征图;采用解剖诱导的区域解耦器对初始特征图的不同区域解耦,得到解耦边界特征图和解耦语义特征图;在每个解剖子区域结构内,采用边界辅助的区域内耦合器分别耦合解耦边界特征图和解耦语义特征图,得到具有互补信息的更新的边界特征图和更新的语义特征图;基于每个解剖子区域结构中的更新的语义特征图,在不同解剖子区域结构之间使用跨区域耦合器,以使不同子区域之间的特征互补学习,得到最终特征图;最终特征图作为解码器的输入,并通过多个反卷积块生成最终分割结果。该方案结合多模态之间信息互补的优势,建立有效的分割模型,可降低计算成本和提升模型分割能力。