- 专利标题: 基于特征交互融合的多模态图像分类方法及系统
-
申请号: CN202410100735.5申请日: 2024-01-25
-
公开(公告)号: CN117636074B公开(公告)日: 2024-04-26
- 发明人: 袭肖明 , 杨博涵 , 陈关忠 , 宁一鹏 , 钱娜 , 郭子康 , 孙马俊杰 , 聂秀山
- 申请人: 山东建筑大学
- 申请人地址: 山东省济南市历城区临港开发区凤鸣路1000号
- 专利权人: 山东建筑大学
- 当前专利权人: 山东建筑大学
- 当前专利权人地址: 山东省济南市历城区临港开发区凤鸣路1000号
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 黄海丽
- 主分类号: G06V10/764
- IPC分类号: G06V10/764 ; G06V10/80 ; G06V10/82 ; G06V10/25 ; G06N3/045 ; G06N3/0464 ; G06N3/08
摘要:
本发明涉及图像分类技术领域,特别是涉及基于特征交互融合的多模态图像分类方法及系统,其中所述方法包括:获取待分类的第一模态图像和第二模态图像;将第一模态图像和第二模态图像,输入到训练后的多模态图像分类模型中,输出多模态图像的分类结果;其中,训练后的多模态图像分类模型用于对不同模态的图像采用不同的网络结构进行特征提取,分别得到特有特征和共享特征;采用注意力机制对特有特征和共享特征进行融合,采用分类器对融合特征进行分类,本发明利用共享特征与特有特征之间的相互作用,捕获和强化特征之间的关联性,有助于提升分类性能。
公开/授权文献
- CN117636074A 基于特征交互融合的多模态图像分类方法及系统 公开/授权日:2024-03-01