发明公开
- 专利标题: 一种多模态数据融合处理方法、装置、设备和存储介质
-
申请号: CN202311135766.6申请日: 2023-09-04
-
公开(公告)号: CN117216714A公开(公告)日: 2023-12-12
- 发明人: 夏元轶 , 滕昌志 , 曾锃 , 赵海涛 , 张瑞 , 肖茂然 , 张明轩 , 李世豪 , 余益团 , 洪涛 , 张震 , 刘同 , 夏文超 , 倪艺洋
- 申请人: 国网江苏省电力有限公司信息通信分公司 , 南京邮电大学
- 申请人地址: 江苏省南京市北京西路20号
- 专利权人: 国网江苏省电力有限公司信息通信分公司,南京邮电大学
- 当前专利权人: 国网江苏省电力有限公司信息通信分公司,南京邮电大学
- 当前专利权人地址: 江苏省南京市北京西路20号
- 代理机构: 北京品源专利代理有限公司
- 代理商 严慧
- 主分类号: G06F18/25
- IPC分类号: G06F18/25 ; G06F18/213 ; G06F18/24
摘要:
本发明实施例公开一种多模态数据融合处理方法、装置、设备和存储介质。该方法包括获取电力物联网中待处理原始多模态数据集;基于预设特征映射关系对各模态中每个模态目标数据对应的原始特征向量进行特征映射得到多模态增强数据集;确定多模态增强数据集中各增强模态分别对应模态内部特征之间的关系融合矩阵,并将各增强模态以及与各增强模态分别对应的关系融合矩阵进行融合得到多模态特征融合数据集;基于多模态特征融合数据集中各融合模态分别对应的初始模态特征以及神经网络模型对各融合模态进行模态间的特征融合。本发明实施例,通过上述技术方案,解决模态内和模态间的一致性和差异性问题,提高多模态数据融合处理性能以及数据融合准确度。