一种多模态数据融合处理方法、装置、设备和存储介质
摘要:
本发明实施例公开一种多模态数据融合处理方法、装置、设备和存储介质。该方法包括获取电力物联网中待处理原始多模态数据集;基于预设特征映射关系对各模态中每个模态目标数据对应的原始特征向量进行特征映射得到多模态增强数据集;确定多模态增强数据集中各增强模态分别对应模态内部特征之间的关系融合矩阵,并将各增强模态以及与各增强模态分别对应的关系融合矩阵进行融合得到多模态特征融合数据集;基于多模态特征融合数据集中各融合模态分别对应的初始模态特征以及神经网络模型对各融合模态进行模态间的特征融合。本发明实施例,通过上述技术方案,解决模态内和模态间的一致性和差异性问题,提高多模态数据融合处理性能以及数据融合准确度。
0/0