基于注意力机制的电厂场景多模态数据协同校准方法
摘要:
本发明公开了基于注意力机制的电厂场景多模态数据协同校准方法,涉及多模态数据处理技术领域,具体包括:对电厂场景进行全方位的监测和采集,针对不同的模态数据,采用相应的采集方式和设备、通过编码器对图像、视频和文本等不同模态数据进行特征提取、解码器采用注意力机制动态关注多模态语义特征,生成描述、采用多标签分类方法学习多模态数据上的语义属性概率分布,利用深度学习神经网络模型生成语义描述、训练多模态语义注意力网络,使其能够准确捕捉各模态数据之间的关联性和互补性。本申请通过基于多模态注意力机制的多源数据精准采集和构建融合高维语义属性的编解码网络,成功实现了对不同模态特征的统一表示,而无需依赖特定模式。
0/0