发明公开
- 专利标题: 基于注意力机制的电厂场景多模态数据协同校准方法
-
申请号: CN202410602476.6申请日: 2024-05-15
-
公开(公告)号: CN118587640A公开(公告)日: 2024-09-03
- 发明人: 汤萌 , 汪涛
- 申请人: 大唐三门峡发电有限责任公司 , 合肥耀安科技有限公司 , 汤萌
- 申请人地址: 河南省三门峡市西站华阳发电有限责任公司一幢楼; ;
- 专利权人: 大唐三门峡发电有限责任公司,合肥耀安科技有限公司,汤萌
- 当前专利权人: 大唐三门峡发电有限责任公司,合肥耀安科技有限公司,汤萌
- 当前专利权人地址: 河南省三门峡市西站华阳发电有限责任公司一幢楼; ;
- 代理机构: 合肥左心专利代理事务所
- 代理商 王萍
- 主分类号: G06V20/52
- IPC分类号: G06V20/52 ; G06V10/764 ; G06V10/82 ; G06V10/80 ; G06N3/0442 ; G06N3/0455 ; G06N3/049 ; G06N3/0464 ; G06N3/08
摘要:
本发明公开了基于注意力机制的电厂场景多模态数据协同校准方法,涉及多模态数据处理技术领域,具体包括:对电厂场景进行全方位的监测和采集,针对不同的模态数据,采用相应的采集方式和设备、通过编码器对图像、视频和文本等不同模态数据进行特征提取、解码器采用注意力机制动态关注多模态语义特征,生成描述、采用多标签分类方法学习多模态数据上的语义属性概率分布,利用深度学习神经网络模型生成语义描述、训练多模态语义注意力网络,使其能够准确捕捉各模态数据之间的关联性和互补性。本申请通过基于多模态注意力机制的多源数据精准采集和构建融合高维语义属性的编解码网络,成功实现了对不同模态特征的统一表示,而无需依赖特定模式。