Invention Publication
CN114255386A 一种数据处理方法及装置
审中-实审
- Patent Title: 一种数据处理方法及装置
-
Application No.: CN202111595127.9Application Date: 2021-12-23
-
Publication No.: CN114255386APublication Date: 2022-03-29
- Inventor: 闫龙川 , 陈智雨 , 何永远 , 郭永和 , 牛佳宁 , 彭元龙 , 袁孝宇
- Applicant: 国家电网有限公司信息通信分公司
- Applicant Address: 北京市西城区白广路二条1号
- Assignee: 国家电网有限公司信息通信分公司
- Current Assignee: 国家电网有限公司信息通信分公司
- Current Assignee Address: 北京市西城区白广路二条1号
- Agency: 北京集佳知识产权代理有限公司
- Agent 李慧慧
- Main IPC: G06V10/80
- IPC: G06V10/80 ; G06V10/82 ; G06K9/62 ; G06N3/04 ; G06N3/08

Abstract:
本发明公开了一种数据处理方法及装置,可以将目标图像输入至全局特征生成模型,获得全局特征生成模型输出的全局特征信息,将目标图像输入至局部特征生成模型,获得局部特征生成模型输出的局部特征信息,将全局特征信息和局部特征信息输入至多模态自适应融合模型,获得多模态自适应融合模型输出的最终特征信息,将最终特征信息输入至自然语言生成模型,获得自然语言生成模型输出的自然语言。本发明可以获得目标图像的全局特征信息和局部特征信息,并可以对全局特征信息和局部特征信息进行动态的有机融合,生成融合了局部视觉特征和全局视觉特征的最终特征信息,之后利用生成与最终特征信息相匹配的自然语言,可以有效提升图说自动生成的准确率。
Information query