Invention Publication

一种数据处理方法及装置
Abstract:
本发明公开了一种数据处理方法及装置,可以将目标图像输入至全局特征生成模型,获得全局特征生成模型输出的全局特征信息,将目标图像输入至局部特征生成模型,获得局部特征生成模型输出的局部特征信息,将全局特征信息和局部特征信息输入至多模态自适应融合模型,获得多模态自适应融合模型输出的最终特征信息,将最终特征信息输入至自然语言生成模型,获得自然语言生成模型输出的自然语言。本发明可以获得目标图像的全局特征信息和局部特征信息,并可以对全局特征信息和局部特征信息进行动态的有机融合,生成融合了局部视觉特征和全局视觉特征的最终特征信息,之后利用生成与最终特征信息相匹配的自然语言,可以有效提升图说自动生成的准确率。
Patent Agency Ranking
0/0