公开(公告)号：CN110929092B

公开(公告)日：2023-07-04

申请号：CN201911136308.8

申请日：2019-11-19

申请人： 国网江苏省电力工程咨询有限公司 ,  金卯新能源集团有限公司 ,  东南大学 ,  国网江苏省电力有限公司

发明人： 谢洪平 ,  刘迪 ,  诸雅琴 ,  黄涛 ,  陈勇 ,  杜长青 ,  吴威 ,  王昊 ,  林东阳 ,  陈喆

IPC分类号： G06F16/71 ,  G06F16/78 ,  G06F16/75 ,  G06N3/0464

摘要： 本发明公开了一种基于动态注意力机制的多事件视频描述方法，包括如下步骤：将视频序列输入三维卷积神经网络，提取视频的视觉特征；采用基于注意力机制的视频编码层对视觉特征进行编码，并将特征编码输入到事件预测层；事件预测层根据视频编码信息对各个事件进行预测；事件描述层根据事件预测结果获取各事件视觉特征，并动态结合自身的上下文信息产生各事件的文字描述。所述方法克服了现有多事件视频描述方法并行性差，效率低的缺点，同时保证了视频描述生成的准确性，并能够采用端到端的方式进行模型的训练。

公开(公告)号：CN110929092A

公开(公告)日：2020-03-27

申请号：CN201911136308.8

申请日：2019-11-19

申请人： 国网江苏省电力工程咨询有限公司 ,  金卯新能源集团有限公司 ,  东南大学 ,  国网江苏省电力有限公司

发明人： 谢洪平 ,  刘迪 ,  诸雅琴 ,  黄涛 ,  陈勇 ,  杜长青 ,  吴威 ,  王昊 ,  林东阳 ,  陈喆

IPC分类号： G06F16/71 ,  G06F16/78 ,  G06F16/75 ,  G06N3/04

摘要： 本发明公开了一种基于动态注意力机制的多事件视频描述方法，包括如下步骤：将视频序列输入三维卷积神经网络，提取视频的视觉特征；采用基于注意力机制的视频编码层对视觉特征进行编码，并将特征编码输入到事件预测层；事件预测层根据视频编码信息对各个事件进行预测；事件描述层根据事件预测结果获取各事件视觉特征，并动态结合自身的上下文信息产生各事件的文字描述。所述方法克服了现有多事件视频描述方法并行性差，效率低的缺点，同时保证了视频描述生成的准确性，并能够采用端到端的方式进行模型的训练。