- 专利标题: 一种基于动作捕捉的注意力网络的视频问答方法
-
申请号: CN202110692149.0申请日: 2021-06-22
-
公开(公告)号: CN113536952B公开(公告)日: 2023-04-21
- 发明人: 杨阳 , 杨双吉 , 彭亮 , 王国庆
- 申请人: 电子科技大学
- 申请人地址: 四川省成都市高新区(西区)西源大道2006号
- 专利权人: 电子科技大学
- 当前专利权人: 电子科技大学
- 当前专利权人地址: 四川省成都市高新区(西区)西源大道2006号
- 代理机构: 四川鼎韬律师事务所
- 代理商 温利平
- 主分类号: G06V20/40
- IPC分类号: G06V20/40 ; G06V10/82 ; G06N3/045 ; G06N3/0442 ; G06N3/0464 ; G06F16/732 ; G06F16/75 ; G06F16/783
摘要:
本发明公开了一种基于动作捕捉的注意力网络的视频问答方法,先提取将待处理视频和待处理的提问的特征,然后基于这些特征,通过物体动作注意力机制提取动作信息,通过物体关系注意力机制提取待处理视频的全局物体关系信息,通过全局动作注意力机制提取待处理视频的全局动作信息;接着对三种注意力机制下提取的信息进行融合,提取整个视频的全局特征向量;最后基于全局特征向量根据提问的格式输出不同类型答案。
公开/授权文献
- CN113536952A 一种基于动作捕捉的注意力网络的视频问答方法 公开/授权日:2021-10-22