- 专利标题: 一种基于交叉融合和重建的多模态生成式摘要获取方法
-
申请号: CN202211084950.8申请日: 2022-09-06
-
公开(公告)号: CN115544244B公开(公告)日: 2023-11-17
- 发明人: 云静 , 袁静姝 , 郑博飞 , 焦磊 , 刘利民
- 申请人: 内蒙古工业大学
- 申请人地址: 内蒙古自治区呼和浩特市土默特左旗内蒙古工业大学金川校区
- 专利权人: 内蒙古工业大学
- 当前专利权人: 内蒙古工业大学
- 当前专利权人地址: 内蒙古自治区呼和浩特市土默特左旗内蒙古工业大学金川校区
- 代理机构: 西安智大知识产权代理事务所
- 代理商 段俊涛
- 主分类号: G06F16/34
- IPC分类号: G06F16/34 ; G06F16/738 ; G06F40/30 ; G06N3/045 ; G06N3/044 ; G06N3/0499 ; G06N3/08
摘要:
一种基于交叉融合和重建的多模态生成式摘要获取方法,从多模态摘要数据集中提取文本特征序列和视频特征序列,使用文本和视频指导下交叉融合模块,分别将一种模态的特征序列作为指导模态映射为查询特征,另一种模态的特征序列作为目标模态映射为键值对特征,捕捉模态间相关性高于设定值的一致性语义;经过迭代融合,生成文本和视频指导下多模态融合表示;使用文本和视频重建器得到文本和视频重建特征序列,并计算文本和视频重建损失;使用摘要生成器进行两层融合操作,输出摘要分布,并计算与参考摘要的生成损失;根据各损失,对各组件分别使用不同的损失函数组合,加强对模态间一致性和模态内互补语义的约束效果,提升生成摘要的准确性和丰富性。
公开/授权文献
- CN115544244A 一种基于交叉融合和重建的多模态生成式摘要获取方法 公开/授权日:2022-12-30