发明公开
- 专利标题: 多模态信号内容分析方法、装置、电子设备及存储介质
-
申请号: CN202211457156.3申请日: 2022-11-21
-
公开(公告)号: CN115952255A公开(公告)日: 2023-04-11
- 发明人: 马占宇 , 张益铭 , 杜若一 , 梁孔明
- 申请人: 北京邮电大学
- 申请人地址: 北京市海淀区西土城路10号
- 专利权人: 北京邮电大学
- 当前专利权人: 北京邮电大学
- 当前专利权人地址: 北京市海淀区西土城路10号
- 代理机构: 北京辰权知识产权代理有限公司
- 代理商 孔垂超
- 主分类号: G06F16/33
- IPC分类号: G06F16/33 ; G06F16/35 ; G06F40/289 ; G06F16/683 ; G06F16/783 ; G06F18/22 ; G06F18/241 ; G06F18/2415 ; G06N3/0464 ; G06N3/047 ; G06N3/08
摘要:
本申请公开了一种多模态信号内容分析方法、装置、电子设备及存储介质。该多模态信号内容分析方法包括:获取音频‑视频信号对应的字幕词嵌入特征;利用预训练的字幕代理特征提取模型处理所述字幕词嵌入特征,得到字幕代理特征;基于所述字幕代理特征生成字幕。本申请实施例提供的多模态信号内容分析方法,利用预训练的字幕代理特征提取模型处理所述字幕词嵌入特征,得到字幕代理特征,基于字幕代理特征生成字幕,避免了由于字幕语义差异性对训练的影响,生成的字幕能够更好地描述音频‑视频信号的内容,克服了相关技术中没有考虑字幕差异性对音频‑视频字幕任务的影响所导致的不良影响。
公开/授权文献
- CN115952255B 多模态信号内容分析方法、装置、电子设备及存储介质 公开/授权日:2023-12-05