公开(公告)号：CN114943921B

公开(公告)日：2025-04-08

申请号：CN202210610447.5

申请日：2022-05-31

Applicant: 西安电子科技大学

Inventor： 王笛 ,  王泉 ,  万波 ,  雒孝通 ,  田玉敏 ,  罗雪梅 ,  王义峰 ,  吴自力 ,  赵辉 ,  潘蓉

IPC: G06V20/40 ,  G06V10/77 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提出了一种融合多粒度视频语义信息的视频文本描述方法，主要解决现有技术中视频语义信息不全、语义信息融合不充分和当多种语义信息存在时的信息冗余的问题。其实现方案为：1)建立数据集，并利用三种神经网络预训练模型分别提取其视频样本三层级的空间时序特征；2)搭建融合多粒度视频语义信息的视频文本描述网络，并构建其损失函数；3)对融合多粒度视频语义信息的视频文本描述网络进行训练；4)将待描述视频输入到训练好的网络中生成视频的文本描述。本发明增加了提取的视频特征种类，充分融合特征，选择合适融合特征生成文本，不仅能有效表示视频信息，而且减少了信息冗余程度，可用于生成准确性高且流畅的描述视频内容文本。

公开(公告)号：CN114943921A

公开(公告)日：2022-08-26

申请号：CN202210610447.5

申请日：2022-05-31

Applicant: 西安电子科技大学

Inventor： 王笛 ,  王泉 ,  万波 ,  雒孝通 ,  田玉敏 ,  罗雪梅 ,  王义峰 ,  吴自力 ,  赵辉 ,  潘蓉

IPC: G06V20/40 ,  G06V10/77 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/04

Abstract: 本发明提出了一种融合多粒度视频语义信息的视频文本描述方法，主要解决现有技术中视频语义信息不全、语义信息融合不充分和当多种语义信息存在时的信息冗余的问题。其实现方案为：1)建立数据集，并利用三种神经网络预训练模型分别提取其视频样本三层级的空间时序特征；2)搭建融合多粒度视频语义信息的视频文本描述网络，并构建其损失函数；3)对融合多粒度视频语义信息的视频文本描述网络进行训练；4)将待描述视频输入到训练好的网络中生成视频的文本描述。本发明增加了提取的视频特征种类，充分融合特征，选择合适融合特征生成文本，不仅能有效表示视频信息，而且减少了信息冗余程度，可用于生成准确性高且流畅的描述视频内容文本。