公开(公告)号：CN119693862A

公开(公告)日：2025-03-25

申请号：CN202510209492.3

申请日：2025-02-25

Applicant: 石家庄铁道大学

Inventor： 张云佐 ,  薛丽烨 ,  连玮琪 ,  王辉 ,  张璐琦 ,  孙玉川 ,  王书海

IPC: G06V20/40 ,  G06V10/74 ,  G06V10/762 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/09 ,  G06N3/094

Abstract: 本发明公开了一种基于对比学习和注意驱动对抗网络的无监督视频摘要生成方法。所述方法包括：读取视频帧序列，并利用特征提取器提取帧级视觉特征；将帧级视觉特征输入视频摘要生成模型，通过模型生成每个帧的重要性得分向量；构建目标函数，优化帧选择器的选择准确性，并结合生成对抗网络的判别器，迭代优化模型参数，使得视频摘要生成模型能够从无标签视频中有效学习帧的重要性和时序特征；最后，利用上述训练得到的视频摘要生成模型，根据重要性预测得分，选择出最具代表性的帧，并生成最终的视频摘要。所提方法可以有效地捕获视频关键帧的多样性和代表性，并且建模视频序列中长距离时间依赖。

公开(公告)号：CN119625693A

公开(公告)日：2025-03-14

申请号：CN202510108681.1

申请日：2025-01-23

Applicant: 石家庄铁道大学

Inventor： 张岳魁 ,  张云佐 ,  王彤 ,  肖遥舸 ,  涂志伟 ,  孙士博 ,  赵永斌 ,  孙玉川 ,  张璐琦

IPC: G06V20/58 ,  G06N3/0442 ,  G06N3/0464 ,  G06F18/213 ,  G06F18/25 ,  G08G1/01

Abstract: 本发明公开了一种基于时空双分支网络特征融合的交通视频显著性预测方法及系统。所述方法包括：获取待预测交通视频数据，在时间分支网络选择连续的视频序列，在空间分支网络选择单帧视频图像，分别输入到训练好的显著性预测模型中；采用编码器对视频序列初步编码后，经过显著性注意力传输机制引导连续帧时序建模，然后经过反卷积解码器进行解码操作，得到时间显著图；将单帧视频图像经过联合采样和逐层关联的多分辨率特征聚合模块来捕获不同感受野的显著信息，得到空间显著图；最后将时空特征进行融合解码，计算最终的显著图。所述方法可以准确地预测驾驶场景交通视频的显著性区域，对辅助驾驶技术的发展有重要的意义。