公开(公告)号：CN118397250A

公开(公告)日：2024-07-26

申请号：CN202410585555.0

申请日：2024-05-13

申请人： 西安交通大学 ,  中电信人工智能科技(北京)有限公司

发明人： 闫彩霞 ,  焦慕妍 ,  张未展 ,  薛诺寒 ,  吕格丽 ,  李睿 ,  杜海鹏 ,  龚铁梁 ,  王志文 ,  孙皓 ,  李永翔 ,  刘江

IPC分类号： G06V10/25 ,  G06V20/70 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/766 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/09 ,  G06N3/094 ,  G06N3/096

摘要： 本发明公开了一种基于蒸馏CLIP模型的生成式零样本目标检测方法及系统，方法包括：基于基准模型和训练集执行训练流程，得到训练好的有监督目标检测模型；将训练集输入训练后冻结参数的基准模型，提取已见类视觉特征，并将已见类和未见类的类别信息分别输入CLIP模型，获得类语义嵌入；通过离线知识蒸馏的方式，使用CLIP模型编码已见类语义嵌入和已见类视觉特征，通过蒸馏模块实现CLIP模型对生成模型的知识转移，训练未见类的分类头，并入训练好的基准模型的分类器中；利用修改后的基准模型即可得到输入图片的定位和分类结果。本发明以优化未见类视觉特征生成的方式实现对零样本目标检测精度的提高化，提升了零样本目标检测的性能。

公开(公告)号：CN115022684A

公开(公告)日：2022-09-06

申请号：CN202210586839.2

申请日：2022-05-27

申请人： 西安交通大学

发明人： 王志文 ,  张源鸿 ,  张未展 ,  郑庆华 ,  杜海鹏 ,  吕格丽 ,  张志浩 ,  曹坚翔 ,  袁慕遥 ,  焦慕妍

IPC分类号： H04N21/24 ,  H04N21/2662 ,  H04L65/1069 ,  H04L65/80 ,  H04L67/06 ,  G06N3/04 ,  G06N3/08

摘要： 一种QUIC协议下基于深度强化学习的视频流自适应传输方法，结合基于门控循环单元(GRU)和卷积(CNN)的神经网络建立网络轨迹特征的提取模型，利用注意力机制学习不同特征对带宽的影响，预测未来时刻带宽信息；将预测的带宽信息作为码率决策的状态输入，建立QoE奖励模型，采用PPO算法训练强化学习网络，决策最优码率；客户端根据码率自适应决策模块的反馈结果将相应视频下载并播放，实现QUIC下的视频流自适应传输框架。本发明能够保证在QUIC协议下，带宽预测模块能够充分提取网络状态信息，实现长窗口的带宽预测，为码率自适应决策提供有效输入，达到充分利用带宽资源的目的，有效提升用户观看体验质量。

公开(公告)号：CN115022684B

公开(公告)日：2023-08-04

申请号：CN202210586839.2

申请日：2022-05-27

申请人： 西安交通大学

发明人： 王志文 ,  张源鸿 ,  张未展 ,  郑庆华 ,  杜海鹏 ,  吕格丽 ,  张志浩 ,  曹坚翔 ,  袁慕遥 ,  焦慕妍

IPC分类号： H04N21/24 ,  H04N21/2662 ,  H04L65/1069 ,  H04L65/80 ,  H04L67/06 ,  G06N3/0464 ,  G06N3/092

摘要： 一种QUIC协议下基于深度强化学习的视频流自适应传输方法，结合基于门控循环单元(GRU)和卷积(CNN)的神经网络建立网络轨迹特征的提取模型，利用注意力机制学习不同特征对带宽的影响，预测未来时刻带宽信息；将预测的带宽信息作为码率决策的状态输入，建立QoE奖励模型，采用PPO算法训练强化学习网络，决策最优码率；客户端根据码率自适应决策模块的反馈结果将相应视频下载并播放，实现QUIC下的视频流自适应传输框架。本发明能够保证在QUIC协议下，带宽预测模块能够充分提取网络状态信息，实现长窗口的带宽预测，为码率自适应决策提供有效输入，达到充分利用带宽资源的目的，有效提升用户观看体验质量。