-
公开(公告)号:CN117036911A
公开(公告)日:2023-11-10
申请号:CN202311301590.7
申请日:2023-10-10
申请人: 华侨大学 , 星宸科技股份有限公司 , 厦门瑞为信息技术有限公司
IPC分类号: G06V10/82 , G06N3/0464 , G06N3/08 , G06V10/74
摘要: 本发明公开了一种基于神经架构搜索的车辆再辨识轻量化方法及系统,涉及计算机视觉与机器学习技术领域,方法包括:S1,构建网络模型,给定硬件约束以生成对应的架构生成器,利用测试集训练架构生成器;S2,将硬件约束输入到架构生成器,得到多个轻量化神经网络架构模型;S3,采集车辆再辨识数据并进行数据增强;S4,利用车辆再辨识数据集对轻量化神经网络架构模型进行训练及验证,选择效果最好的作为轻量化车辆再辨识网络;S5,基于轻量化车辆再辨识网络进行车辆再辨识。本发明利用神经架构搜索自适应地依据硬件约束进行神经网络的搭建,得到兼具效率与性能的轻量化网络,可以在大规模的神经网络设计中减轻人工设计和调试的负担。
-
公开(公告)号:CN117456480A
公开(公告)日:2024-01-26
申请号:CN202311769679.6
申请日:2023-12-21
申请人: 华侨大学 , 星宸科技股份有限公司
IPC分类号: G06V20/54 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/09
摘要: 本发明公开了一种基于多源信息融合的轻量化车辆再辨识方法,涉及计算机视觉与机器学习技术领域,包括:构建神经网络;所述神经网络包括依次连接的ResNet50网络、局部特征融合网络和混合注意力模块;使用监督对比损失和多源信息识别损失对神经网络进行联合训练,直至收敛,得到教师网络;选取计算量和参数量比教师网络均小的模型作为学生网络;通过知识蒸馏,对学生网络进行监督,训练直至收敛,得到轻量化的车辆再辨识模型;基于轻量化的车辆再辨识模型,输出再辨识结果。本发明利用多源信息融合的方式协调不同传感器数据以提高再辨识性能,并辅以知识蒸馏,实现在有限的计算资源下,实现高质量的再辨识,从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号:CN117456480B
公开(公告)日:2024-03-29
申请号:CN202311769679.6
申请日:2023-12-21
申请人: 华侨大学 , 星宸科技股份有限公司
IPC分类号: G06V20/54 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/09
摘要: 本发明公开了一种基于多源信息融合的轻量化车辆再辨识方法,涉及计算机视觉与机器学习技术领域,包括:构建神经网络;所述神经网络包括依次连接的ResNet50网络、局部特征融合网络和混合注意力模块;使用监督对比损失和多源信息识别损失对神经网络进行联合训练,直至收敛,得到教师网络;选取计算量和参数量比教师网络均小的模型作为学生网络;通过知识蒸馏,对学生网络进行监督,训练直至收敛,得到轻量化的车辆再辨识模型;基于轻量化的车辆再辨识模型,输出再辨识结果。本发明利用多源信息融合的方式协调不同传感器数据以提高再辨识性能,并辅以知识蒸馏,实现在有限的计算资源下,实现高质量的再辨识,从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号:CN118379777A
公开(公告)日:2024-07-23
申请号:CN202410807403.0
申请日:2024-06-21
申请人: 华侨大学
IPC分类号: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
摘要: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。
-
-
-