-
公开(公告)号:CN116579939A
公开(公告)日:2023-08-11
申请号:CN202310482074.2
申请日:2023-04-29
申请人: 中国人民解放军海军特色医学中心 , 复旦大学
IPC分类号: G06T5/00 , G06T5/50 , G06N3/0464 , G06N3/09
摘要: 本发明属于计算机图像处理技术领域,具体为基于卷积神经网络和小波变换的低照度图像增强方法。本发明包括:(1)构建用于低照度图像增强的网络SWANet,包括用于第一阶段调整光照分布的网络MIANet和用于第二阶段去除残余噪声、完善细节的网络WNENet,其中使用基于注意力机制和多尺度特征的多尺度注意力融合模块、基于激发和压缩的通道注意力模块以及用于平衡空间域和频率特征的离散小波损失。(2)将低照度图像输入MIANet,得到初步增强的图像,再将其输入WNENet,得到最终的增强图像。通过SWANet从粗到细地增强过程,本发明能够有效调整不同区域的亮度和对比度,去除图像中的噪声,提高视觉体验。
-
公开(公告)号:CN112560618A
公开(公告)日:2021-03-26
申请号:CN202011419698.2
申请日:2020-12-06
申请人: 复旦大学
摘要: 本发明属于计算机图像处理技术领域,具体为一种基于骨架和视频特征融合的行为分类方法。本发明方法包括:对已有的人类行为视频数据进行预处理,通过人体检测模型和OpenPose分别获取对应的人体检测框和人体骨架数据,作为深度学习模型的训练数据;其中视频数据和人体检测框数据作为前景与背景特征融合网络的输入,骨架特征作为个体与群体特征融合网络的输入;两个网络的输出结果进行平均为最终分类结果;接着对训练集进行监督式学习,得到泛化的深度学习模型;然后,对识别的视频进行和模型训练时一样的预处理,然后作为输入,放进预先训练好深度学习模型里,就能得到行为分类的结果。
-
公开(公告)号:CN115761904A
公开(公告)日:2023-03-07
申请号:CN202211666324.X
申请日:2022-12-23
申请人: 复旦大学
IPC分类号: G06V40/20 , G06V20/40 , G06V10/22 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0895
摘要: 本发明属于计算机视频分析技术领域,具体为基于多头跨模态注意力机制的弱监督视频时序动作定位方法。本发明方法包括:对输入的未裁剪视频提取RGB特征和FLOW特征,作为多头跨模态注意力机制模型的训练数据;引入并训练深度学习模型,该模型是多头跨模态注意力机制模型,包括利用多个映射头将原始特征转换为多个不同的隐藏空间,以保证特征多样性;引入协相关矩阵,来挖掘RGB与FLOW特征每个头模态之间的关系,通过归一化交叉注意权值对特征进行重新校正;对重新校准的特征进行融合,得到最后的时序动作定位结果。实验表明,本发明具有通用性,可以作为即插即用模块嵌入到弱监督视频时序动作定位方法中,极大提高模型的检测精度。
-
公开(公告)号:CN112560618B
公开(公告)日:2022-09-16
申请号:CN202011419698.2
申请日:2020-12-06
申请人: 复旦大学
IPC分类号: G06V40/20 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
摘要: 本发明属于计算机图像处理技术领域,具体为一种基于骨架和视频特征融合的行为分类方法。本发明方法包括:对已有的人类行为视频数据进行预处理,通过人体检测模型和OpenPose分别获取对应的人体检测框和人体骨架数据,作为深度学习模型的训练数据;其中视频数据和人体检测框数据作为前景与背景特征融合网络的输入,骨架特征作为个体与群体特征融合网络的输入;两个网络的输出结果进行平均为最终分类结果;接着对训练集进行监督式学习,得到泛化的深度学习模型;然后,对识别的视频进行和模型训练时一样的预处理,然后作为输入,放进预先训练好深度学习模型里,就能得到行为分类的结果。
-
-
-