-
公开(公告)号:CN116563749A
公开(公告)日:2023-08-08
申请号:CN202310412098.0
申请日:2023-04-18
申请人: 山东省人工智能研究院 , 天津理工大学
摘要: 本发明提供了一种基于时空信息和视频上下文信息挖掘的视频动作检测方法,属于计算机视觉和模式识别技术领域,准确地实现了对视频中动作实例的定位和分类;该发明方法的具体步骤如下:(1)视频特征提取;(2)基于时空信息和视频上下文信息挖掘的视频动作检测方法的网络模型搭建;(3)基于时空信息和视频上下文信息挖掘的视频动作检测方法的目标函数构建;(4)基于时空信息和视频上下文信息挖掘的视频动作检测方法;本发明基于已知数据集对视频中的动作实例进行高效定位和分类,并且方法收敛速度快。
-
公开(公告)号:CN116129473B
公开(公告)日:2023-07-14
申请号:CN202310401773.X
申请日:2023-04-17
申请人: 山东省人工智能研究院 , 天津理工大学
IPC分类号: G06V40/10 , G06V10/74 , G06V10/82 , G06N3/08 , G06N3/0464
摘要: 本发明属于计算机视觉技术领域,提供了一种基于身份引导的联合学习换衣行人重识别方法及系统。本发明方法包括以下步骤:获取待检索的行人图像;将所述待检索的行人图像输入预训练的换衣行人重识别模型,提取与衣服不相关的身份鲁棒特征作为检索特征;所述换衣行人重识别模型通过衣服注意力退化网络指导模型自适应地削弱衣服信息带来的干扰,利用人体语义注意力与拼图模块突出人体语义信息,使用行人身份增强模块引导模型提取更有利的身份鲁棒表征;将所述检索特征与检索库中的行人图像特征进行相似度匹配。本发明测试成本更低,效率更高效,可以高效的应对换衣场景。
-
公开(公告)号:CN118154906B
公开(公告)日:2024-08-30
申请号:CN202410564619.9
申请日:2024-05-09
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V10/74 , G06V10/32 , G06V10/80 , G06V10/44 , G06N3/0455 , G06N3/0464
摘要: 本发明涉及图像处理技术领域,尤其涉及一种基于特征相似性和多尺度边缘注意力的图像篡改检测方法,包括以下步骤:处理待输入图像,获取待检测图像的多源信息,将多源信息输入骨干网络提取特征;多尺度边缘注意力网络;特征相似性学习;多级特征融合编码;多损失函数联合监督。本发明利用多尺度边缘特征辅助篡改区域的定位,通过特征相似性探索不同篡改类型的一般特征,并通过对不同尺度上的特征进行有效的融合,充分挖掘篡改区域和真实区域的差异。
-
公开(公告)号:CN116343267B
公开(公告)日:2023-08-04
申请号:CN202310627517.2
申请日:2023-05-31
申请人: 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V40/10 , G06V20/52 , G06V20/70 , G06V10/26 , G06V10/74 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0455 , G06N3/0464
摘要: 本发明属于计算机视觉及深度学习领域,尤其涉及一种衣物屏蔽网络的人体高级语义换衣行人重识别方法及装置。其具体步骤如下:通过语义分割模型得到对应图像的衣物屏蔽图,并且提取衣物屏蔽泛化特征;使用人体局部及高级语义特征提取模块对图像非衣物特征进行提取;通过Vision Transformer网络模型对人物特征进行提取;将RGB原始图像和衣物屏蔽图,两者一同放入了共享参数的Vision Transformer模型对人物特征进行提取;联合损失函数约束网络进行训练。本发明的基于衣物屏蔽网络的人体高级语义换衣行人重识别方法,在相关的换衣行人重识别数据集中达到了优异的效果。
-
公开(公告)号:CN118520140A
公开(公告)日:2024-08-20
申请号:CN202410717597.5
申请日:2024-06-04
申请人: 天津理工大学 , 山东省人工智能研究院 , 北京阿叟阿巴科技有限公司
IPC分类号: G06F16/783 , G06F16/78 , G06F40/30 , G06F17/16 , G06N3/0464 , G06N3/09
摘要: 本发明涉及计算机视觉和模式识别技术领域,具体涉及一种基于细粒度模态关系感知网络的视频片段检索方法,步骤如下:提取语义关系增强后的文本查询特征和视频特征;挖掘细粒度的模态关系感知信息,得到细粒度的模态关系感知信息;将交互后的边界图和内容图在通道维度进行拼接得到的融合图,对融合图后通过卷积块来挖掘提案之间的关系,并通过预测模块来获取最终的预测分数;构建基于细粒度模态关系感知网络的损失函数;通过损失函数约束网络的训练,将整个网络输出的预测图预测的分数从大到小排序,获取视频片段的检索结果。本发明能够挖掘细粒度的模态关系感知信息,从而获得鲁棒的查询感知视频特征和视频感知文本特征,获得更精准的检索结果。
-
公开(公告)号:CN118154906A
公开(公告)日:2024-06-07
申请号:CN202410564619.9
申请日:2024-05-09
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V10/74 , G06V10/32 , G06V10/80 , G06V10/44 , G06N3/0455 , G06N3/0464
摘要: 本发明涉及图像处理技术领域,尤其涉及一种基于特征相似性和多尺度边缘注意力的图像篡改检测方法,包括以下步骤:处理待输入图像,获取待检测图像的多源信息,将多源信息输入骨干网络提取特征;多尺度边缘注意力网络;特征相似性学习;多级特征融合编码;多损失函数联合监督。本发明利用多尺度边缘特征辅助篡改区域的定位,通过特征相似性探索不同篡改类型的一般特征,并通过对不同尺度上的特征进行有效的融合,充分挖掘篡改区域和真实区域的差异。
-
公开(公告)号:CN116343267A
公开(公告)日:2023-06-27
申请号:CN202310627517.2
申请日:2023-05-31
申请人: 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V40/10 , G06V20/52 , G06V20/70 , G06V10/26 , G06V10/74 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0455 , G06N3/0464
摘要: 本发明属于计算机视觉及深度学习领域,尤其涉及一种衣物屏蔽网络的人体高级语义换衣行人重识别方法及装置。其具体步骤如下:通过语义分割模型得到对应图像的衣物屏蔽图,并且提取衣物屏蔽泛化特征;使用人体局部及高级语义特征提取模块对图像非衣物特征进行提取;通过Vision Transformer网络模型对人物特征进行提取;将RGB原始图像和衣物屏蔽图,两者一同放入了共享参数的Vision Transformer模型对人物特征进行提取;联合损失函数约束网络进行训练。本发明的基于衣物屏蔽网络的人体高级语义换衣行人重识别方法,在相关的换衣行人重识别数据集中达到了优异的效果。
-
公开(公告)号:CN116129473A
公开(公告)日:2023-05-16
申请号:CN202310401773.X
申请日:2023-04-17
申请人: 山东省人工智能研究院 , 天津理工大学
IPC分类号: G06V40/10 , G06V10/74 , G06V10/82 , G06N3/08 , G06N3/0464
摘要: 本发明属于计算机视觉技术领域,提供了一种基于身份引导的联合学习换衣行人重识别方法及系统。本发明方法包括以下步骤:获取待检索的行人图像;将所述待检索的行人图像输入预训练的换衣行人重识别模型,提取与衣服不相关的身份鲁棒特征作为检索特征;所述换衣行人重识别模型通过衣服注意力退化网络指导模型自适应地削弱衣服信息带来的干扰,利用人体语义注意力与拼图模块突出人体语义信息,使用行人身份增强模块引导模型提取更有利的身份鲁棒表征;将所述检索特征与检索库中的行人图像特征进行相似度匹配。本发明测试成本更低,效率更高效,可以高效的应对换衣场景。
-
公开(公告)号:CN118379797A
公开(公告)日:2024-07-23
申请号:CN202410616536.X
申请日:2024-05-17
申请人: 天津理工大学 , 山东省人工智能研究院
IPC分类号: G06V40/20 , G06V10/22 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0442 , G06N3/0464 , G06N3/048 , G06N3/0895
摘要: 本发明属于计算机视觉领域,涉及一种跨模态增强和残差注意的弱监督时序动作定位方法及系统。方法包括如下步骤:特征提取;多头跨模态信息交互;基于RGB的跨模态注意增强;基于光流的残差注意增强;双流特征融合与片段级动作分类;视频级动作分类。发明的优点是通过不同模态特征的信息交互学习到跨模态信息,以及学习跨模态信息和模态内全局信息来增强RGB特征,通过捕获序列数据之间的依赖关系增强时间信息。增强后的特征提取到了更多与任务相关的时间与空间信息,因而能够获得更精确的动作定位与分类结果。
-
公开(公告)号:CN118196394A
公开(公告)日:2024-06-14
申请号:CN202410466152.4
申请日:2024-04-18
申请人: 天津理工大学
IPC分类号: G06V10/25 , G06V10/44 , G06V10/80 , G06V10/764 , G06V10/766 , G06V10/82 , G06V20/05 , G06N3/0464 , G06N3/084 , G06N3/048
摘要: 本发明公开了一种自适应特征融合与递进金字塔池化的水下目标检测方法,其步骤包括:利用YOLOV7骨干网络对其进行特征提取;将输出特征输入到空间金字塔池化F‑SPPCSP模块进行互相关操作;将输出特征输入到特征融合区域,最终将特征输出到基于自适应空间特征融合检测头。本发明的YOLOv7方法专为水下目标检测而设计,解决了传统方法在应对水下特有挑战时的不足。在本方法中,目标存在的可能性通过目标置信度损失计算,而物体的类别则通过类别置信度损失确定,同时,预测框与实际框之间的偏差通过坐标回归损失评估。这三种损失函数共同作用,综合决定了最终的预测结果,从而在水下环境中提高了目标检测的准确性和可靠性。实现了对水下目标的检测。
-
-
-
-
-
-
-
-
-