-
公开(公告)号:CN118196835A
公开(公告)日:2024-06-14
申请号:CN202410368547.0
申请日:2024-03-28
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V40/10 , G06V20/70 , G06V10/26 , G06V10/74 , G06V10/774 , G06V10/82 , G06F16/583
摘要: 本发明提供一种基于空间一致性的换衣行人重识方法、系统、电子设备及存储介质,属于计算机视觉技术领域,通过生成在不同空间穿着同一衣服的新的行人图像,使得基于空间一致性的换衣行人重识别系统能够初步满足空间一致性的要求;再利用视角标签生成模块来生成每张图片的视角标签,结合衣服标签,利用基于衣服、视角的对抗损失的联合学习,通过惩罚机制使得模型更加关注与衣服、视角无关的特征,能够提取适应换衣场景下的更有鲁棒性和判别性的特征;本发明充分利用了与衣服和视角无关的特征;实现了各种场景中的换衣行人重识。
-
公开(公告)号:CN116563749A
公开(公告)日:2023-08-08
申请号:CN202310412098.0
申请日:2023-04-18
申请人: 山东省人工智能研究院 , 天津理工大学
摘要: 本发明提供了一种基于时空信息和视频上下文信息挖掘的视频动作检测方法,属于计算机视觉和模式识别技术领域,准确地实现了对视频中动作实例的定位和分类;该发明方法的具体步骤如下:(1)视频特征提取;(2)基于时空信息和视频上下文信息挖掘的视频动作检测方法的网络模型搭建;(3)基于时空信息和视频上下文信息挖掘的视频动作检测方法的目标函数构建;(4)基于时空信息和视频上下文信息挖掘的视频动作检测方法;本发明基于已知数据集对视频中的动作实例进行高效定位和分类,并且方法收敛速度快。
-
公开(公告)号:CN116129473B
公开(公告)日:2023-07-14
申请号:CN202310401773.X
申请日:2023-04-17
申请人: 山东省人工智能研究院 , 天津理工大学
IPC分类号: G06V40/10 , G06V10/74 , G06V10/82 , G06N3/08 , G06N3/0464
摘要: 本发明属于计算机视觉技术领域,提供了一种基于身份引导的联合学习换衣行人重识别方法及系统。本发明方法包括以下步骤:获取待检索的行人图像;将所述待检索的行人图像输入预训练的换衣行人重识别模型,提取与衣服不相关的身份鲁棒特征作为检索特征;所述换衣行人重识别模型通过衣服注意力退化网络指导模型自适应地削弱衣服信息带来的干扰,利用人体语义注意力与拼图模块突出人体语义信息,使用行人身份增强模块引导模型提取更有利的身份鲁棒表征;将所述检索特征与检索库中的行人图像特征进行相似度匹配。本发明测试成本更低,效率更高效,可以高效的应对换衣场景。
-
公开(公告)号:CN116342601A
公开(公告)日:2023-06-27
申请号:CN202310617640.6
申请日:2023-05-30
申请人: 山东省人工智能研究院 , 山东中联视听信息科技股份有限公司 , 天津理工大学
IPC分类号: G06T7/00 , G06T7/13 , G06T7/12 , G06V10/764 , G06V20/70 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/048 , G06N3/08
摘要: 本发明涉及计算机视觉及深度学习领域,尤其涉及一种基于边缘引导和多层级搜索的图像篡改检测方法,其包括以下步骤:通过卷积神经网络提取图像的RGB特征和噪声特征;通过边缘提取模块得到图像中篡改区域的边缘信息分割图;通过边缘信息分割图引导图像篡改区域特征的提取;从高层级到低层级逐层补充图像篡改区域特征;联合损失函数约束网络进行训练;利用训练好的模型进行图像篡改区域的检测。本发明解决了传统图像篡改检测方法存在的篡改区域检测不足的问题。
-
公开(公告)号:CN116340887A
公开(公告)日:2023-06-27
申请号:CN202310610867.8
申请日:2023-05-29
申请人: 山东省人工智能研究院 , 山东中联视听信息科技股份有限公司 , 天津理工大学
IPC分类号: G06F18/25 , G06F18/2431 , G06N3/0464 , G06N3/0455 , G06N3/0499 , G06N3/08 , G06V40/30 , G06F16/34 , G06F16/35 , G06V10/764 , G06V10/80 , G06V10/82
摘要: 本发明提供一种多模态假新闻检测方法及系统,属于电子信息技术领域,获取待检测的新闻信息,并利用抽取式算法获取新闻信息的摘要信息;根据新闻文本、新闻图像和摘要信息,获取文本特征、图像特征和摘要特征;将文本特征和摘要特征分别与图像特征进行跨通道信息增强,获取两个跨模态特征;将两个跨模态特征输入多模态假新闻检测模型,确定待检测的新闻信息是否为假新闻。本发明使得假新闻检测模型更加关注于新闻文本的有效信息,并通过将文本特征和摘要特征分别与图像特征进行跨通道信息增强,对于多模态之间的交互和关联捕捉效果较好;具有对多样性和复杂性较高的虚假新闻检测准确率高的技术效果。
-
公开(公告)号:CN118170936B
公开(公告)日:2024-07-26
申请号:CN202410557844.X
申请日:2024-05-08
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 北京阿叟阿巴科技有限公司 , 山东中联视听信息科技股份有限公司
IPC分类号: G06F16/535 , G06V10/774 , G06V10/74 , G06V10/764 , G06V10/762 , G06V40/10
摘要: 本发明属于计算机视觉技术领域,提供了一种基于多模态的数据与关系增强的遮挡行人检索方法。步骤如下:首先获取待检索的行人图像,将行人图像输入到训练完毕的遮挡行人检索模型,提取图片的遮挡鲁棒性特征,然后遮挡行人检索模型借助图文模型CLIP来利用图片和文本的特征,在原基准模型的基础上,引入遮挡增强来扩充数据集规模,并对行人被遮挡的现象进行预测并作出特征过滤,通过加入关系增强模块来增强类间的关系,最后将得到的检索特征,与待检索库中的行人图像进行相似度比对,按照相似性得分由高到低的顺序对检索结果进行排序,计算准确率和首位命中率,因此本发明可以有效得应对遮挡场景。
-
公开(公告)号:CN118379797A
公开(公告)日:2024-07-23
申请号:CN202410616536.X
申请日:2024-05-17
申请人: 天津理工大学 , 山东省人工智能研究院
IPC分类号: G06V40/20 , G06V10/22 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0442 , G06N3/0464 , G06N3/048 , G06N3/0895
摘要: 本发明属于计算机视觉领域,涉及一种跨模态增强和残差注意的弱监督时序动作定位方法及系统。方法包括如下步骤:特征提取;多头跨模态信息交互;基于RGB的跨模态注意增强;基于光流的残差注意增强;双流特征融合与片段级动作分类;视频级动作分类。发明的优点是通过不同模态特征的信息交互学习到跨模态信息,以及学习跨模态信息和模态内全局信息来增强RGB特征,通过捕获序列数据之间的依赖关系增强时间信息。增强后的特征提取到了更多与任务相关的时间与空间信息,因而能够获得更精确的动作定位与分类结果。
-
公开(公告)号:CN118015523B
公开(公告)日:2024-07-16
申请号:CN202410424209.4
申请日:2024-04-10
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V20/40 , G06V10/44 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/0895
摘要: 本发明提供一种基于多模态证据学习的弱监督时序动作定位方法及系统,属于计算机视觉技术领域,其包括:将预训练I3D网络中提取的RGB特征和FLOW特征进行语义和时序信息增强,将增强后的RGB特征和FLOW特征聚合为视频特征,利用视频特征进行动作分类和定位,引入证据学习模块对RGB和FLOW两个模态进行片段级证据学习,分别计算两个模态的数据不确定性和模型不确定性,从而减少背景噪声对视频预测的干扰,提高分类定位的准确性。本发明所提供的基于多模态证据学习的弱监督时序动作定位方法及系统充分利用了时序信息和语义信息,扩大了感受野,有利于模型更好的进行分类定位,获得了鲁棒的定位和分类特征。
-
公开(公告)号:CN118053107B
公开(公告)日:2024-07-12
申请号:CN202410430577.X
申请日:2024-04-11
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V20/40 , G06V10/80 , G06V10/82 , G06V10/764 , G06V10/766 , G06N3/0455 , G06N3/0464 , G06N3/082
摘要: 本发明涉及计算机技术领域,尤其涉及一种基于潜在动作区间特征整合的时序动作检测方法及装置,包括以下步骤:对原始视频进行特征编码提取;构建基于全局注意力的片段级潜在动作区间特征提取网络模型;构建片段级潜在动作区间特征融合和时序信息增强网络模型;构建基于局部多头自注意力和多层感知机的多尺寸特征金字塔模块;构建基于轻量级卷积网络的动作分类分支模块和边界回归分支模块。通过在动作检测中引入全局特征考虑,模型能够更好地理解动作前摇和后续特征,解决了时序信息处理和边界不明确的问题,从而提高检测准确性。
-
公开(公告)号:CN118115729A
公开(公告)日:2024-05-31
申请号:CN202410508896.8
申请日:2024-04-26
申请人: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 天津理工大学 , 山东中联视听信息科技股份有限公司
IPC分类号: G06V10/25 , G06V10/82 , G06N3/0464 , G06N3/08
摘要: 本发明涉及数字图像处理技术领域,尤其涉及一种多层次多尺度特征交互的图像伪造区域识别方法及系统。本发明包括以下步骤:构建规范化的输入图像,将待检图像输入到骨干网络中提取特征;递进式多层次多尺度特征融合;双重激活合并通道优化编码;特征压缩聚合解码;损失函数监督训练。本发明通过多层次信息与多尺度信息交互融合共同探索数字伪造区域的差异性特征,通道优化模块进一步提升了显著性特征编码的准确性,压缩聚合解码对显著性编码进行了有效翻译,充分挖掘了伪造区域与非伪造区域之间的差异性,将伪造区域提取出来。
-
-
-
-
-
-
-
-
-