公开(公告)号：CN118196865A

公开(公告)日：2024-06-14

申请号：CN202410345964.3

申请日：2024-03-26

申请人： 齐鲁工业大学(山东省科学院) ,  山东省人工智能研究院 ,  天津理工大学 ,  山东中联视听信息科技股份有限公司

发明人： 贾浩 ,  程志勇 ,  高赞 ,  马春杰 ,  赵一博 ,  李传森 ,  刘冬冬

IPC分类号： G06V40/16 ,  G06V40/40 ,  G06V10/30 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0464

摘要： 本发明属于计算机视觉技术领域，提供了一种基于噪声感知的可泛化深度伪造图像检测方法及系统。方法包括以下步骤：获取待检测的包含人脸身份的视频；将待检测的视频数据进行预处理获取面部图像；将面部图像输入预训练的深度伪图像造检测模型，提取图像的深度伪造证据特征；深度伪图像造检测模型通过自适应噪声感知注意力模型，挖掘图像中的噪声信息作为鉴伪证据；将特征作为伪造证据用于判别面部图像是否经过深度伪造。本发明测试成本更低，效率更高效，泛化性更好，可以广泛的应对深度伪造图像检测场景。

公开(公告)号：CN118015523A

公开(公告)日：2024-05-10

申请号：CN202410424209.4

申请日：2024-04-10

申请人： 齐鲁工业大学(山东省科学院) ,  山东省人工智能研究院 ,  天津理工大学 ,  山东中联视听信息科技股份有限公司

发明人： 高赞 ,  王爱玲 ,  马春杰 ,  赵一博 ,  李传森

IPC分类号： G06V20/40 ,  G06V10/44 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0895

摘要： 本发明提供一种基于多模态证据学习的弱监督时序动作定位方法及系统，属于计算机视觉技术领域，其包括：将预训练I3D网络中提取的RGB特征和FLOW特征进行语义和时序信息增强，将增强后的RGB特征和FLOW特征聚合为视频特征，利用视频特征进行动作分类和定位，引入证据学习模块对RGB和FLOW两个模态进行片段级证据学习，分别计算两个模态的数据不确定性和模型不确定性，从而减少背景噪声对视频预测的干扰，提高分类定位的准确性。本发明所提供的基于多模态证据学习的弱监督时序动作定位方法及系统充分利用了时序信息和语义信息，扩大了感受野，有利于模型更好的进行分类定位，获得了鲁棒的定位和分类特征。

公开(公告)号：CN117251795A

公开(公告)日：2023-12-19

申请号：CN202311301216.7

申请日：2023-10-10

申请人： 天津理工大学 ,  山东省人工智能研究院

发明人： 高赞 ,  杨红旗 ,  赵一博 ,  马春杰

IPC分类号： G06F18/2415 ,  G06F18/25 ,  G06F18/213 ,  G06V10/44 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048

摘要： 本发明涉及领域，具体涉及一种基于自适应融合的多模态虚假新闻检测方法，包含以下步骤：使用文本和图像编码器分别提取单模态特征；使用交叉注意力实现模态间的特征互补；将提取的文本特征投影到低维空间进行单视角预测；使用自适应融合模块进行多模态特征交互融合；利用融合后的多模态特征进行分类；联合分类损失和单视角损失进行网络训练。本发明利用文本的多层语义来捕获丰富的文本信息，利用文本视角预测来减少多模态特征复杂性对分类结果的影响，利用交叉注意力模块解决了多模态特征之间的异构型，以及通过自适应融合模块解决了传统多模态特征融合的问题。

公开(公告)号：CN116343267B

公开(公告)日：2023-08-04

申请号：CN202310627517.2

申请日：2023-05-31

申请人： 山东省人工智能研究院 ,  天津理工大学 ,  山东中联视听信息科技股份有限公司

发明人： 高赞 ,  张攀 ,  徐海霞 ,  马春杰 ,  赵一博 ,  薛彦兵 ,  温显斌 ,  李传森 ,  刘冬冬

IPC分类号： G06V40/10 ,  G06V20/52 ,  G06V20/70 ,  G06V10/26 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0464

摘要： 本发明属于计算机视觉及深度学习领域，尤其涉及一种衣物屏蔽网络的人体高级语义换衣行人重识别方法及装置。其具体步骤如下：通过语义分割模型得到对应图像的衣物屏蔽图，并且提取衣物屏蔽泛化特征；使用人体局部及高级语义特征提取模块对图像非衣物特征进行提取；通过Vision Transformer网络模型对人物特征进行提取；将RGB原始图像和衣物屏蔽图，两者一同放入了共享参数的Vision Transformer模型对人物特征进行提取；联合损失函数约束网络进行训练。本发明的基于衣物屏蔽网络的人体高级语义换衣行人重识别方法，在相关的换衣行人重识别数据集中达到了优异的效果。