基于视觉显著性与语义属性跨模态图像自然语言描述方法

    公开(公告)号:CN107688821B

    公开(公告)日:2021-08-06

    申请号:CN201710560024.6

    申请日:2017-07-11

    Abstract: 本发明属于计算机视觉与自然语言处理技术领域,公开了一种基于视觉显著性与语义属性跨模态图像自然语言描述方法,采用卷积神经网络提取图像各区域的多尺度深度视觉特征;利用预训练的显著性模型,回归出图像显著性图对原图像进行加权;建立预定义字典作为语义属性类别,并对视觉显著性图像进行语义属性检测;采用多示例学习计算语义属性;利用语义属性对图像特征加权;采用长短期记忆网络对基于视觉显著性的语义属性特征进行解码,生成图像描述。本发明具有准确度高的优点。可用于复杂场景下的图像检索及多目标图像语义理解等。

    基于成对协同正则化和NMF的自适应多视图聚类方法

    公开(公告)号:CN107292341B

    公开(公告)日:2019-12-10

    申请号:CN201710466702.2

    申请日:2017-06-20

    Abstract: 本发明提出了一种基于成对协同正则化和NMF的自适应多视图聚类方法,用于解决现有多视图聚类方法中存在的精度低和归一化交互信息低的技术问题,实现步骤为:获取原始图像集的归一化非负多视图数据;计算多视图数据的拉普拉斯矩阵;构建成对协同正则化和NMF的自适应多视图聚类的目标函数;分别获取基矩阵、系数矩阵和权重参数的迭代更新表达式;获取更新后的基矩阵、系数矩阵和权重参数;对更新后的系数矩阵进行K‑均值聚类,得到聚类结果。本发明利用成对协同正则化方法保持视图间的相似性,并利用自适应方法自动学习视图内的相似性约束项的权重参数,有效提高了多视图聚类的性能,可应用于客户信息分析、金融分析和医学等领域。

    基于局部几何视觉短语描述的鉴别性人脸姿态识别方法

    公开(公告)号:CN103310208B

    公开(公告)日:2016-05-11

    申请号:CN201310289408.0

    申请日:2013-07-10

    Abstract: 基于局部几何视觉短语描述的鉴别性人脸姿态识别方法,其包括基于人脸局部特征建立词袋模型,通过局部几何视觉短语引入词袋模型中单词的空间信息,并用几何视觉短语构成图像的特征向量,用向量的内积统计共现的特征数目,通过共现的特征数构成训练图像核矩阵,将所述训练图像核矩阵输入到支撑向量机分类器训练得到人脸姿态分类器。本发明能克服光照、遮挡和偏移对人脸姿态判别的影响,提高人脸姿态特征的鉴别性;通过在位移空间统计共现的局部几何视觉短语数提高计算效率且保证了基于局部几何视觉短语的空间特征的移位不变性。

    保持颜色信息的形变敏感器官模型下的不良图像检测方法

    公开(公告)号:CN104134059A

    公开(公告)日:2014-11-05

    申请号:CN201410359035.4

    申请日:2014-07-25

    Abstract: 本发明公开了一种保持颜色信息的形变敏感器官模型下的不良图像检测方法,包括采用混合高斯模型建立人体敏感器官的颜色模型;提取敏感器官训练样本的HoG特征及GMM特征;对每一种人体敏感器官的特定姿态,在其HoG特征和GMM特征相结合后的特征上,利用可形变部件模型以及隐含支撑向量机训练该敏感器官在特定姿态下的检测器,将多种姿态下的检测器集成为该敏感器官的混合形变模型;多种人体敏感器官分类器分别检测测试图像,融合检测结果并判定图像的性质。本发明利用不良图像中敏感器官的高层语义信息鉴别不良图像,有效地解决了正常图像的误判问题,可用于过滤图像中的色情信息。

    基于双边随机投影的图像感知哈希方法

    公开(公告)号:CN103412960A

    公开(公告)日:2013-11-27

    申请号:CN201310391189.7

    申请日:2013-08-31

    Abstract: 本发明公开了一种基于双边随机投影的图像感知哈希方法,主要解决大规模图像数据的快速检索问题,其实现步骤为:(1)对原始图像数据预处理;(2)获取双边随机投影矩阵;(3)低秩近似;(4)更新低秩矩阵;(5)判断更新低秩矩阵的迭代次数是否最大;(6)投影向量分组;(7)投影向量正交化;(8)获取哈希编码;(9)获取汉明距离;(8)输出测试结果。本发明提出的哈希方法能获取较好的投影向量,得到有效的哈希编码,降低了内存消耗,节省了检索时间,提高了图像检索的查准率-查全率综合性能,可用于电子商务和移动终端设备的图片搜索服务。

    基于隐含主题分析的不良图像检测方法

    公开(公告)号:CN102360435B

    公开(公告)日:2013-06-12

    申请号:CN201110329875.2

    申请日:2011-10-26

    Abstract: 本发明公开了一种基于隐含主题分析的不良图像检测方法,主要解决现有的不良信息检测方法不考虑图像的语义信息,导致正常图像误判的问题。其方案是:采用双混合高斯模型来提取图像的皮肤区域;通过词袋模型生成肤色区域中所包含显著特征的码本库,用词频-逆鉴别性文档频率法将每幅训练图像表示成一组有权重的单词共现向量;所有共现向量组成一个共现矩阵,对共现矩阵进行LDA建模,得到图像的主题;将训练图像的混合主题输入BP神经网络,进行不良图像分类器的训练;得到待测图像的主题并输入到不良图像分类器,判断其是否为不良图像,完成不良图像检测。实验表明,本发明能更好的分辨出不良图像和正常图像,可用于过滤图像中的色情信息。

    基于改进视觉注意力模型的自然场景目标检测方法

    公开(公告)号:CN101980248A

    公开(公告)日:2011-02-23

    申请号:CN201010537951.4

    申请日:2010-11-09

    Abstract: 本发明公开了一种基于改进视觉注意力模型的自然场景目标检测方法,主要解决现有基于视觉注意力模型目标检测中检测正确率低、误检率高的问题,其步骤是:(1)输入待检测图像,利用Itti的视觉注意力模型提取亮度、颜色和方向特征显著性图;(2)对原始图像提取谱特征显著性图;(3)对亮度、颜色、方向、谱特征显著性图和实验者的注意力图进行数据采样及标记,形成最终的粗糙集信息表;(4)根据粗糙集信息表,构造属性重要性,并通过聚类得到特征图的最优权值;(5)对特征子图进行加权,得到原始图像的显著性图,该显著性图对应的显著性区域即为目标位置区域。本发明能更有效的检测到自然场景中的视觉注意力区域并对其中的目标进行定位。

    基于对偶约束的联合学习超分辨方法

    公开(公告)号:CN101976435A

    公开(公告)日:2011-02-16

    申请号:CN201010298564.X

    申请日:2010-10-07

    Abstract: 本发明公开了一种基于对偶约束的联合学习超分辨方法,主要解决现有邻域嵌入超分辨方法导致图像模糊的问题,其步骤是:(1)使用高分辨图像生成训练集,建立低分辨和高分辨图像块的成组块对;(2)提取低分辨图像块的特征向量,在训练集中查找最匹配的成组块对;(3)对成组块对中低分辨和高分辨块的特征向量,进行联合学习,构造投影矩阵,生成联合特征子空间;(4)在生成的联合特征子空间中使用邻域嵌入估计高分辨图像块;(5)将所有估计的高分辨图像块合成高分辨图像;(6)对合成的高分辨图像,利用全局重构约束和反向投影算法改善图像质量。实验结果表明,本发明具有更强的超分辨能力,可用于低分辨自然图像的放大。

    基于局部嵌入式隐马尔可夫模型的照片生成方法

    公开(公告)号:CN101482925A

    公开(公告)日:2009-07-15

    申请号:CN200910020944.4

    申请日:2009-01-16

    Abstract: 本发明公开了一种基于局部嵌入式隐马尔可夫模型的照片生成方法。该方法的过程是:从样本集中划分出训练集和测试集,选取测试集中的一张画像作为待变换画像,训练集中的画像一照片对作为训练样本,将待变换画像及所有训练样本均匀划分为相互重叠的块;对于待变换画像的每个块,从训练样本中选择出相似度最大的K个训练画像块及其对应的K个训练照片块,并对每对训练画像块和照片块进行联合训练,建立耦合模型对库,根据K个耦合模型对生成K个中间伪照片块,将其进行加权融合,得到最终的伪照片块;将所有伪照片块进行组合得到最终的伪照片。本发明生成的照片清晰,质量高,纹理丰富,可用于根据模拟照片实现对犯罪嫌疑人身份的自动确认和识别。

    基于感知保持卷积网络的图像质量增强方法

    公开(公告)号:CN110458765B

    公开(公告)日:2022-12-02

    申请号:CN201910617979.X

    申请日:2019-07-10

    Abstract: 本发明公开了一种基于感知保持卷积网络的图像质量增强方法,解决了手机由于硬件限制造成的拍摄图像质量不如单反相机的问题。实现步骤为:收集训练使用的图像块对;使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络GT和GS;构建图像质量判别器网络D;训练图像质量增强教师网络GT和图像质量判别器网络D,结合知识蒸馏训练图像质量增强学生网络GS;使用训练好的网络进行图像增强。本发明以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野,使用知识蒸馏提升具有相同结构,规模较小的图像质量增强网络的图像增强效果,降低了计算机资源消耗,可用于移动设备的图像质量增强服务。

Patent Agency Ranking