基于显式和隐含信息的图像视觉显著度计算方法和装置

    公开(公告)号:CN104899872B

    公开(公告)日:2017-11-03

    申请号:CN201510253424.3

    申请日:2015-05-18

    申请人: 北京大学

    发明人: 田永鸿 李甲 方舒

    IPC分类号: G06T7/00

    摘要: 本发明实施例提供了一种基于显式和隐含信息的图像视觉显著度计算方法和装置。该方法主要包括:从图像中提取视觉词汇,建立任意两个视觉词汇之间的隐含关系模型;根据所述隐含关系模型获取所述图像上任意两个宏块之间的隐含关系系数,在不同颜色通道上分别提取每个宏块的显式显著度;根据所述图像上任意两个宏块之间的隐含关系系数和每个宏块的显式显著度建立图模型,根据所述图模型计算出所述图像的视觉显著度。本发明实施例可以使用这种先验知识和图像的显式信息量来构建有向图,用有向图的随机游走结果来计算显著度能得到更干净、准确、稀疏的图像的视觉显著度,可以有效地区分图像中的目标和干扰物,更好地定位图像中的重要内容。

    字幕检测方法及装置、背景恢复方法及装置

    公开(公告)号:CN101835011B

    公开(公告)日:2013-08-28

    申请号:CN200910118779.6

    申请日:2009-03-11

    IPC分类号: H04N17/00

    摘要: 本发明涉及视频检测技术,公开了字幕检测方法及装置、背景恢复方法及装置,其中字幕检测方法包括:获取视频帧中像素区域属于平滑背景的概率;使用帧间相关系数确定所述像素区域属于静止纹理的概率;获取所述像素区域属于动态纹理的概率;根据所述像素区域属于平滑背景的概率、属于静止纹理的概率和属于动态纹理的概率确定所述像素区域是否属于滚动字幕区域。使用本发明实施例提供的技术方案,可以使用帧间信息对视频的字幕进行检测。

    基于视觉显著度的视频广告关联方法与系统

    公开(公告)号:CN101489139A

    公开(公告)日:2009-07-22

    申请号:CN200910076782.6

    申请日:2009-01-21

    申请人: 北京大学

    IPC分类号: H04N7/52 G09F27/00 G06F17/30

    摘要: 本发明涉及一种图像和视频处理方法,特别是关于一种基于视觉显著度的视频广告关联方法。本方法中,通过计算采样帧的显著度分布图,可以自动选取一段视频中最受用户关注的显著区域。基于提取的显著区域,本方法可以自动通过多种检索方法,在广告库中获取与这些显著区域相关联的广告标志以及相关信息。最后,将视频片段与查询到的广告信息同步播放给用户。本方法可以在不影响用户观看的情况下,为用户所关注的显著区域关联相关的广告信息,进而满足了用户对其所关注区域深入了解和进一步探索的需求。

    自动估计图像和视频的视觉显著度的方法

    公开(公告)号:CN101477633A

    公开(公告)日:2009-07-08

    申请号:CN200910076781.1

    申请日:2009-01-21

    申请人: 北京大学

    IPC分类号: G06K9/66 G06F17/30

    CPC分类号: G06K9/00711 G06K9/4671

    摘要: 本发明涉及一种图像和视频处理方法,特别是一种通过机器学习技术来自动估计视频内容的视觉显著程度的方法。本方法首先自动将训练样本分为若干类别,对每一类别学习得到最佳的“样本特征-显著度分布图”映射函数,并对每类训练样本的底层特征进行建模。对待估计样本,根据其底层特征判断其属于哪一类样本,再选取相应的“样本特征-显著度分布图”映射函数来计算其显著度分布图。根据本发明可以快捷有效的估计视频和图像等多种多媒体信息的视觉显著度分布图。

    基于显式和隐含信息的图像视觉显著度计算方法和装置

    公开(公告)号:CN104899872A

    公开(公告)日:2015-09-09

    申请号:CN201510253424.3

    申请日:2015-05-18

    申请人: 北京大学

    发明人: 田永鸿 李甲 方舒

    IPC分类号: G06T7/00

    CPC分类号: G06T7/0002

    摘要: 本发明实施例提供了一种基于显式和隐含信息的图像视觉显著度计算方法和装置。该方法主要包括:从图像中提取视觉词汇,建立任意两个视觉词汇之间的隐含关系模型;根据所述隐含关系模型获取所述图像上任意两个宏块之间的隐含关系系数,在不同颜色通道上分别提取每个宏块的显式显著度;根据所述图像上任意两个宏块之间的隐含关系系数和每个宏块的显式显著度建立图模型,根据所述图模型计算出所述图像的视觉显著度。本发明实施例可以使用这种先验知识和图像的显式信息量来构建有向图,用有向图的随机游走结果来计算显著度能得到更干净、准确、稀疏的图像的视觉显著度,可以有效地区分图像中的目标和干扰物,更好地定位图像中的重要内容。

    基于互补显著度图的图像兴趣物体自动提取方法及系统

    公开(公告)号:CN101847264A

    公开(公告)日:2010-09-29

    申请号:CN201010193747.5

    申请日:2010-05-28

    申请人: 北京大学

    IPC分类号: G06T7/00 G06T5/00

    摘要: 本发明公开了一种基于互补显著度图的图像兴趣物体自动提取方法及系统。该方法包括:对同一幅图像,生成两个互补的显著度图,获取两个互补的粗提取结果;将所述两个互补的粗提取结果作为先验知识,采取像素分类方法提取出兴趣物体;对提取出的所述兴趣物体进行优化。本发明通过给定任意图像,在模拟人体视觉感知的情况下自动准确地提取出图像中的兴趣物体,有效地解决了基于显著度方法的结果完整性问题。

    自动估计图像和视频的视觉显著度的方法

    公开(公告)号:CN101477633B

    公开(公告)日:2010-08-25

    申请号:CN200910076781.1

    申请日:2009-01-21

    申请人: 北京大学

    IPC分类号: G06F17/30 G06K9/66

    CPC分类号: G06K9/00711 G06K9/4671

    摘要: 本发明涉及一种图像和视频处理方法,特别是一种通过机器学习技术来自动估计视频内容的视觉显著程度的方法。本方法首先自动将训练样本分为若干类别,对每一类别学习得到最佳的“样本特征-显著度分布图”映射函数,并对每类训练样本的底层特征进行建模。对待估计样本,根据其底层特征判断其属于哪一类样本,再选取相应的“样本特征-显著度分布图”映射函数来计算其显著度分布图。根据本发明可以快捷有效的估计视频和图像等多种多媒体信息的视觉显著度分布图。

    基于视觉注意力模型的广告标志插入和变换方法及系统

    公开(公告)号:CN101621636A

    公开(公告)日:2010-01-06

    申请号:CN200810115955.6

    申请日:2008-06-30

    申请人: 北京大学

    IPC分类号: H04N5/272 H04N5/445

    摘要: 一种基于视觉注意力模型的广告标识自动插入和变换方法及系统,其包括:首先,基于所构建的视觉注意力模型预测用户对视频每帧各区域的兴趣区域和对各帧的关注程度;然后,根据用户对各帧的关注程度曲线来确定插入广告的时间点,并通过基于预测出的注意力分布来评价在各区域插入广告的合适程度,进而获取可供广告插入的候选区域序列,并将广告插入到对视频内容影响不大的区域;最后,根据预测出的注意力分布将广告标志插入到合适的时间点和位置,并对其进行多种特征变换,以使其能够重复吸引用户或观众的注意力。根据本发明可以有效进行广告标识的自动插入和变换,并使所插入的广告标识在不影响正常观看的情况下能够重复吸引人的注意力。