-
公开(公告)号:CN109034198B
公开(公告)日:2020-12-11
申请号:CN201810664250.3
申请日:2018-06-25
Applicant: 中国科学院计算技术研究所
IPC: G06K9/62
Abstract: 本发明涉及一种基于特征图恢复的场景分割方法和系统,包括对原始图像进行降采样,得到降采样图像,通过特征学习网络得到该降采样图像的降采样特征图,将该降采样特征图的尺寸恢复为原始图像尺寸,得到上采样特征图,将该上采样特征图输入场景分割网络,得到该原始图像的场景分割结果。本发明利用降采样输入图像可以获得的较快的分割速度;利用原始大小输入图像可以获得的较高的分割精度。此外,本发明还提出了辅助中间层监督和边境区域重加权的方法辅助场景分割神经网络模型的优化过程,从而在保持模型加速的前提下提升加速后模型的分割精度。
-
公开(公告)号:CN110472493A
公开(公告)日:2019-11-19
申请号:CN201910604601.6
申请日:2019-07-05
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于一致性特征(ConsensusFeatures)的场景分割方法和系统,包括对特征提取器学习到的特征进行实例一致性变换和类别一致性变换,将变换后的特征输入到场景分割子网络,得到原始图像的场景分割结果。本发明提出了一种通过实例一致性变换单元去学习实例层次的一致性特征。另一方面,由于在场景图像中存在着多个同类实例,本发明使用类别一致性单元去学习类层次的一致性特征。这两个单元极大地提高了现有基于全卷积的场景分割模型的性能。
-
公开(公告)号:CN110443818A
公开(公告)日:2019-11-12
申请号:CN201910588880.1
申请日:2019-07-02
Applicant: 中国科学院计算技术研究所
IPC: G06T7/12
Abstract: 本发明提出一种基于涂鸦的弱监督语义分割方法与系统,包括:获取多张训练图片,训练图片均对应有涂鸦标记和边缘图;选取训练图片作为当前图片,将当前图片输入至语义分割网络,得到当前图片的高层语义特征;将高层语义特征输入至预测修正网络,得到当前图片的分割结果图,并根据当前图片的涂鸦标记,得到当前图片中涂鸦标记区域的交叉熵损失;将高层语义特征输入至边界回归网络,得到当前图片中目标的边界图,并根据当前图片的边缘图,得到边界图中边界区域的均值方差损失;构建总损失函数,并判断总损失函数是否收敛,若是,则将当前预测修正网络作为语义分割模型;将待语义分割的图片输入至语义分割模型,得到待语义分割的图片的分割结果图。
-
公开(公告)号:CN109657538A
公开(公告)日:2019-04-19
申请号:CN201811309249.5
申请日:2018-11-05
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种基于上下文信息指导的场景分割方法,包括:以残差结构网络构建基于上下文信息的指导模块;以原始图像为输入,通过多个3×3卷积层输出初级特征图;以该初级特征图为输入,通过多个该指导模块输出中级特征图;以该中级特征图为输入,通过多个该指导模块输出高级特征图;以该高级特征图为输入,通过场景分割子网络,获得该原始图像的场景分割结果。本发明设计的分割网络的参数量小,并且在特征提取时,利用全局特征提取器进一步去修正局部特征和对应的周围上下文特征组合成的联合特征,这使得模型更有利于去学习分割的特征,极大的提高了现有移动端场景分割网络的性能。
-
公开(公告)号:CN107564013A
公开(公告)日:2018-01-09
申请号:CN201710650541.2
申请日:2017-08-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种场景分割修正方法,通过局部边界修正网络,以完全残差卷积网络作为前端模型,将该前端模型的置信度图和原始图像按通道拼接起来,作为该局部边界修正网络的输入,从而输出该置信度图所有位置的局部聚合系数,将该局部聚合系数与该置信度图的对应位置相乘,聚合到中心点,得到场景分割的局部边界修正结果;使用已知的场景分割数据集对该局部边界修正网络进行训练。同时本发明还提出了将全局残差修正网络和该局部边界修正网络串联起来,形成级联的框架,该级联的框架可以对前端模型的分割结果进行全局修正和局部修正,从而得到更加精确的场景分割修正结果。
-
公开(公告)号:CN101441717B
公开(公告)日:2010-12-08
申请号:CN200710177875.9
申请日:2007-11-21
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种色情视频检测方法,包括:在待检测视频的视频帧中,利用肤色模型和非肤色模型,计算视频帧的各个象素点的肤色概率值与非肤色概率值;根据视频帧中象素点的肤色概率值与非肤色概率值,为视频帧建立模版图像;根据模版图像,从视频帧中提取图像特征;将连续视频帧中的图像特征组成观测序列,将所述观测序列输入到色情镜头模型中以检测待检测视频是否为色情视频。本发明还提供了一种与色情视频检测方法相适应的检测系统。本发明在检测过程中采用了相邻视频帧的时序特性,使得整个视频检测方法的鲁棒性更强,检测准确率更高。
-
公开(公告)号:CN101316327B
公开(公告)日:2010-05-26
申请号:CN200710099725.0
申请日:2007-05-29
Applicant: 中国科学院计算技术研究所
IPC: H04N5/262
Abstract: 本发明公开了一种多模态融合的采访镜头检测方法,包括:输入未编辑的原始视频,对视频进行预处理,得到原始视频的视频流和音频流,以及视频流中的镜头、各个镜头的关键帧;根据视频预处理操作所得到的音频流建立人声模型,并依赖所建立的人声模型判断镜头是否为包含人声的镜头;根据视频预处理操作所得到的视频流建立人脸模型,并依赖人脸模型判断镜头是否为包含人脸的镜头;融合人声检测结果和人脸检测结果,如果一个镜头中同时包含人声和人脸信息,则镜头为采访镜头。本发明的优点是通过融合视频和音频信息,建立通用的基于镜头的采访检测模型,并实现了对未经编辑的原始视频的概念检测和标注。
-
公开(公告)号:CN101441717A
公开(公告)日:2009-05-27
申请号:CN200710177875.9
申请日:2007-11-21
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种色情视频检测方法,包括:在待检测视频的视频帧中,利用肤色模型和非肤色模型,计算视频帧的各个像素点的肤色概率值与非肤色概率值;根据视频帧中像素点的肤色概率值与非肤色概率值,为视频帧建立模版图像;根据模版图像,从视频帧中提取图像特征;将连续视频帧中的图像特征组成观测序列,将所述观测序列输入到色情镜头模型中以检测待检测视频是否为色情视频。本发明还提供了一种与色情视频检测方法相适应的检测系统。本发明在检测过程中采用了相邻视频帧的时序特性,使得整个视频检测方法的鲁棒性更强,检测准确率更高。
-
公开(公告)号:CN117979115A
公开(公告)日:2024-05-03
申请号:CN202410069876.5
申请日:2024-01-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于扩散模型的虚拟主播全身视频生成方法和系统,包括:获取人物视频,每个人物视频具有对应的人物外观控制图像;构建用于生成视频的扩散模型,输入人物外观控制图像至图像编码器,得到训练外观描述;为人物视频的帧画面添加噪声数据得到含噪图像;图像去噪模型根据训练外观描述和含噪图像对应的三维人体数据,进行图像去噪,构建损失函数训练扩散网络,得到虚拟人物视频生成模型;获取人物全身姿态的多帧目标三维数据和其目标虚拟人物图像,输入目标虚拟人物图像至图像编码器,得到目标外观描述;虚拟人物视频生成模型的图像去噪模型根据目标外观描述和目标三维数据,为噪声图像降噪,得到目标虚拟人物视频。
-
公开(公告)号:CN116523806A
公开(公告)日:2023-08-01
申请号:CN202310208841.0
申请日:2023-03-06
Applicant: 中国科学院计算技术研究所
IPC: G06T5/50 , G06T5/00 , G06T13/40 , G06T13/20 , G06N3/0455
Abstract: 本发明提供了一种基于换脸的合成人脸修复方法、介质和电子设备,其中,合成人脸修复模型的构建方法包括:利用合成人脸图像集训练第一自编码器进行人脸图像重构,得到经训练的第一自编码器,其中,第一自编码器包括编码器和解码器,合成人脸图像集包括目标人物说话状态的合成人脸图像;利用源人脸图像集训练第二自编码器进行人脸图像重构,得到经训练的第二自编码器,其中,第二自编码器包括编码器和解码器,源人脸图像集包括目标人物正常说话状态的人脸图像;构建用于对人脸图像进行修复的人脸修复模型,其由经训练的第一自编码器的编码器以及经训练的第二自编码器的解码器构成;以得到能够对合成人脸进行高效、高质量修复的人脸修复模型。
-
-
-
-
-
-
-
-
-