-
公开(公告)号:CN113326848A
公开(公告)日:2021-08-31
申请号:CN202110674550.1
申请日:2021-06-17
申请人: 中山大学
摘要: 本发明公开了一种半监督领域自适应方法,包括获取有标签源域图像、有标签目标域图像及无标签目标域图像;将有标签目标域图像、无标签目标域图像分别转换为具有源域图像风格的第一图像、第二图像;将第二图像输入至源域分割模型,得到第一概率置信图;将无标签目标域图像输入至目标域分割模型,得到第二概率置信图;根据第一概率置信图推断出的类别结果图合成第一伪标签,根据第二概率置信图推断出的类别结果图合成第二伪标签;利用第一伪标签及第一概率置信图监督目标域分割模型,得到其损失函数;利用第二伪标签及第二概率置信图监督源域分割模型,得到其损失函数。本发明能更好地缩减域间差及更好地利用目标域图片,进而提高语义分割效果。
-
公开(公告)号:CN109087258B
公开(公告)日:2021-07-20
申请号:CN201810843575.8
申请日:2018-07-27
申请人: 中山大学
摘要: 本发明公开了一种基于深度学习的图像去雨方法及装置,所述方法包括:步骤S1,利用浅层卷积神经网络产生所有有雨图像的浅层特征图;步骤S2,将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码;步骤S3,通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作;步骤S4,对解码后的特征图进行细化处理,并预测有雨图像的雨条负残差信息;步骤S5,对所述有雨图像与雨条负残差信息求和,最终获得高质量无雨图像,本发明在有效地去除雨条信息的同时,能良好地保留场景细节信息。
-
公开(公告)号:CN112015947A
公开(公告)日:2020-12-01
申请号:CN202010889647.X
申请日:2020-08-28
申请人: 中山大学
摘要: 本发明提供一种语言描述引导的视频时序定位方法及系统,所述方法包括:接收视频查询信息组;从所述待查询视频中获取目标视频片段;从所述查询文字中提取文字特征信息;从所述目标视频片段中提取目标特征信息;计算所述目标视频片段对应的目标损失值;在所述目标损失值不包含于预先设置的损失值集时,计算动作参数;根据所述动作参数调整所述目标视频片段在所述待查询视频中的边界位置,并返回从所述目标视频片段中提取目标视频片段特征信息的步骤。本发明提出了一种语言描述引导的弱监督视频时序定位方法,根据边界自适应优化框架,借助强化学习范式来自适应地优化时序边界,缩小跨模态语义差距,得到更精确的结果。
-
公开(公告)号:CN111222533A
公开(公告)日:2020-06-02
申请号:CN201911087262.5
申请日:2019-11-08
申请人: 中山大学
摘要: 本发明公开了一种基于依赖树的深度学习视觉问答方法及系统,该方法包括:对问句-图像对输入进行预处理,提取图像的目标区域特征记为图像特征R,生成问句的词语特征记为问句特征E;使用自关注方法分别关注到图像以及问句的显著部分,更新图像及问句特征;通过协同关注方法,将图像和问句特征交替作为引导,更新图像及问句特征;将问句解析成依赖树,根据词语类型剪枝,将问句特征按词语分配到每个树结点;利用图像特征,从依赖树叶子结点往根结点流动,根据结点词语类型分为物体关注模块以及关系构建模块,将图像以及问句特征在模块流动过程中更新;将图像和问句特征进行融合,并通过全连接层分类得到问题的答案。
-
公开(公告)号:CN110796608A
公开(公告)日:2020-02-14
申请号:CN201910772642.6
申请日:2019-08-21
申请人: 中山大学
摘要: 本发明公开了一种基于在线迭代生成器的对抗防御方法及系统,该方法包括如下步骤:步骤S1,随机初始化生成器网络F的参数θ,并用0初始化与输入图像相同大小的合成图像;步骤S2,给定可能是对抗样本的输入图像,将其定义为参考图像Iz,将其输入至生成器网络模块,生成合成图像,并交替迭代更新网络参数和合成图像,最终获得去除对抗噪声且与原输入图像语义相同的合成图像,直到符合停止的条件,本发明可在有效地去除对抗噪声的同时,合成与输入图像具有相同语义图像以代替原有的输入图像。
-
公开(公告)号:CN109087258A
公开(公告)日:2018-12-25
申请号:CN201810843575.8
申请日:2018-07-27
申请人: 中山大学
摘要: 本发明公开了一种基于深度学习的图像去雨方法及装置,所述方法包括:步骤S1,利用浅层卷积神经网络产生所有有雨图像的浅层特征图;步骤S2,将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码;步骤S3,通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作;步骤S4,对解码后的特征图进行细化处理,并预测有雨图像的雨条负残差信息;步骤S5,对所述有雨图像与雨条负残差信息求和,最终获得高质量无雨图像,本发明在有效地去除雨条信息的同时,能良好地保留场景细节信息。
-
公开(公告)号:CN108399406A
公开(公告)日:2018-08-14
申请号:CN201810036348.4
申请日:2018-01-15
申请人: 中山大学
摘要: 本发明公开了一种基于深度学习的弱监督显著性物体检测的方法及系统,该方法包括:利用非监督的显著性检测方法产生所有训练图像的显著图;将显著图与对应的图像级别的类别标签作为初次迭代的有噪声的监督信息,以训练多任务的全卷积神经网络,训练过程收敛后,生成新的类别激活图和显著性物体预测图;利用条件随机场模型调整类别激活图和显著性物体预测图;利用标签更新策略为下一次迭代更新显著性标注信息;多次迭代进行训练过程直到符合停止的条件;在含有未知类别图像的数据集上进行泛化式训练,得到最终模型,本发明在优化过程中自动清除噪声信息,只使用图像级别的标注信息就能达到良好的预测效果,避免了冗繁耗时的像素级别的人工标注过程。
-
-
-
-
-
-