一种类别不平衡半监督目标检测方法、系统、设备及介质

    公开(公告)号:CN117333656A

    公开(公告)日:2024-01-02

    申请号:CN202311253186.7

    申请日:2023-09-26

    发明人: 李冠彬 李佳铭

    摘要: 本发明提供了一种类别不平衡半监督目标检测方法、系统、设备及介质,所述方法为将获取的类别不平衡图像数据集输入预设目标检测器进行目标检测分析得到无标注和无标注图像分类损失以及无标注图像的伪标签,并计算梯度矩阵建立类别梯度平衡方程组,以及根据求解类别梯度平衡方程组得到的类别权重和权重求解损失计算总分类损失并在判定继续迭代时,根据由类别权重得到的标签类别阈值确定有效伪标签和无标注图像的图像采样率后,根据有效伪标签、图像采样率和总分类损失对预设目标检测器进行训练得到半监督目标检测器,并用其对待检测图像进行目标检测得到检测结果。本发明能有效保证类别不平衡场景目标检测的精准性,提升半监督目标检测的应用性能。

    一种半监督图像语义分割方法、系统、计算机设备及介质

    公开(公告)号:CN117333666A

    公开(公告)日:2024-01-02

    申请号:CN202311258943.X

    申请日:2023-09-26

    发明人: 李冠彬 马杰

    摘要: 本发明提供了一种半监督图像语义分割方法、系统、计算机设备及介质,所述方法为获取包括有标注图像数据和无标注图像数据的语义分割数据集,并对语义分割数据集进行数据增强处理得到对应的语义分割增强数据集后,根据语义分割增强数据集,采用交叉伪监督结合基于物体部分对比学习的半监督学习训练方式,构建半监督语义分割模型,并将获取的待处理图像数据输入半监督语义分割模型进行语义分割处理,得到对应的语义分割结果。本发明不仅能够通过动态软标签高效利用低置信度伪标签,引入更丰富的监督信息,避免有用信息损失,而且能够基于物体部分的对比学习,有效减少错误伪标签导致的模型退化风险,提升模型的类别辨识能力和鲁棒性。

    开放词汇目标检测中的背景提示学习方法

    公开(公告)号:CN118628712A

    公开(公告)日:2024-09-10

    申请号:CN202410651398.9

    申请日:2024-05-24

    发明人: 李冠彬 李佳铭

    摘要: 本发明公开了一种开放词汇目标检测中的背景提示学习方法,首先生成背景候选框并通过特征提取得到背景候选框中潜在类别的最终最优数量,同时聚类得到聚类中心的嵌入;使用背景类别特定提示模块中生成训练图片的图像候选框,提取图像候选框的特征并获取类别嵌入;再使用背景物体发掘模块基于图像候选框的特征及聚类中心的嵌入对图像候选框赋予伪标签并调整;最后构建损失函数对背景类别特定提示模块和背景物体发掘模块进行迭代训练;把推理图片输入训练好的背景类别特定提示模块和背景物体发掘模块中进行预测,并使用推理概率校正模块进行修改正,通过学习背景提示来利用探索到的隐含背景知识,从而增强对基础和新类别的检测性能。

    一种基于掩码图自编码器的骨架序列识别方法及系统

    公开(公告)号:CN116434347B

    公开(公告)日:2023-10-13

    申请号:CN202310688179.3

    申请日:2023-06-12

    申请人: 中山大学

    摘要: 本发明公开了一种基于掩码图自编码器的骨架序列识别方法及系统,包括步骤如下:建立骨架动作识别模型,利用骨架动作识别模型识别骨架序列,实现预测动作类别;所述的骨架动作识别模型包括一个M层的空间‑时间表示学习模型和一层分类器;所述的空间‑时间表示学习模型包括两个并联连接的掩码图自编码器,且掩码图自编码器的输出端通过1×1卷积与输入端进行残差连接。本发明将一个M层的空间‑时间表示学习模型和一层分类器构建骨架动作识别模型,其利用不同骨架关节之间的细粒度依赖关系来训练学习,是一个高效的骨架序列学习模型,可以在不同的数据集上很好地泛化。

    基于无监督学习的显著性物体检测方法及系统

    公开(公告)号:CN113326886B

    公开(公告)日:2023-09-15

    申请号:CN202110665987.9

    申请日:2021-06-16

    申请人: 中山大学

    摘要: 本发明公开了一种基于无监督学习的显著性物体检测方法及系统,所述方法包括:获取目标域样本,所述目标域样本的标签为使用上一轮迭代得到的模型在目标域图像进行预测得到的伪标签;对所述伪标签进行不确定性评估,并进行不确定性排序;根据排序结果,对所述伪标签进行图片级筛选,得到伪标签不确定性低于预设阈值的目标域样本;对所述目标域样本进行像素级伪标签重加权处理,得到用于下一个迭代训练的目标域样本。本发明提供的基于无监督学习的显著性物体检测方法,可以在不依赖人工标签的情况下,在多个显著性物体检测数据集上取得优异的性能,并达到与全监督显著性检测方法相匹敌的能力,大大减轻了显著性物体检测方法对像素级人工标签的依赖性。

    一种基于掩码图自编码器的骨架序列识别方法及系统

    公开(公告)号:CN116434347A

    公开(公告)日:2023-07-14

    申请号:CN202310688179.3

    申请日:2023-06-12

    申请人: 中山大学

    摘要: 本发明公开了一种基于掩码图自编码器的骨架序列识别方法及系统,包括步骤如下:建立骨架动作识别模型,利用骨架动作识别模型识别骨架序列,实现预测动作类别;所述的骨架动作识别模型包括一个M层的空间‑时间表示学习模型和一层分类器;所述的空间‑时间表示学习模型包括两个并联连接的掩码图自编码器,且掩码图自编码器的输出端通过1×1卷积与输入端进行残差连接。本发明将一个M层的空间‑时间表示学习模型和一层分类器构建骨架动作识别模型,其利用不同骨架关节之间的细粒度依赖关系来训练学习,是一个高效的骨架序列学习模型,可以在不同的数据集上很好地泛化。

    一种多跳视觉问题推理模型及其推理方法

    公开(公告)号:CN110110043B

    公开(公告)日:2023-04-11

    申请号:CN201910290520.3

    申请日:2019-04-11

    申请人: 中山大学

    摘要: 本发明公开了一种多跳视觉问题推理模型及其推理方法,所述模型包括:多跳视觉问题推理数据集建立单元,用于通过将场景图和知识库相融合成知识图,利用知识图构造包含多跳知识推理问答对的数据集;卷积神经网络,用于提取输入图像的图像特征;长短期记忆网络,用于提取问题特征;知识路由模块化网络,用于将问题解析为查询树,其中查询树是问题的推理过程的符号化表达,并结合查询树和知识库,在知识图中提取出正确的关系或实体,进行多跳推理以给出最终的回答。

    异常视频的识别方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN115909116A

    公开(公告)日:2023-04-04

    申请号:CN202110943426.0

    申请日:2021-08-17

    IPC分类号: G06V20/40 G06V10/82 G06N3/08

    摘要: 本申请公开了一种异常视频的识别方法、装置、设备及计算机可读存储介质,涉及深度学习领域。该方法包括:获取n个样本视频片段,在第i次迭代循环训练过程中,通过第i‑1次迭代训练得到的第i个分析模型对样本视频片段进行分析,得到第i组异常预测结果,i≥1且i为整数,对第i组异常预测结果进行平衡分布处理,得到与n个样本视频片段对应的第i组伪标签,基于第i组异常预测结果和第i组伪标签之间的差异,对第i个分析模型进行训练,得到在第i次迭代循环训练过程中的第i+1个分析模型,直至分析模型的训练符合训练结果条件,得到异常分析模型。不仅节省人工标注标签所耗费的人力,还能够提高异常分析模型的识别精度。

    基于动态卷积网络的自然场景下人脸素描生成模型及方法

    公开(公告)号:CN110580726B

    公开(公告)日:2022-10-04

    申请号:CN201910772659.1

    申请日:2019-08-21

    申请人: 中山大学

    IPC分类号: G06T11/00 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于动态卷积网络的自然场景下人脸素描生成模型及方法,该方法包括:步骤S1,对所有卷积网络和全连接网络参数进行初始化;步骤S2,获取人脸图像,利用全卷积神经网络提取该人脸图像的层次化特征;步骤S3,将获得的特征利用转置卷积网络进行上采样,并利用可变形卷积网络挖掘人脸潜在区域和人脸变化形式信息;步骤S4,将特征分为多尺度区域,在各区域动态计算出自适应的滤波器权重,将滤波器权重与特征进行卷积计算得到新的特征,将多个尺度下所有区域特征组合生成高质量的人脸素描;步骤S5,根据生成的人脸素描与真实人脸素描的对比更新模型参数;步骤S6,多次迭代进行步骤S2‑S5训练。

    基于无监督领域自适应的图像超分辨方法及装置

    公开(公告)号:CN114549322A

    公开(公告)日:2022-05-27

    申请号:CN202210183404.3

    申请日:2022-02-24

    申请人: 中山大学

    IPC分类号: G06T3/40 G06N3/08

    摘要: 本申请公开了一种基于无监督领域自适应的图像超分辨方法及装置,在源域能访问到成对的LR和HR数据,目标域仅能访问到LR数据的情况下,实现源域模型到目标域的迁移,通过设计两个对称的分支网络(源分支网络和目标分支网络),共同处理源域和目标域数据,并采用域间对抗自适应机制,通过不同域之间的对抗实现域间迁移;采用域内对抗自适应机制,通过域内对抗实现两个分支之间的对齐,同时添加重建一致性约束和VGG损失,以确保训练过程的稳定性,从而使适应到目标域的SR网络存在性能稳定。