基于大语言模型引导的语义增强的少样本学习方法

    公开(公告)号:CN119418145A

    公开(公告)日:2025-02-11

    申请号:CN202411338320.8

    申请日:2024-09-24

    Applicant: 浙江大学

    Inventor: 于云龙 刘木水

    Abstract: 本发明公开了一种基于大语言模型引导的语义增强的少样本学习方法,包括:获取用于训练深度神经网络模型的图像数据集以及对应的语义特征;利用所述图像数据集对预先定义好的深度神经网络模型A进行预训练,优化目标是交叉熵优化损失和局部‑全局图像文本对比损失,所述局部‑全局图像文本对比损失需要的语义特征通过预训练CLIP的文本编码器获得;利用所述图像数据集对预训练好的深度神经网络模型A和渐进式视觉语义聚合框架B进行元学习训练,优化目标是交叉熵损失;利用训练好的深度神经网络模型A+B输出给定查询和支撑图像分类的预测结果。本发明的方法适用于少样本场景下的图像识别等任务,能够生成更具有代表性的分类原型,改善模型的泛化性能。

    一种基于3D骨骼步态分析的情绪识别方法

    公开(公告)号:CN117523658A

    公开(公告)日:2024-02-06

    申请号:CN202311375593.5

    申请日:2023-10-23

    Applicant: 浙江大学

    Abstract: 本发明提出了一种基于3D骨骼步态分析的情绪识别方法,关节信息的局部帧流、关节信息的全局序列流、骨骼信息的局部帧流、骨骼信息的全局序列流构成的融合多流结构,通过MSMTA‑GCN网络捕获由融合多流结构数据中的深层特征,并且融合多流结构数据互为补充,可提供更多用于MSMTA‑GCN网络识别的信息,从而提高情绪分类识别的准确性。在MSMTA‑GCN网络中,设计了MTA‑GCN块(多线程自注意力图层)来缓解感受野不平衡问题。同时,引入自注意力机制使GCN能够聚焦输入序列中包含更多有效信息的部分,从而能够捕捉人体不同关节之间的非局部依赖关系。本发明的方法是通用的和稳健的,可以与现有的GCN框架配合工作,以简单的方式实现优越的性能。

    基于有容忍度标签的自蒸馏方法、计算机设备和存储介质

    公开(公告)号:CN116403069A

    公开(公告)日:2023-07-07

    申请号:CN202310267305.8

    申请日:2023-03-20

    Applicant: 浙江大学

    Inventor: 于云龙

    Abstract: 本发明公开了一种基于有容忍度标签的自蒸馏方法、计算机设备和存储介质,所述方法具体包括如下步骤:获取用于训练深度神经网络模型的图像数据集;利用图像数据集训练预先定义好的深度神经网络,优化目标是交叉熵优化损失和自蒸馏损失,自蒸馏损失需要的软标签通过一个自适应的内存结构来提供;利用训练好的模型输出图像分类任务的预测结果。本发明的方法适用于有监督的图像识别或者检测等任务,面对优化过程中存在的过拟合现象,在不需要预先训练一个大的教师模型的前提下进行自蒸馏,模型能够在更优点收敛,得到更为稳健的效果。

    自适应建模域特征的域泛化行人重识别方法

    公开(公告)号:CN115661923A

    公开(公告)日:2023-01-31

    申请号:CN202211281152.4

    申请日:2022-10-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种自适应建模域特征的域泛化行人重识别方法,用于在给定多个不同域数据训练的情况下,消除不同域的冲突,对行人建模良好的特征表达,用于检索和匹配任务。该方法具体包括如下步骤:建立用于提取彩色图像的主干深度神经网络;建立子特征嵌入网络;建立域样本自适应的子特征组合模块;建立静态域通用特征提取模块;建立域样本自适应特征与域通用特征融合模块;基于前述模型结构进行预测模型训练,并得到最终的训练好的神经网络模型。本发明适用于多域数据训练测试下的行人重识别,面对各类复杂情况具有较佳的效果和鲁棒性。

    基于关系独立和特征适应器的关系增量场景图生成方法

    公开(公告)号:CN114972963A

    公开(公告)日:2022-08-30

    申请号:CN202210343339.6

    申请日:2022-03-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于关系独立和特征适应器的关系增量场景图生成方法。该方法包括如下步骤:获取用于训练关系增量场景图生成的、带有数据集标签的训练数据集,包含基子数据集和N个增量子数据集;使用预训练的目标检测器检测出训练数据集所有图像中的所有物体,选定关系检测器;在基子数据集上使用关系独立的训练方法训练关系检测器;在N个增量子数据集依次使用关系独立的训练方法配合特征适应器训练关系检测器;使用在第N个增量子数据集上训练好的关系检测器作为最终的关系检测器。本发明充分利用前序子任务的模型,并对各个关系进行独立建模,能够更好地适应关系增量场景图生成任务。

    基于关系独立和特征适应器的关系增量场景图生成方法

    公开(公告)号:CN114972963B

    公开(公告)日:2025-04-22

    申请号:CN202210343339.6

    申请日:2022-03-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于关系独立和特征适应器的关系增量场景图生成方法。该方法包括如下步骤:获取用于训练关系增量场景图生成的、带有数据集标签的训练数据集,包含基子数据集和N个增量子数据集;使用预训练的目标检测器检测出训练数据集所有图像中的所有物体,选定关系检测器;在基子数据集上使用关系独立的训练方法训练关系检测器;在N个增量子数据集依次使用关系独立的训练方法配合特征适应器训练关系检测器;使用在第N个增量子数据集上训练好的关系检测器作为最终的关系检测器。本发明充分利用前序子任务的模型,并对各个关系进行独立建模,能够更好地适应关系增量场景图生成任务。

    一种基于孪生知识蒸馏与自监督学习的小样本分类方法

    公开(公告)号:CN114298160B

    公开(公告)日:2025-03-21

    申请号:CN202111482687.3

    申请日:2021-12-07

    Applicant: 浙江大学

    Inventor: 于云龙 靳莉莎

    Abstract: 本发明公开了一种基于孪生知识蒸馏与自监督学习的小样本分类(小样本)方法,将孪生知识蒸馏与自监督学习相结合用于下游小样本分类任务。具体包括如下步骤:获取用于训练孪生知识蒸馏模型的图像数据集;利用图像数据集从头训练预先定义好的孪生知识蒸馏网络,优化目标是孪生知识蒸馏与自监督相结合的损失函数;获得了训练好的特征提取器F,并将它应用于小样本分类任务。本发明在3个小样本分类任务基(miniImageNet,tieredImageNet和CIFAR‑FS)上均有很好的表现,证明了本发明在性能上的有效性与优越性。

    基于混合伪标签生成的单点监督红外小目标检测方法

    公开(公告)号:CN119516160A

    公开(公告)日:2025-02-25

    申请号:CN202411389283.3

    申请日:2024-09-30

    Applicant: 浙江大学

    Inventor: 于云龙 何玮杰

    Abstract: 本发明公开了一种基于混合伪标签生成的单点监督红外小目标检测方法,包括:获取含有单点监督标签的红外小目标图像数据集,根据像素阈值相对差异利用单点监督标签获得小目标像素级别标注的初始伪标签;构建红外小目标检测模型,利用红外小目标图像数据集和初始伪标签监督模型进行初步训练,在模型收敛后将模型输出与初始伪标签进行融合获得混合伪标签;利用红外小目标图像数据集和混合伪标签监督模型重新进行训练,并利用训练好的模型输出红外小目标检测任务的预测结果。本发明的方法适用于缺乏像素级别标注而只有单点标注的红外小目标检测任务,能够帮助模型利用更少的标注成本检测出红外图像中的小目标,获得与全监督条件下训练的模型相媲美的检测效果。

    面向测试场景无掩码监督的小样本分割方法

    公开(公告)号:CN116824140A

    公开(公告)日:2023-09-29

    申请号:CN202310719486.3

    申请日:2023-06-16

    Applicant: 浙江大学

    Inventor: 于云龙 陈善娟

    Abstract: 本发明公开了一种面向测试场景无掩码监督的小样本分割方法,所述方法具体包括如下步骤:获取用于训练深度神经网络模型的图像数据集;利用图像数据集构建的图像对及其掩码作为监督信号,通过交叉熵损失训练预先设计好的无需掩码的迭代优化深度神经网络模型;利用训练好的深度神经网络模型无需掩码监督输出待分割图像的预测掩码。本发明的方法适用于训练时能够提供大规模有标记数据,但测试时除了存在与待分割图像属于同一类别的其他图像外,没有任何密集标记信息的小样本分割任务,解决目前小样本分割任务中在推理时仍需要对新类图像进行密集标记的需求,在仅利用图像对的情况下获得不错的分割性能,尤其是对于单目标分割。

    基于改进等电势法的阵列电阻耦合串扰抑制电路

    公开(公告)号:CN119232132A

    公开(公告)日:2024-12-31

    申请号:CN202411322782.0

    申请日:2024-09-23

    Applicant: 浙江大学

    Abstract: 本发明涉及模拟电路技术领域,且公开了基于改进等电势法的阵列电阻耦合串扰抑制电路,包括阵列电阻、行多路选择开关、列多路选择开关、驱动运算放大器、偏置运算放大器、读出运算放大器、反馈电阻RF、反馈电容CF、驱动电压V_DRIVE、偏置电压V_REF,所述行多路选择开关为每一行都为三个开关的开关组合,所述列多路选择开关为每一列都为三个开关的开关组合,本发明通过改进现有等电势电路中的电路连接方式以及信号读取方案显著地消除了由于行列选通开关的导通电阻、集成运放的输入失调电压和有限开环增益造成的耦合串扰,提升了系统的准确性。

Patent Agency Ranking