基于片段和自注意力机制的序列推荐方法及系统

    公开(公告)号:CN113343097B

    公开(公告)日:2023-01-13

    申请号:CN202110705180.3

    申请日:2021-06-24

    申请人: 中山大学(CN)

    IPC分类号: G06F16/9535 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于片段和自注意力机制的序列推荐方法及系统,所述方法包括:将输入的物品序列重组为片段序列;利用神经网络模型对所述片段序列进行特征提取;将部分提取结果输入至softmax函数,利用所述softmax函数预测每个物品为下一推荐物品的概率;根据所述概率建立神经网络模型的损失函数,当所述损失函数未满足预设条件时,将剩余提取结果输入至神经网络模型进行模型训练,直至所述损失函数满足预设条件时,将对应的神经网络模型作为目标模型,用于物品的序列推荐。本发明通过对BERT4Rec作出改进,使其性能优于现有技术下的BERT4Rec或其它推荐模型,最终提高了真实环境下物品序列推荐结果的准确度。

    一种卷积模型轻量化方法及系统

    公开(公告)号:CN112686382A

    公开(公告)日:2021-04-20

    申请号:CN202011615978.0

    申请日:2020-12-30

    申请人: 中山大学

    IPC分类号: G06N3/08

    摘要: 本发明提供一种卷积模型轻量化方法及系统,其中方法包括:获取候选评估所述候选剪枝策略;其中,候选剪枝策略为卷积原模型中若干层级对应的剪枝率的集合;评估所述候选剪枝策略,获得所述候选剪枝策略的评估结果;根据所述评估结果生成目标剪枝策略;评估目标剪枝策略在目标硬件上的性能,输出最优剪枝策略;根据最优剪枝策略对所述卷积原模型进行剪枝操作,获得轻量化卷积模型。本发明大大减少了现有卷积模型的参数量与计算量,为卷积模型提供了一种针对真实的硬件时延反馈的轻量化框架。

    基于用户访问数据的用户画像形成方法

    公开(公告)号:CN106599022A

    公开(公告)日:2017-04-26

    申请号:CN201610935388.3

    申请日:2016-11-01

    申请人: 中山大学

    IPC分类号: G06F17/30 G06F17/27

    摘要: 本发明为基于用户访问数据的用户画像形成方法,利用爬虫工具、提取算法、中文分词方法对网页中的内容进行获取和自动处理,其智能化、自动化程度较高,很好地解决了现有技术的缺陷。且本发明提供的方法利用机器学习方法,学习出用户的特征,以表现出用户的生活、购物等行为偏好。

    一种用于物体精细识别的层次语义嵌入模型及其实现方法

    公开(公告)号:CN109102024B

    公开(公告)日:2021-08-31

    申请号:CN201810924288.X

    申请日:2018-08-14

    申请人: 中山大学

    IPC分类号: G06K9/62 G06N3/04

    摘要: 本发明公开了一种用于物体精细识别的层次语义嵌入模型及其实现方法,所述层次语义嵌入模型包括:主干网络,用于对输入图像的浅层特征进行提取,以特征图的形式输出至各分支网络;若干分支网络,用于对主干网络输出的图像浅层特征图进行进一步的深层特征提取,使其输出的特征图适用于分支网络所对应层级的识别任务,并通过引入语义知识嵌入机制,实现上层语义知识对下层分支网络特征学习的指导,本发明解决依赖额外信息引导学习的物体精细化识别技术方案中的额外信息标注成本高的问题。

    一种卷积模型轻量化方法及系统

    公开(公告)号:CN112686382B

    公开(公告)日:2022-05-17

    申请号:CN202011615978.0

    申请日:2020-12-30

    申请人: 中山大学

    IPC分类号: G06N3/08

    摘要: 本发明提供一种卷积模型轻量化方法及系统,其中方法包括:获取候选评估所述候选剪枝策略;其中,候选剪枝策略为卷积原模型中若干层级对应的剪枝率的集合;评估所述候选剪枝策略,获得所述候选剪枝策略的评估结果;根据所述评估结果生成目标剪枝策略;评估目标剪枝策略在目标硬件上的性能,输出最优剪枝策略;根据最优剪枝策略对所述卷积原模型进行剪枝操作,获得轻量化卷积模型。本发明大大减少了现有卷积模型的参数量与计算量,为卷积模型提供了一种针对真实的硬件时延反馈的轻量化框架。

    基于片段和自注意力机制的序列推荐方法及系统

    公开(公告)号:CN113343097A

    公开(公告)日:2021-09-03

    申请号:CN202110705180.3

    申请日:2021-06-24

    申请人: 中山大学

    IPC分类号: G06F16/9535 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于片段和自注意力机制的序列推荐方法及系统,所述方法包括:将输入的物品序列重组为片段序列;利用神经网络模型对所述片段序列进行特征提取;将部分提取结果输入至softmax函数,利用所述softmax函数预测每个物品为下一推荐物品的概率;根据所述概率建立神经网络模型的损失函数,当所述损失函数未满足预设条件时,将剩余提取结果输入至神经网络模型进行模型训练,直至所述损失函数满足预设条件时,将对应的神经网络模型作为目标模型,用于物品的序列推荐。本发明通过对BERT4Rec作出改进,使其性能优于现有技术下的BERT4Rec或其它推荐模型,最终提高了真实环境下物品序列推荐结果的准确度。

    一种基于元学习的对抗采样训练方法及装置

    公开(公告)号:CN112786030A

    公开(公告)日:2021-05-11

    申请号:CN202011642701.7

    申请日:2020-12-30

    申请人: 中山大学

    IPC分类号: G10L15/16 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于元学习的对抗采样训练方法及装置,所述方法:根据策略网络从K个语种构成的大任务集T中输出K维概率向量其中,为第i个语种任务集对应的采样概率,根据所述采样概率选取前M个概率最大的语种,根据所述M个概率最大语种中每个语种采样一个任务构成训练任务集,将所述训练任务集划分为支持集和查询集;所述支持集对语音识别模型初始化参数θ进行梯度下降得到更新参数所述查询集根据查询所述更新参数的效果获得查询损失向量所述查询损失向量用于对所述初始化参数θ寻优,获得最优的模型参数。以多语种元学习语音识别框架为基础,引入策略网络形成对抗训练,解决解决低资源语种识别不均衡的问题,提升训练的效果。

    一种基于图表征增强的开放域对话系统评估方法

    公开(公告)号:CN112417112A

    公开(公告)日:2021-02-26

    申请号:CN202011249658.8

    申请日:2020-11-10

    申请人: 中山大学

    摘要: 本发明公开了一种基于图表征增强的开放域对话系统评估方法,包括步骤如下:获取对话的上下文c={c1,…,cm}和对话的回复r={r1,…,rn};采用BERT编码上下文c和回复r,取BERT池化层的输出特征作为句子级别的上下文表征vc;基于上下文c和回复r对当前对话构建主题级别的对话图G;根据从常识图ConceptNet获取的线索确认对话图G中的节点和边,并通过聚合、融合这两个步骤进行图推理,生成一个主题级别的对话图表征vg;将上下文表征vc和对话图表征vg进行拼接,输入到多层感知器,将一个高维表征转化为一个分数值。本发明将对话图表征与上下文表征结合,能更好的理解上下文和回复之间的话题的一致性,能捕捉更准确的语义切换信息,因此在进行对话连贯性评估时,可以更像人一点。

    一种基于可微图学习的行人重识别模型的弱监督训练方法

    公开(公告)号:CN112395997A

    公开(公告)日:2021-02-23

    申请号:CN202011303629.5

    申请日:2020-11-19

    申请人: 中山大学

    摘要: 本发明提供一种基于可微图学习的行人重识别模型的弱监督训练方法,该方法首先将行人图片按拍摄时间段分组成袋并分配袋类别标签;然后,捕获每一个袋中所有图片之间的依赖关系,来为该类别的袋中每张图片生成可靠的伪行人类别标签,作为行人重识别模型训练的监督信息;然后,进行行人重识别模型和图模型的一体训练;将图模型损失和重识别损失的线性组合作为总损失函数,利用反向传播算法更新网络所有层的参数。本发明不需要繁重的人工标注成本、几乎不增加计算复杂度也能达到领先的模型性能。

    一种基于可微图学习的行人重识别模型的弱监督训练方法

    公开(公告)号:CN112395997B

    公开(公告)日:2023-11-24

    申请号:CN202011303629.5

    申请日:2020-11-19

    申请人: 中山大学

    摘要: 本发明提供一种基于可微图学习的行人重识别模型的弱监督训练方法,该方法首先将行人图片按拍摄时间段分组成袋并分配袋类别标签;然后,捕获每一个袋中所有图片之间的依赖关系,来为该类别的袋中每张图片生成可靠的伪行人类别标签,作为行人重识别模型训练的监督信息;然后,进行行人重识别模型和图模型的一体训练;将图模型损失和重识别损失的线性组合作为总损失函数,利用反向传播算法更新网络所有层的参数。本发明不需要繁重的人工标注成本、几乎不增加计算复杂度也能达到领先的模型性能。