公开(公告)号：CN114861602A

公开(公告)日：2022-08-05

申请号：CN202210501123.8

申请日：2022-05-10

申请人： 中国人民大学

发明人： 赵鑫 ,  侯宇蓬 ,  牟善磊 ,  文继荣

IPC分类号： G06F40/126 ,  G06N3/08 ,  G06Q30/06

摘要： 本发明公开了一种推荐系统中的通用商品序列表征学习方法，包括如下步骤：S1：通过编码商品的文本从而学习可迁移的商品表征；首先使用预训练语言模型来学习初始文本表征，通过参数白化网络和混合专家增强的适配器网络将文本的语义转换至一个适用于推荐任务的统一的语义空间；S2：通过序列‑商品对比任务和序列‑序列对比任务来进一步增强不同领域之间的融合与适配；S3：根据目标领域的商品标号是否适合使用，而考虑两种微调设定，即归纳和转导。本发明提出的商品序列表征学习方法，可以在多个领域的序列数据上同时学习通用表征，并高效地迁移到新领域、新市场、新平台等新的推荐场景中，而无需共享的用户或商品。

公开(公告)号：CN114819139A

公开(公告)日：2022-07-29

申请号：CN202210315789.4

申请日：2022-03-28

申请人： 支付宝(杭州)信息技术有限公司 ,  中国人民大学

发明人： 赵鑫 ,  侯宇蓬 ,  胡斌斌 ,  张志强 ,  周俊

IPC分类号： G06N3/08 ,  G06N3/04

摘要： 本说明书实施例提供一种图神经网络的预训练方法及装置，获取业务关系图的图集合，各业务关系图中的节点表示业务对象，连接边表示业务关联关系；图集合包括第一图和目标图，第一图和目标图基于同一样本业务关系图分别进行预设增强处理而得到；针对第一图，分别将图集合中各其他图作为第二图，利用图神经网络进行图间匹配表征，图间匹配表征包括，基于第一图自身，结合来自第二图的节点信息，确定该第一图的第一图表征，用于表示第一图相对于第二图的业务结构关联；基于第二图自身，结合来自第一图的节点信息，确定该第二图的第二图表征；至少基于将目标图作为第二图时得到的第一图表征和第二图表征，确定第一损失；根据第一损失，训练图神经网络。

公开(公告)号：CN114781488A

公开(公告)日：2022-07-22

申请号：CN202210295588.2

申请日：2022-03-24

申请人： 支付宝(杭州)信息技术有限公司 ,  中国人民大学

发明人： 赵鑫 ,  陈旭 ,  胡斌斌 ,  张志强 ,  周俊

IPC分类号： G06K9/62

摘要： 本说明书实施例公开了一种样本生成方法、装置以及设备。方案包括：根据物品特征，以及用户对物品特征的注意力特征，通过模型预测第一样本用户对第一物品的第一偏好分和对第二物品的第二偏好分，第一偏好分高于第二偏好分；根据设定的注意力扰动参数，对第一样本用户的注意力特征进行调整，并根据调整后的注意力特征，对第一偏好分和第二偏好数据进行更新；以减小更新后的第一偏好分与第二偏好分之间的差距为目标，学习注意力扰动参数的目标取值；在目标取值下，若更新后的第一偏好分低于第二偏好分，则根据调整后的注意力特征，生成第二样本用户，用于训练模型。

公开(公告)号：CN110688485A

公开(公告)日：2020-01-14

申请号：CN201910915299.6

申请日：2019-09-26

申请人： 中国人民大学 ,  杭州笔声智能科技有限公司

发明人： 赵鑫 ,  朱秋昱 ,  张明

IPC分类号： G06F16/35 ,  G06F40/30 ,  G06F40/289 ,  G06K9/62 ,  G06N3/04

摘要： 本发明提供了一种基于突发事件的词向量语言模型，所述语言模型使用传统的Word2Vec模型对上下文进行训练，所述训练包括在模型的输入层计算出输入 的隐藏层信息同时在输入层加入突发事件的向量表示 将 和通过加权求和得到最终的隐藏层表示 使二者共同影响最终隐藏层表示，生成的隐藏层表示不仅与所述上下文相关，而且和所述突发事件相关。本发明提出了一种新的与突发事件相关的词向量模型，用于包含突发事件的文本流数据建模。本发明能够学习带有突发事件特点的词向量模型来识别语义变化，并且加入了突发事件向量表示来提高语义相关性。

公开(公告)号：CN108876044A

公开(公告)日：2018-11-23

申请号：CN201810658784.5

申请日：2018-06-25

申请人： 中国人民大学

发明人： 赵鑫 ,  窦洪健 ,  文继荣

IPC分类号： G06Q10/04 ,  G06N3/08 ,  G06N3/04

摘要： 本发明涉及流行度预测方法的技术领域，尤其是涉及一种基于知识增强神经网络的线上内容流行度预测方法，其包括：将线上物品和已有KB进行连接，并将KB信息用于流行度预测；利用一个隐含向量来表示KB实体，并对KB信息进行编码；基于LSTM网络构建预测模型，该预测模型能够自适应地与目标物品的KB嵌入向量以及具有相似实体信息物品的流行动态序列相结合，并通过两个层面合并KB信息，进行扩展，解决了一般性线上物品特征信息难以统一获取的问题，避免了手动提取一般化的物品信息规则，减少了预测对于历史流行度数据的依赖性。对潜在用户的购买决策起到了导向作用，有利于商品提供者把握市场偏好，优化线上物品供给和推荐策略。

公开(公告)号：CN117251622A

公开(公告)日：2023-12-19

申请号：CN202310968728.2

申请日：2023-08-02

申请人： 腾讯科技(深圳)有限公司 ,  中国人民大学

发明人： 赵鑫 ,  谢若冰 ,  张君杰 ,  孙文奇 ,  周杰

IPC分类号： G06F16/9535 ,  G06Q30/0601

摘要： 本申请涉及一种对象推荐的方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取在历史时间段内被目标用户触发交互操作的交互对象，确定目标用户针对各交互对象分别反馈的评价信息；通过各评价信息，提取目标用户针对各交互对象的对象偏好特征，对象偏好特征用于表征目标用户对交互对象的偏好；基于目标用户针对各交互对象的对象偏好特征，生成目标用户的对象偏好分布特征，对象偏好分布特征用于表征目标用户所偏好对象的偏好对象特征；基于对象偏好分布特征从各候选对象中确定目标对象，并向目标用户推荐目标对象。采用本方法能够提升对象推荐的准确度。

公开(公告)号：CN116628493A

公开(公告)日：2023-08-22

申请号：CN202310501523.3

申请日：2023-05-06

申请人： 中国人民大学

发明人： 赵鑫 ,  文继荣 ,  刘沛羽 ,  高泽峰

IPC分类号： G06F18/214 ,  G06F40/205

摘要： 本发明公开了一种轻量化加深预训练语言模型层数的方法，其包括：S1：构建模型；S2：权重共享；S3：权重初始化；S4：模型训练；S5：进行模型输出。本申请提供的轻量化模型深度扩充方法，通过共享核心参数，只需要很少的额外参数量即可有效增加模型深度，并显著提升模型在下游任务上的表现精度。同时在训练阶段提供的两种初始化策略，可以有效避免模型的训练不稳定问题，在混合精度的训练设定下，可以帮助模型更快的收敛，极大降低了大模型的使用门槛。

公开(公告)号：CN115525744A

公开(公告)日：2022-12-27

申请号：CN202211110323.7

申请日：2022-09-13

申请人： 中国人民大学

发明人： 赵鑫 ,  王晓磊

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06F16/335 ,  G06F16/36 ,  G06F40/35 ,  G06N20/00

摘要： 本发明公开了一种基于提示学习方法的对话推荐系统，包括如下步骤：S1：通过基于实体预测的自监督学习融合对话文本和知识图谱的语义信息作为任务共享的提示，为预训练语言模型补充用于对话推荐系统所需要的知识信息；S2：通过对话任务特定的提示设计，驱动预训练语言模型生成带有物品槽位的模板语句作为回复的中间结果；S3：通过推荐任务特定的提示，驱动预训练语言模型生成用户感兴趣的物品。本发明借助知识图谱增强的提示学习技术，在固定大规模预训练语言模型的情况下，通过添加任务共享和任务特定的提示，使得一个模型可以高质量地完成对话和推荐两个任务，并生成结果相一致的回复语句和推荐物品。

公开(公告)号：CN114880444A

公开(公告)日：2022-08-09

申请号：CN202210366036.6

申请日：2022-04-08

申请人： 中国人民大学

发明人： 赵鑫 ,  王晓磊

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06F16/335 ,  G06F16/36 ,  G06F40/35 ,  G06N20/00

摘要： 本发明公开了一种基于提示学习的对话推荐系统，包括如下步骤：S1：通过自监督学习融合对话文本和知识图谱的语义信息作为任务共享的提示，为预训练模型补充用于对话推荐系统所需要的知识；S2：通过对话任务特定的提示设计，驱动预训练模型生成带有物品槽位的模板语句作为回复的中间结果；S3：通过推荐任务特定的提示，驱动预训练模型生成用户感兴趣的物品。本发明借助知识图谱增强的提示学习技术，在固定大规模预训练模型的情况下，通过添加任务共享和任务特定的提示，使得一个模型可以高质量地完成对话和推荐两个任务，并生成结果相一致的回复语句和推荐物品。

公开(公告)号：CN110688485B

公开(公告)日：2022-03-11

申请号：CN201910915299.6

申请日：2019-09-26

申请人： 中国人民大学 ,  杭州笔声智能科技有限公司

发明人： 赵鑫 ,  朱秋昱 ,  张明

IPC分类号： G06F16/35 ,  G06F40/30 ,  G06F40/289 ,  G06K9/62 ,  G06N3/04

摘要： 本发明提供了一种基于突发事件的词向量语言模型，所述语言模型使用传统的Word2Vec模型对上下文进行训练，所述训练包括在模型的输入层计算出输入的隐藏层信息同时在输入层加入突发事件的向量表示将和通过加权求和得到最终的隐藏层表示使二者共同影响最终隐藏层表示，生成的隐藏层表示不仅与所述上下文相关，而且和所述突发事件相关。本发明提出了一种新的与突发事件相关的词向量模型，用于包含突发事件的文本流数据建模。本发明能够学习带有突发事件特点的词向量模型来识别语义变化，并且加入了突发事件向量表示来提高语义相关性。