公开(公告)号：CN117852654B

公开(公告)日：2024-09-03

申请号：CN202410166430.4

申请日：2024-02-05

申请人： 清华大学

发明人： 李海涛 ,  刘奕群 ,  艾清遥 ,  陈佳 ,  董骞 ,  吴之璟

IPC分类号： G06N5/04 ,  G06N5/022 ,  G06F18/22 ,  G06N20/00 ,  G06N5/01

摘要： 本申请涉及一种模型训练方法和解决特定领域问题的方法，其中，模型训练方法包括：获取第一样本数据；第一样本数据包括N个第一问题文本和N个第一答案文本；根据第一样本数据和第一大语言模型，得到N个第一知识文本；根据第一样本数据中的至少部分数据和N个第一知识文本中的至少部分数据，对第一中间语言模型继续进行训练，得到第一语言模型；本申请提供的模型训练方法通过预训练一个应用于特定领域的小型语言模型，并利用大语言模型生成伪数据对该小型语言模型进行调整，可以得到能够生成针对特定领域问题的相关知识的第一语言模型，第一语言模型可以帮助大语言模型解决特定领域问题，提高大语言模型解决特定领域问题的能力。

公开(公告)号：CN111538830B

公开(公告)日：2023-09-05

申请号：CN202010350649.1

申请日：2020-04-28

申请人： 清华大学

发明人： 邵韵秋 ,  毛佳昕 ,  张敏 ,  马为之 ,  刘奕群 ,  马少平

IPC分类号： G06F16/34 ,  G06F16/335 ,  G06F16/338

摘要： 本公开涉及计算机技术领域，尤其涉及一种法条检索方法、装置、计算机设备及存储介质。所述方法包括：根据待查询案例的案情描述文本，生成待查询的文本摘要；获取候选法条集合；根据待查询的文本摘要和候选法条集合，调用预设检索模型输出得到多个候选法条各自对应的评分；根据多个候选法条各自对应的评分，显示至少两个候选法条。本公开实施例通过基于待查询案例的案情描述文本，计算机设备可以自动生成对应的文本摘要以进行检索，提高了检索的便利性。并且，通过调用预设检索模型得到多个候选法条各自对应的评分，由于评分用于指示候选法条与文本摘要之间的相关性，进而能够快速的确定出与文本摘要相关的法条，提高了检索的准确性。

公开(公告)号：CN111538827B

公开(公告)日：2023-09-05

申请号：CN202010350837.4

申请日：2020-04-28

申请人： 清华大学

发明人： 杨俊 ,  张敏 ,  马为之 ,  刘奕群 ,  马少平

IPC分类号： G06F16/335 ,  G06N3/0442 ,  G06N3/08

摘要： 本公开涉及一种基于内容和图神经网络的判例推荐方法、装置及存储介质，所述方法包括：根据目标用户的日志数据，从判例库中确定出多个候选判例；根据所述目标用户的兴趣特征信息及所述多个候选判例的第一特征信息，分别预测所述目标用户对各个候选判例的评分，其中，所述兴趣特征信息包括目标用户的长期兴趣特征和短期兴趣特征，所述长期兴趣特征及所述第一特征信息是通过图神经网络确定的；根据所述评分及预设的推荐数量，确定向所述目标用户推荐的目标判例。根据本公开实施例的判例推荐方法能够有效提高判例推荐的准确性。

公开(公告)号：CN116561574A

公开(公告)日：2023-08-08

申请号：CN202310431071.6

申请日：2023-04-20

申请人： 清华大学

发明人： 李海涛 ,  刘奕群 ,  艾清遥 ,  陈佳 ,  董骞 ,  吴玥悦

IPC分类号： G06F18/214 ,  G06F40/205 ,  G06F40/30 ,  G06F40/126 ,  G06F40/166

摘要： 本申请涉及一种预训练语言模型的训练方法及装置，其中，预训练语言模型包括编码器及至少一个解码器，该方法包括：获取法律文书样本；法律文书样本包括表示基本事实的第一文本；对第一文本中的至少一个字符进行替换处理，得到第一替换文本；根据标志符和第一替换文本对编码器进行训练，并根据基本事实向量和第二文本对至少一个解码器进行训练；其中，基本事实向量为编码器输出的表征第一文本语义的向量，第二文本为法律文书样本中除所述第一文本以外的文本；本申请提供的预训练语言模型的训练方法可以捕获法律文书不同结构之间的联系，增强预训练语言模型对关键法律要素的理解，提升预训练语言模型在法律领域的检索效果。

公开(公告)号：CN114023447A

公开(公告)日：2022-02-08

申请号：CN202111480742.5

申请日：2021-12-06

申请人： 清华大学 ,  中国医学科学院北京协和医院

发明人： 张敏 ,  李佳玉 ,  刘奕群 ,  马少平 ,  苏航 ,  张抒扬 ,  金晔 ,  张磊

IPC分类号： G16H50/20 ,  G16H50/70 ,  G16H10/60 ,  G06Q10/04

摘要： 本公开涉及一种罕见病患者数量预测模型训练方法及装置，所述方法包括：对罕见病名称的文本进行预处理，获得罕见病查询关键词数据库；根据罕见病查询关键词数据库，以及查询历史数据库，确定在多个地区的多个时间段内，对于多种罕见病的查询人数；根据查询人数以及确诊人数，对罕见病患者数量预测模型进行训练。根据本公开的实施例的罕见病患者数量预测模型训练方法，可对罕见病名称的文本进行预处理，减少查询数据的遗漏，提升数据的准确度。且可基于搜索引擎的查询历史数据库预测查询罕见病信息的人数，进而基于人数和实际的确诊人数来训练罕见病患者数量预测模型，提升模型对罕见病患者数量的预测精度。

公开(公告)号：CN111414539A

公开(公告)日：2020-07-14

申请号：CN202010197501.9

申请日：2020-03-19

申请人： 清华大学 ,  智者四海(北京)技术有限公司

发明人： 施韶韵 ,  张敏 ,  郝斌 ,  李大任 ,  张瑞 ,  于新星 ,  单厚智 ,  刘奕群 ,  马少平

IPC分类号： G06F16/9535 ,  G06F16/435 ,  G06F16/335 ,  G06Q30/06 ,  G06N3/04 ,  G06N3/08

摘要： 本公开涉及一种基于特征增强的推荐系统神经网络训练方法及装置，所述方法包括：将第一训练集中的多个第一样本，输入第t轮待训练的神经网络中进行处理，得到与多个第一样本对应的预测分值；根据多个第一样本的特征信息及与多个第一样本对应的预测分值，分别确定神经网络对各个属性的关注度；根据关注度阈值及神经网络对各个属性的关注度，分别确定各个属性的增强概率；根据第一增强率及增强概率，从多个第一样本的特征信息中，确定出待更新的特征信息；根据待更新的特征信息及噪声特征值，更新第一训练集中的第一样本，得到更新后的第二训练集；根据第二训练集，对神经网络进行第t轮训练。本公开的实施例可提高神经网络的鲁棒性。

公开(公告)号：CN106897254B

公开(公告)日：2020-01-21

申请号：CN201510958761.2

申请日：2015-12-18

申请人： 清华大学

发明人： 孙茂松 ,  涂存超 ,  刘知远 ,  栾焕博 ,  刘奕群 ,  马少平

IPC分类号： G06F40/12 ,  G06F40/16

摘要： 本发明提供了一种网络表示学习方法，本发明综合考虑文本信息以及网络结构进行学习，并针对文本信息部分，设计了不同类型的基于连续词袋以及基于卷积神经网络的文本编码模型，本发明不仅利用了网络中节点的网络结构信息，对当前节点的邻居节点进行预测，也利用了节点的文本信息，对当前节点文本信息的表示向量进行了预测，本发明的方法，能够有效的将节点的文本信息以及网络结构信息编码到表示向量中，同时在节点分类的任务上显著的提高了分类准确率。同时本方法充分考虑了实际网络中的有效信息，例如文本信息，在不同类型的信息网络数据上都取得了优异的效果，具有良好的实用性。

公开(公告)号：CN109145213A

公开(公告)日：2019-01-04

申请号：CN201810962635.8

申请日：2018-08-22

申请人： 清华大学

发明人： 李祥圣 ,  刘奕群 ,  罗成 ,  毛佳昕 ,  许静芳 ,  汪萌 ,  张敏 ,  马少平

IPC分类号： G06F16/9535 ,  G06F16/33

摘要： 本公开涉及一种基于历史信息的查询推荐方法及装置，包括：响应于当前查询会话中当前查询的查询操作，获取所述当前查询会话的多个历史查询的历史查询词以及与所述多个历史查询对应的目标文档的标题信息，所述目标文档为历史查询中被浏览过的文档；根据所述目标文档的标题信息及所述历史查询词，生成与当前查询会话对应的上下文向量；获取所述当前查询的查询词相匹配的多个候选查询词；根据所述上下文向量，确定所述多个候选查询词的推荐分值；根据所述推荐分值，从所述多个候选查询词中确定所述当前查询的推荐查询词。根据本公开提供的一种基于历史信息的查询推荐方法及装置，能够提高推荐查询词的精准度。

公开(公告)号：CN109086417A

公开(公告)日：2018-12-25

申请号：CN201810885991.4

申请日：2018-08-06

申请人： 清华大学

发明人： 罗成 ,  刘奕群 ,  张帆 ,  毛佳昕 ,  许静芳 ,  汪萌 ,  张敏 ,  马少平

IPC分类号： G06F17/30

摘要： 本公开涉及一种搜索评价方法及装置，所述方法包括：根据搜索结果的相关性评分和点击必要性评分，确定搜索结果被点击的概率；根据搜索结果的摘要的深度、目标页面的深度以及被点击的概率，确定搜索结果的期望浏览深度；根据搜索结果的期望浏览深度，确定搜索结果的期望浏览起始深度；根据搜索结果的期望浏览起始深度、摘要的深度、目标页面的深度、相关性评分以及浏览深度分布函数，确定搜索结果的收益；根据搜索结果的收益，确定搜索页面的评分。根据本公开的实施例的搜索评价方法及装置，在确定搜索页面的评分时，将搜索结果的摘要的深度和目标页面的深度考虑到指标的设计中，可较好地反映用户的使用体验。

公开(公告)号：CN106897254A

公开(公告)日：2017-06-27

申请号：CN201510958761.2

申请日：2015-12-18

申请人： 清华大学

发明人： 孙茂松 ,  涂存超 ,  刘知远 ,  栾焕博 ,  刘奕群 ,  马少平

IPC分类号： G06F17/22

摘要： 本发明提供了一种网络表示学习方法，本发明综合考虑文本信息以及网络结构进行学习，并针对文本信息部分，设计了不同类型的基于连续词袋以及基于卷积神经网络的文本编码模型，本发明不仅利用了网络中节点的网络结构信息，对当前节点的邻居节点进行预测，也利用了节点的文本信息，对当前节点文本信息的表示向量进行了预测，本发明的方法，能够有效的将节点的文本信息以及网络结构信息编码到表示向量中，同时在节点分类的任务上显著的提高了分类准确率。同时本方法充分考虑了实际网络中的有效信息，例如文本信息，在不同类型的信息网络数据上都取得了优异的效果，具有良好的实用性。