公开(公告)号：CN113487028A

公开(公告)日：2021-10-08

申请号：CN202110780582.X

申请日：2021-07-09

申请人： 平安科技(深圳)有限公司

发明人： 周旋 ,  张晓 ,  徐冰 ,  汪伟

IPC分类号： G06N3/08 ,  G06N3/04 ,  G06F16/35 ,  G06F40/279 ,  G06F40/30

摘要： 本申请适用于人工智能技术领域，提供了一种知识蒸馏方法、装置、终端设备及介质，该方法包括：指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别，得到预测序列和序列概率；根据教师模型和学生模型的预测序列和序列概率，对学生模型进行参数更新；若参数更新后的学生模型未收敛，则返回执行指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别的步骤，直至学生模型收敛。本申请由于基于预测序列和序列概率进行计算的复杂度较低，使得基于教师模型和学生模型的预测序列和序列概率，对学生模型进行参数更新的速度较快，提高了知识蒸馏效率。

公开(公告)号：CN113487028B

公开(公告)日：2024-05-24

申请号：CN202110780582.X

申请日：2021-07-09

申请人： 平安科技(深圳)有限公司

发明人： 周旋 ,  张晓 ,  徐冰 ,  汪伟

IPC分类号： G06N3/096 ,  G06N3/045 ,  G06N3/047 ,  G06F16/35 ,  G06F40/279 ,  G06F40/30

摘要： 本申请适用于人工智能技术领域，提供了一种知识蒸馏方法、装置、终端设备及介质，该方法包括：指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别，得到预测序列和序列概率；根据教师模型和学生模型的预测序列和序列概率，对学生模型进行参数更新；若参数更新后的学生模型未收敛，则返回执行指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别的步骤，直至学生模型收敛。本申请由于基于预测序列和序列概率进行计算的复杂度较低，使得基于教师模型和学生模型的预测序列和序列概率，对学生模型进行参数更新的速度较快，提高了知识蒸馏效率。

公开(公告)号：CN109522406A

公开(公告)日：2019-03-26

申请号：CN201811183652.8

申请日：2018-10-11

申请人： 平安科技(深圳)有限公司

发明人： 徐冰 ,  张晓 ,  汪伟 ,  肖京

IPC分类号： G06F16/35 ,  G06F17/22 ,  G06F17/27

摘要： 本申请涉及一种基于自然语言处理的文本语义匹配方法、装置、计算机设备和存储介质。所述方法包括：获取第一文本和第二文本；提取第一文本的第一词向量序列和第二文本的第二词向量序列，将所述第一词向量序列和第二词向量序列分别输入预先设置的双向长短期记忆网络，得到双向长短期记忆网络输出的第一词向量序列对应的第一语义表示和第二词向量序列对应的第二语义表示，将第一语义表示和第二语义表示进行组合后，输入预先设置的神经网络模型，得到神经网络模型输出的匹配标签，根据匹配标签，确定匹配标签与预设标签是否匹配，若匹配，则确定第一文本和第二文本的语义匹配。采用本方法能够提高文本语义匹配的效率以及准确性。