公开(公告)号：CN116910205A

公开(公告)日：2023-10-20

申请号：CN202310752628.6

申请日：2023-06-25

申请人： 中国移动通信集团有限公司研究院 ,  清华大学

发明人： 黄毅 ,  欧智坚 ,  冯俊兰 ,  蔡予诚 ,  刘红 ,  金镝

IPC分类号： G06F16/332 ,  G06F16/338 ,  G06N3/09 ,  G06N3/0895 ,  G06N5/04 ,  G06N3/0475

摘要： 本发明提供了模型训练方法、装置及系统，所述方法包括构建待训练的对话模型，待训练的对话模型包括生成模型、推断模型和检索模型；基于有标注的第一数据对待训练的对话模型中的推断模型和检索模型进行有监督的预训练，预训练后的推断模型用于根据第一数据中的用户输入数据和系统回复数据得到隐变量数据，预训练后的检索模型用于根据第一数据中的用户输入数据从数据库中检索得到查询结果；基于第一数据和无标注的第二数据形成的训练样本，对预训练后的对话模型进行半监督训练，得到训练好的对话模型，训练好的对话模型中生成模型用于生成对话动作数据和系统回复数据。提升了任务型对话任务中模型对于知识的结合能力，更加适用于知识型的任务。

公开(公告)号：CN116737885A

公开(公告)日：2023-09-12

申请号：CN202210199563.2

申请日：2022-03-02

申请人： 中国移动通信有限公司研究院 ,  清华大学 ,  中国移动通信集团有限公司

发明人： 黄毅 ,  欧智坚 ,  冯俊兰 ,  刘红 ,  金镝

IPC分类号： G06F16/332 ,  G06F40/35

摘要： 本申请公开了一种信息处理方法、装置、设备和可读存储介质，涉及计算机技术领域，以提高端到端任务型对话系统的输出的准确性。该方法包括：获取用户的输入信息；将所述输入信息作为端到端任务型对话系统的输入，得到输出信息；其中，所述端到端任务型对话系统所采用的处理模型通过基于生成式预训练模型的有监督的预训练、并在预训练获得的模型基础上进行半监督训练获得。本申请实施例可以提高端到端任务型对话系统的输出的准确性。

公开(公告)号：CN116975243A

公开(公告)日：2023-10-31

申请号：CN202210453846.5

申请日：2022-04-24

申请人： 中国移动通信有限公司研究院 ,  清华大学 ,  中国移动通信集团有限公司

发明人： 黄毅 ,  孙豪 ,  黄民烈 ,  冯俊兰 ,  金镝 ,  宋溢

IPC分类号： G06F16/335 ,  G06F16/31

摘要： 本发明提供一种社交媒体平台对话数据的处理方法、装置及设备，其中，社交媒体平台对话数据的处理方法包括：获取至少一个社交媒体平台的对话数据；对所述至少一个社交媒体平台的对话数据，分别使用所述对话数据专用的第一级过滤器进行过滤处理，得到至少一个社交媒体平台的对话数据的第一级过滤结果；将所述至少一个社交媒体平台的对话数据的第一级过滤结果，输入到通用的第二级过滤器进行过滤处理，得到第二级过滤结果；将所述第二级过滤结果，输入到对话相关性过滤器进行第三级过滤处理，得到最终的目标过滤结果。本发明的方案可以针对于不同的社交媒体平台的对话数据进行对话上下文相关性过滤处理，方便使用，具有极强的通用性和易用性。

公开(公告)号：CN116798411A

公开(公告)日：2023-09-22

申请号：CN202210255889.2

申请日：2022-03-15

申请人： 清华大学 ,  中国移动通信有限公司研究院 ,  中国移动通信集团有限公司

发明人： 欧智坚 ,  黄毅 ,  朱程睿 ,  冯俊兰 ,  金镝

IPC分类号： G10L15/06 ,  G10L15/02 ,  G10L19/038 ,  G10L25/30

摘要： 本发明公开了一种多语言训练方法、装置及存储介质，包括：通过神经网络获取音韵特征后，转化为以矢量编码的音素嵌入矢量，其中，将音韵特征编码为音韵矢量；获取声谱后，通过声学模型DNN提取声学特征；将音素嵌入矢量与声学特征进行内积后计算出音素的后验概率。采用本发明，避免了现有技术中训练音韵特征提取器的麻烦。使得跨语言zero‑shot的学习成为了可能，对于从未见过的音素，也能有较好的迁移效果。