公开(公告)号：CN102542003B

公开(公告)日：2016-01-20

申请号：CN201110409156.1

申请日：2011-11-30

Applicant: 微软技术许可有限责任公司

Inventor： 王刚 ,  陈伟柱 ,  陈正

IPC: G06F17/30

CPC classification number: G06F17/30864

Abstract: 本发明公开了用于顾及当用户在搜索引擎中提出查询时的用户意图的点击模型。一种生成用于搜索引擎的训练数据的方法通过检索涉及用户点击行为的日志数据来开始。基于包括参数的点击模型来分析日志数据以确定多个页面中每一个页面与查询的相关性，该参数涉及表示用户在执行搜索时的意图的用户意图偏差。然后将这些页面的相关性转换成训练数据。

公开(公告)号：CN116635874A

公开(公告)日：2023-08-22

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN115485696A

公开(公告)日：2022-12-16

申请号：CN202180028886.9

申请日：2021-02-19

Applicant: 微软技术许可有限责任公司

Inventor： 刘晓东 ,  程浩 ,  王宇 ,  高剑峰 ,  陈伟柱 ,  贺鹏程 ,  潘海峰

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文档涉及机器学习模型的训练。一种示例方法涉及提供具有一个或多个映射层的机器学习模型。一个或多个映射层可以至少包括第一映射层，第一映射层被配置为将预训练示例的分量映射到空间中的第一表示。该示例方法还包括使用预训练示例在一个或多个映射层上执行预训练阶段。预训练阶段可以包括将噪声添加到预训练示例的分量的第一表示以获得经噪声调整的第一表示。预训练阶段还可以包括执行自监督学习过程以至少使用训练数据项的第一表示和训练数据项的经噪声调整的第一表示来预训练一个或多个映射层。

公开(公告)号：CN117642753A

公开(公告)日：2024-03-01

申请号：CN202280036502.2

申请日：2022-04-28

Applicant: 微软技术许可有限责任公司

Inventor： 陈伟柱 ,  胡景峰 ,  谌叶龙 ,  王社安 ,  刘雅宾

IPC: G06N3/084 ,  G06N3/04

Abstract: 一种计算机实现的方法，针对多个神经网络层中的每个神经网络层，获得基于神经网络模型的基础模型权重矩阵。首先向对应的基础模型权重矩阵添加低秩分解矩阵，以形成第一域模型。该低秩分解矩阵被视为可训练参数。利用第一域特定训练数据训练该第一域模型而不修改基础模型权重矩阵。

公开(公告)号：CN117441165A

公开(公告)日：2024-01-23

申请号：CN202280040623.4

申请日：2022-05-10

Applicant: 微软技术许可有限责任公司

Inventor： A·阿赛 ,  Y·库珀 ,  R·罗南 ,  王松 ,  O·戈登博格 ,  S·R·比密斯 ,  E·奥塔斯 ,  毛祎 ,  陈伟柱

IPC: G06F16/34

Abstract: 本文的公开描述了减少由生成语言模型生成的输出中的训练偏差。与通信相关联的通信段由生成语言模型的至少一个处理器获得。与通信段相关联的输出值由生成语言模型生成。输出值被映射到与生成语言模型相关联的训练偏差值集合，并且基于输出值到该训练偏差值集合中的训练偏差值的映射，备选输出值被生成。备选输出值被使用在用于通信段的生成的段输出中。通过减少或消除生成语言模型的训练偏差，由生成语言模型生成的段输出的准确性被提高。

公开(公告)号：CN114641779A

公开(公告)日：2022-06-17

申请号：CN202080077349.9

申请日：2020-10-19

Applicant: 微软技术许可有限责任公司

Inventor： 刘晓东 ,  高剑峰 ,  贺鹏程 ,  陈伟柱

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文档涉及诸如神经网络之类的机器学习模型的训练。一种示例方法包括提供具有一个或多个层以及相关联的参数的机器学习模型，以及对机器学习模型的参数执行预训练阶段以获得经预训练的参数。该示例方法还包括通过使用经标注的训练样本对机器学习模型执行调节阶段，以调节经预训练的参数。调节阶段可以包括执行对经标注的训练示例的噪声调整，以获得经噪声调整的训练样本。调节阶段还可以包括至少基于经标注的训练示例和经噪声调整的训练示例来调整经预训练的参数，以获得经适配的参数。该示例方法还可以包括输出具有经适配的参数的经调节的机器学习模型。

公开(公告)号：CN116635874B

公开(公告)日：2025-04-04

申请号：CN202080107781.8

申请日：2020-12-25

Applicant: 微软技术许可有限责任公司

Inventor： 焦健 ,  宫叶云 ,  段楠 ,  陈伟柱 ,  唐可文 ,  娄强 ,  张若非 ,  晏宇 ,  陈久生

IPC: G06F40/30 ,  G06N20/00

Abstract: 提供了用于基于训练数据训练数据模型的系统和方法。该训练包括基于自回归(AR)模型和非自回归(NAR)模型的组合预训练和微调数据模型。训练数据可以被并被编码为词元流。解码期间的预训练器生成AR和NAR组合的模型的连续数据结构的连续统一体，AR和NAR组合的模型包括主流和一系列预测流。预测流中的掩码词元参考或注意主流或先前预测流中的一个或多个先前词元。微调器根据目标数据模型选择流来生成经训练的模型。目标数据模型基于平衡用于预测词元的准确性约束和效率约束被确定。解码器在生成经训练的数据模型中充当AR和NAR模型之间的桥梁。

公开(公告)号：CN102298569B

公开(公告)日：2016-03-16

申请号：CN201110184798.6

申请日：2011-06-23

Applicant: 微软技术许可有限责任公司

Inventor： T·B·埃伦 ,  O·伊萨科夫 ,  陈伟柱 ,  J·S·杜恩 ,  T·I·博彻特 ,  J·Q·坎德拉 ,  T·K·H·格雷佩尔 ,  R·赫布里希

IPC: G06F15/18

CPC classification number: G06N99/005

Abstract: 本发明揭示了在线学习算法的并行化。提供了用于在线学习算法的并行化中使用的动态批策略的方法、系统，和媒介。该动态批策略提供了以原始模型状态和经更新的模型状态之间的阈值级别差异为基础的、而非根据恒定或预定批大小的合并功能。该合并过程包括读取一批传入流数据，从合作处理器检索任何缺少的模型信任，并且在该批传入流数据上进行训练。重复各读取、检索和训练步骤，直到所测得的状态差异超过设定的阈值级别。根据各属性，为多个处理器中的每一个合并所测得的超过阈值级别的差异。合并的超过阈值级别的差异与原始部分模型状态组合以获得经更新的全局模型状态。