公开(公告)号：CN111260021A

公开(公告)日：2020-06-09

申请号：CN201910654453.9

申请日：2019-07-19

申请人： 百度(美国)有限责任公司

发明人： 乔尔·赫斯特尼斯 ,  格雷戈里·迪莫斯 ,  俊熙雄 ,  沙兰·纳朗 ,  纽莎·阿达拉尼 ,  MD·莫斯塔法·阿里·帕特里 ,  周彥祺

IPC分类号： G06N3/04 ,  G06N3/08 ,  G06K9/62

摘要： 随着深度学习应用领域增长，更深入地理解训练集大小、计算规模和模型准确度改善之间的关系是非常有益的。本文呈现了随着训练集增长的误差和模型大小增长的大规模经验研究。本文介绍了用于这种测量的方法的实施方式以及用于预测诸如计算相关度量等其它度量的实施方式。本文示出了幂律可以用于表示深层模型关系，诸如误差和训练数据大小。还示出了模型大小随数据大小亚线性地缩放。这些缩放关系对深度学习研究、实践和系统具有重要影响。它们可以帮助模型调试、设置准确度目标和决定数据集增长。它们还可以引导计算系统设计并且强调持续计算缩放的重要性。

公开(公告)号：CN111260021B

公开(公告)日：2024-04-05

申请号：CN201910654453.9

申请日：2019-07-19

申请人： 百度(美国)有限责任公司

发明人： 乔尔·赫斯特尼斯 ,  格雷戈里·迪莫斯 ,  俊熙雄 ,  沙兰·纳朗 ,  纽莎·阿达拉尼 ,  MD·莫斯塔法·阿里·帕特里 ,  周彥祺

IPC分类号： G06N3/0495 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0985 ,  G06V10/764 ,  G06V10/82 ,  G06F40/58 ,  G10L25/30

摘要： 随着深度学习应用领域增长，更深入地理解训练集大小、计算规模和模型准确度改善之间的关系是非常有益的。本文呈现了随着训练集增长的误差和模型大小增长的大规模经验研究。本文介绍了用于这种测量的方法的实施方式以及用于预测诸如计算相关度量等其它度量的实施方式。本文示出了幂律可以用于表示深层模型关系，诸如误差和训练数据大小。还示出了模型大小随数据大小亚线性地缩放。这些缩放关系对深度学习研究、实践和系统具有重要影响。它们可以帮助模型调试、设置准确度目标和决定数据集增长。它们还可以引导计算系统设计并且强调持续计算缩放的重要性。