公开(公告)号：CN110717602A

公开(公告)日：2020-01-21

申请号：CN201910952057.4

申请日：2019-09-29

申请人： 南京大学

发明人： 房春荣 ,  龚爱 ,  王栋 ,  陈振宇 ,  李玉莹

IPC分类号： G06N20/10

摘要： 本发明提供的是一种基于噪音数据的机器学习模型鲁棒性评估方法，包括原始数据集处理、噪音数据获取、模型训练、模型预测、准确率下降比计算和模型鲁棒性评估。原始数据集处理包括收集百分百标签正确的原始数据集，并采用10次10-折交叉验证划分原始训练集和原始测试集。噪音数据获取包括在原始训练集的基础上，采用分层抽样方法抽取t′＝|D|·α个数据，并将其标签替换为错误标签，其中α为噪音数据率。模型训练包括基于常见分类算法，并分别输入原始训练集和混有噪音数据的训练集分别构建原始模型和新模型。模型预测包括基于原始测试集，对这原始模型和新模型分别进行准确度评估。准确率下降比计算包括计算新模型较原始模型而言准确率下降的比率。模型鲁棒性评估包括横纵向比较准确率下降的比率的大小，衡量模型鲁棒性强弱，实现了判断模型健壮性的标准。

公开(公告)号：CN110717602B

公开(公告)日：2023-08-29

申请号：CN201910952057.4

申请日：2019-09-29

申请人： 南京大学

发明人： 房春荣 ,  龚爱 ,  王栋 ,  陈振宇 ,  李玉莹

IPC分类号： G06N20/10

摘要： 本发明提供的是一种基于噪音数据的机器学习模型鲁棒性评估方法，包括原始数据集处理、噪音数据获取、模型训练、模型预测、准确率下降比计算和模型鲁棒性评估。原始数据集处理包括收集百分百标签正确的原始数据集，并采用10次10‑折交叉验证划分原始训练集和原始测试集。噪音数据获取包括在原始训练集的基础上，采用分层抽样方法抽取t′＝|D|·α个数据，并将其标签替换为错误标签，其中α为噪音数据率。模型训练包括基于常见分类算法，并分别输入原始训练集和混有噪音数据的训练集分别构建原始模型和新模型。模型预测包括基于原始测试集，对这原始模型和新模型分别进行准确度评估。准确率下降比计算包括计算新模型较原始模型而言准确率下降的比率。模型鲁棒性评估包括横纵向比较准确率下降的比率的大小，衡量模型鲁棒性强弱，实现了判断模型健壮性的标准。