发明公开
- 专利标题: 一种无线感知数据集的数据清洗方法及装置
-
申请号: CN202310571520.7申请日: 2023-05-19
-
公开(公告)号: CN116578842A公开(公告)日: 2023-08-11
- 发明人: 王洁 , 张晨歌 , 高庆华 , 陈博
- 申请人: 大连海事大学
- 申请人地址: 辽宁省大连市高新园区凌海路1号
- 专利权人: 大连海事大学
- 当前专利权人: 大连海事大学
- 当前专利权人地址: 辽宁省大连市高新园区凌海路1号
- 代理机构: 大连东方专利代理有限责任公司
- 代理商 陈丽; 李洪福
- 主分类号: G06F18/10
- IPC分类号: G06F18/10 ; G06F18/24 ; G06N3/0464 ; G06N3/08 ; G06F3/01 ; G01S13/88 ; G01S7/35
摘要:
本发明公开了一种无线感知数据集的数据清洗方法及装置,将待清洗的无线感知数据集中的数据进行等量分组;基于分组后的数据构建网络模型训练集和待清洗样本集;使用训练集训练多个结构相同的分类网络,模型收敛后逐一对与训练集相匹配的待清洗样本集进行检测,根据样本标签判断并标定模型识别错误样本,并记录所有判决错误样本的标定频次及样本索引,实现错误样本标定;依次取其他未清洗样本组作为待清洗数据,重复错误样本标定的步骤,直到所有分组样本完成清洗;将待清洗数据中标定次数超过清洗阈值的样本判定为异常样本,并将异常样本删除。本发明使用数据集中大部分数据的一致性训练出的网络模型可以将不一致的数据剔除,达到数据清洗的效果。