- 专利标题: 一种基于多维标签的数据质量检测方法和系统
-
申请号: CN202010351007.3申请日: 2020-04-28
-
公开(公告)号: CN111563074B公开(公告)日: 2022-05-31
- 发明人: 林文楷 , 周成祖 , 乔赞瑞 , 王海滨 , 吴朝晖 , 齐战胜
- 申请人: 厦门市美亚柏科信息股份有限公司
- 申请人地址: 福建省厦门市思明区软件园二期观日路12号102-402单元
- 专利权人: 厦门市美亚柏科信息股份有限公司
- 当前专利权人: 厦门市美亚柏科信息股份有限公司
- 当前专利权人地址: 福建省厦门市思明区软件园二期观日路12号102-402单元
- 代理机构: 厦门福贝知识产权代理事务所
- 代理商 肖琨
- 主分类号: G06F16/215
- IPC分类号: G06F16/215 ; G06F16/28
摘要:
本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。
公开/授权文献
- CN111563074A 一种基于多维标签的数据质量检测方法和系统 公开/授权日:2020-08-21