一种数据治理系统
    4.
    发明公开

    公开(公告)号:CN109299083A

    公开(公告)日:2019-02-01

    申请号:CN201811201110.9

    申请日:2018-10-16

    摘要: 本发明提供了一种数据治理系统,包括:权限管理模块,用于对用户的身份信息进行验证,并根据验证结果授予用户操作权限;数据源管理模块,用于从数据源数据库中获取待治理数据,并将待治理数据发送至数据治理模块;任务构建模块,用于获取用户输入的数据治理要求,根据数据治理要求及用户操作权限为待治理数据构建数据治理任务;数据治理模块,用于接收待治理数据,并根据数据治理任务对待治理数据进行数据治理,生成治理结果。实现了对海量数据的多样化数据治理的功能,用户仅需要简单操作就可以自动进行数据治理任务,具有适用范围广,数据治理方式更为灵活,数据治理时间短的特点,从而降低了工作人员的工作量,降低成本,提高数据治理效率。

    一种基于联邦学习的模型训练系统及方法

    公开(公告)号:CN115758127A

    公开(公告)日:2023-03-07

    申请号:CN202111020735.7

    申请日:2021-09-01

    摘要: 本发明提供了一种基于联邦学习的模型训练系统及方法,该系统包括多个客户端和多个服务器,客户端包括:模型训练模块用于根据本地训练集对初始模型训练得到模型更新值;训练过程包括前期训练阶段和后期训练阶段,前期训练阶段的学习率是对前期基础学习率扩大若干倍得到的,后期训练阶段的学习率是对后期基础学习率缩小若干倍得到的;参数分享模块用于对模型更新值计算得到多个秘密分享值,将秘密分享值发送至各服务器;服务器用于根据秘密分享值计算聚合更新值;模型生成模块用于根据聚合更新值计算模型更新的真实值,对初始模型进行更新得到优化模型。通过执行本发明能够规避各客户端对同一初始模型进行共同训练时产生的路径冲突。

    一种数据脱敏方法、装置及电子设备

    公开(公告)号:CN112800476B

    公开(公告)日:2024-07-16

    申请号:CN202110323287.1

    申请日:2021-03-25

    IPC分类号: G06F21/62 G06F21/60

    摘要: 本发明公开了一种数据脱敏方法、装置及电子设备,涉及数据处理技术领域,其中方法包括:根据待脱敏的原始编码数据生成目标数量级的全局保密整数,所述目标数量级的大小根据待脱敏数据的数据长度确定;根据所述全局保密整数得到阿贝尔群;在所述阿贝尔群中选取脱敏任务标识;根据所述脱敏任务标识和所述全局保密整数对原始编码数据进行编码,得到脱敏后的编码数据,整个脱敏过程未对编码类数据作任何变形,且整个脱敏过程仅通过计算一次大数据计算,即可实现可靠脱敏,提高了脱敏效率;同时在数据脱敏过程中将选取的脱敏任务标识加入了脱敏计算,使得在脱敏后数据提供方可以根据脱敏过程中使用的脱敏任务标识,在发生疑似数据泄露时进行溯源。

    一种数据资产质量检测方法和检测装置

    公开(公告)号:CN115481240A

    公开(公告)日:2022-12-16

    申请号:CN202110606566.9

    申请日:2021-05-31

    摘要: 本发明提供了一种数据资产质量检测方法和检测装置,该方法包括:获取待检测数据资产清单;对待检测数据资产清单进行关键词提取,构建关键词语料库;基于预设自定义词库对关键词语料库中的关键词进行特征类型的标注,并利用模型自动标注,构建检测特征关键词库;按照标注的特征类型,对检测特征关键词库与待检测数据资产清单进行映射,生成各数据资产特征清单;基于各特征类型对应的预设检测规则清单,分别对各数据资产特征清单进行数据资产质量检测,生成质量检测结果。根据标注的特征作为检测规则选取的索引,当数据质量检验时,能够快速的匹配出合适的检测规则,从而减少大量的重复工作,提高了数据质检的工作效率。

    一种数据异常检测算法确定方法、装置及计算机设备

    公开(公告)号:CN113536066A

    公开(公告)日:2021-10-22

    申请号:CN202110803457.6

    申请日:2021-07-16

    IPC分类号: G06F16/903 G06K9/62 G06N3/12

    摘要: 本发明公开了一种数据异常检测算法确定方法、装置及计算机设备,该方法包括:获取待检测数据;根据预设特征提取工具对所述待检测数据进行特征提取,得到所述待检测数据的指纹信息;根据所述待检测数据的指纹信息与预设算法选择模型中的指纹信息进行特征匹配,根据与待检测数据的指纹信息最相似的指纹信息对应的异常检测算法确定待检测数据的异常检测算法。本发明通过对待检数据进行特征提取,与提前设置好的预设算法选择模型中的多个数据的指纹信息进行特征匹配,根据匹配度最高的指纹信息对应的异常检测算法确定该待检测数据的异常检测算法,可以实现根据数据特征变化,实时选择最适应该待检测数据的异常检测算法,场景适应能力强,通用性较好。

    一种基于联邦学习的电动汽车充电设施推荐方法及系统

    公开(公告)号:CN111897800A

    公开(公告)日:2020-11-06

    申请号:CN202010778276.8

    申请日:2020-08-05

    摘要: 本发明公开了一种基于联邦学习的电动汽车充电设施推荐方法及系统,该方法包括:获取桩特征数据集以及车特征数据集,桩特征数据集为从桩运营数据平台数据中提取的与充电桩运营相关的桩特征构成的集合,车特征数据集为从车企数据平台数据中提取的与车充电相关的车特征构成的集合;采用联邦推荐算法对桩特征数据集和车特征数据集进行联邦训练,得到联邦推荐模型;获取待推荐充电桩列表中所有充电桩对应的当前桩特征数据集和当前车特征数据集;将当前桩特征数据集及当前车特征数据集输入联邦推荐模型,得到推荐结果。通过实施本发明,实现了桩运营数据平台数据和车企数据平台数据的融合使用,扩充了模型特征,实现了对充电设施的个性化推荐。