申请号: CN202310852654.6
申请日: 2023-07-12
公开(公告)号: CN116910023A
公开(公告)日: 2023-10-20
发明人: 徐欢; 王伟东; 王路权
本发明公开了一种数据治理系统,包括:定义数据处理模块;设计数据处理模块;实现数据处理模块;集成数据处理模块;提供数据服务接口模块;数据质量监控模块;数据安全与隐私保护模块;数据可视化模块;数据存储与检索模块通过以上组成部分的协同工作,该数据治理系统能够有效地定义、设计、实现、集成、提供数据服务、监控数据质量、保护数据安全与隐私、进行数据可视化和提供数据存储与检索功能,提高数据处理的效率、一致性和可靠性。
更多申请号: CN202211083088.9
申请日: 2022-09-06
公开(公告)号: CN115357573A
公开(公告)日: 2022-11-18
发明人: 陈伟
本申请公开了一种数据治理系统,包括流程管理模块、数据梳理模块、质量核验模块、数据治理模块、输出模块。通过流程管理模块,熟悉业务场景和业务流程的业务人员可以对绘制或导入业务流程图进行编辑。通过数据梳理模块,熟悉业务场景和数据项字段含义的业务人员可以进行对业务流程图中的业务环节以及接口的数据项的梳理。质量核验模块可以根据预设的规则对梳理完成后的数据项进行核验。数据治理人员只需要通过数据治理模块对核验完成后的数据项进行治理即可。大大减少了数据治理人员的工作量,提高了数据治理的效率。
更多申请号: CN201811201110.9
申请日: 2018-10-16
公开(公告)号: CN109299083A
公开(公告)日: 2019-02-01
发明人: 杨訸; 刘卫卫; 王晓慧; 温朝宇; 佟鹏; 王新刚
本发明提供了一种数据治理系统,包括:权限管理模块,用于对用户的身份信息进行验证,并根据验证结果授予用户操作权限;数据源管理模块,用于从数据源数据库中获取待治理数据,并将待治理数据发送至数据治理模块;任务构建模块,用于获取用户输入的数据治理要求,根据数据治理要求及用户操作权限为待治理数据构建数据治理任务;数据治理模块,用于接收待治理数据,并根据数据治理任务对待治理数据进行数据治理,生成治理结果。实现了对海量数据的多样化数据治理的功能,用户仅需要简单操作就可以自动进行数据治理任务,具有适用范围广,数据治理方式更为灵活,数据治理时间短的特点,从而降低了工作人员的工作量,降低成本,提高数据治理效率。
更多申请号: CN201610781439.1
申请日: 2016-08-31
公开(公告)号: CN106227898A
公开(公告)日: 2016-12-14
发明人: 周潇; 黑海燕; 洪渭
本发明公开了一种北斗移动穿戴设备数据治理平台及其数据治理方法,包含依次连接的M4层、M3层、M2层、M1层;所述M1层包含标准数据源、接口池和S1~Sn各应用领域的元数据;所述S1~Sn各应用领域的元数据通过接口池连接标准数据源;数据标准化处理,主要针对数千件元数据标准、数据标准的对象类、定义类、特性类、表示类、值域类、应用与管理适配性进行,S1~Sn各应用领域的数据通过接口池与“标准数据源”中调出的规范数据进行标准化比对与适配性处理。
更多申请号: CN202311285130.X
申请日: 2023-10-07
公开(公告)号: CN117423474A
公开(公告)日: 2024-01-19
发明人: 范联伟; 王佐成; 廖志鑫; 高景银; 朱萍
本发明属于数据融合处理技术领域,具体涉及一种传染病的数据治理系统及治理方法。一种传染病的数据治理系统,包括信息共享子系统和融合治理子系统,将各种来源的传染病数据作为多源传染病数据接入信息共享子系统内进行处理后,再送入融合治理子系统内,进行融合治理后,最终形成分类存储、标准统一的标准数据。本发明可以实现多源传染病数据的高效汇聚和治理,便于技术人员调用以进行后续传染病的研判。
更多申请号: CN201710421769.4
申请日: 2017-06-07
公开(公告)号: CN107256247A
公开(公告)日: 2017-10-17
发明人: 李建国; 陶长连; 郑建全
本发明公开了一种大数据数据治理方法和装置。其中,该方法包括:定义元数据;导入所述元数据;对所述元数据进行治理和分析,得到分析结果;至少根据所述分析结果得到元数据图谱。本发明解决了现有技术中还没有有效的大数据的数据治理方法的技术问题。
更多申请号: CN202311100015.0
申请日: 2023-08-30
公开(公告)号: CN116842240A
公开(公告)日: 2023-10-03
发明人: 万力; 韩东明; 王庆焕; 邢军鹏; 李晓阳; 刘其敏; 邵龙; 李冬冬
本发明提供了一种基于全链路治理管控的数据治理系统。涉及数据治理领域,包括:数据分类模块:用于对目标数据进行规范化处理,并基于所属链路进行分类,得到第一数据集合;交互确定模块:用于获取第一数据集合中每一子集合之间的数据交互方式及交互程度,得到综合交互结果;管理分析模块:用于对每一子集合的第一数据进行数据分析检验,基于分析检验结果得到第一分析子集合;数据治理模块:用于基于方案数据库向第一分析子集合匹配数据治理方案,并基于综合交互结果对数据治理方案进行调整,得到综合治理方案进行数据治理。通过对不同链路的目标数据进行分类,并进行数据分析检验,匹配精准的数据治理方案,实现对全链路数据的精准治理管控。
更多申请号: CN202110441158.2
申请日: 2021-04-23
公开(公告)号: CN113223726A
公开(公告)日: 2021-08-06
发明人: 李红良; 张晓晶; 刘艳琼
本发明公开了一种医疗大数据中数据治理方式与治理结果的可视化交互系统,其中:数据管理模块,用于添加可视化分析和治理所需的数据;数据预处理模块,用于对添加的数据进行标准化处理;数据分析模块,用于对数据进行质量分析,并对结构化数据进行数据分析和治理;系统配置管理模块,用于管理用户,并设置用户权限;数据可视化模块,用于实时通过图形组件进行可视化显示;大屏展示端,用于对通过四个主题对数据治理可视化的结果进行展示。本发明对于医疗大数据的数据质量,通过治理形成了统一化、标准化、规范化、实时可视化,大大提高了对于数据治理进度、结果与治理质量的实时监控。
更多申请号: CN202311100015.0
申请日: 2023-08-30
公开(公告)号: CN116842240B
公开(公告)日: 2023-12-01
发明人: 万力; 韩东明; 王庆焕; 邢军鹏; 李晓阳; 刘其敏; 邵龙; 李冬冬
本发明提供了一种基于全链路治理管控的数据治理系统。涉及数据治理领域,包括:数据分类模块:用于对目标数据进行规范化处理,并基于所属链路进行分类,得到第一数据集合;交互确定模块:用于获取第一数据集合中每一子集合之间的数据交互方式及交互程度,得到综合交互结果;管理分析模块:用于对每一子集合的第一数据进行数据分析检验,基于分析检验结果得到第一分析子集合;数据治理模块:用于基于方案数据库向第一分析子集合匹配数据治理方案,并基于综合交互结果对数据治理方案进行调整,得到综合治理方案进行数据治理。通过对不同链路的目标数据进行分类,并进行数据分析检验,匹配精准的数据治理方案,实现对全链路数据的精准治理管控。
更多申请号: CN202210092059.2
申请日: 2022-01-26
公开(公告)号: CN114595236A
公开(公告)日: 2022-06-07
发明人: 陈一萌; 陈霄; 许闻楷; 沈鸿杰; 陈炬均
本发明公开了一种应用于基层治理的人口数据治理方法,属于数据治理技术领域。一种应用于基层治理的人口数据治理方法,包括以下步骤:S1、获取多种来源的人口核心数据和基础数据,对多源人口数据汇聚;S2、数据过滤,对获取数据的质量进行评估、过滤;S3、将身份证信息作为人口唯一标识ID,建立人口档案;S4、构建数据治理任务,对数据中脏数据、重复数据、零散数据进行治理;S5、在对数据进行清洗、去重、关联和合并后,针对异常数据和缺失数据进行治理;S6、对已经完成治理的数据进行数据自动落库;可以解决多源数据环境下小区人口数据重复、数据异常、数据缺失的问题,克服人工数据治理的效率低、成本高、准确性差的问题。
更多申请号: CN202210435861.7
申请日: 2022-04-24
公开(公告)号: CN114816750B
公开(公告)日: 2022-12-23
发明人: 孙长进; 陈萍
本发明涉及CPU资源分配技术领域,具体涉及大数据数据治理任务运行方法。方法为:构建数据治理应用程序,并部署到无服务器计算平台中;对所述实时的每个容器CPU资源利用率进行负载跟踪;获取最大负载追踪器序列,并根据其序列值获取变化度量;根据所述变化度量获取最优的负载追踪器序列长度并得到最近指数移动平均数序列;对所述最近指数移动平均数序列利用基于保底机制的线性外推预测法获取获取最合适的未来时刻CPU利用率;将上述CPU自动缩放方法进行集成,以使服务器可以动态调整容器CPU资源。本方法具有计算复杂度低的优点,适用于无服务器函数的小型自动缩放,同时保持了良好的预测结果,可以广泛用于大数据资源服务、互联网数据服务。
更多申请号: CN202210435861.7
申请日: 2022-04-24
公开(公告)号: CN114816750A
公开(公告)日: 2022-07-29
发明人: 孙长进; 陈萍
本发明涉及CPU资源分配技术领域,具体涉及大数据数据治理任务运行方法。方法为:构建数据治理应用程序,并部署到无服务器计算平台中;对所述实时的每个容器CPU资源利用率进行负载跟踪;获取最大负载追踪器序列,并根据其序列值获取变化度量;根据所述变化度量获取最优的负载追踪器序列长度并得到最近指数移动平均数序列;对所述最近指数移动平均数序列利用基于保底机制的线性外推预测法获取获取最合适的未来时刻CPU利用率;将上述CPU自动缩放方法进行集成,以使服务器可以动态调整容器CPU资源。本方法具有计算复杂度低的优点,适用于无服务器函数的小型自动缩放,同时保持了良好的预测结果,可以广泛用于大数据资源服务、互联网数据服务。
更多申请号: CN202280042839.4
申请日: 2022-06-07
公开(公告)号: CN117677942A
公开(公告)日: 2024-03-08
发明人: P·弗兰肯; K·克里格尔曼; A·肖恩; J·沃谢尔
一些实施例涉及一种与由数据处理系统管理的多个数据资产的治理结合使用的方法,该方法包括:使用至少一个计算机硬件处理器执行以下操作:访问包括第一数据标准的数据治理策略(例如,通过获得关于存储在数据库系统中的第一标准的信息);至少部分地通过使用至少一个数据资产准则从由该数据处理系统管理的多个数据资产中自动选择满足该至少一个数据资产准则的一个或多个数据资产来生成第一数据资产集合;将该第一数据资产集合与该第一数据标准相关联;以及验证该第一数据资产集合中的一个或多个数据资产中的至少一个是否符合该第一数据标准。
更多申请号: CN202111220821.2
申请日: 2021-10-20
公开(公告)号: CN113886378A
公开(公告)日: 2022-01-04
发明人: 徐育帅
本发明涉及数据管理系统领域,具体涉及一种大数据治理系统,包括:对数据进管理的数据清洗管理模块;数据清洗管理模块包括:数据清洗规则定义单元,用于定义清洗数据的规则;数据清洗查询单元,用于查询数据;数据清洗规则展示单元,用于展示数据清洗的规则;数据修改及删除单元,用于对数据进行修改或进行数据删除。通过对数据清洗规则的定义,以对数据进行管理,实现对数据进行检测,避免删除或清洗掉关键和必要的数据,保证数据的质量。
更多申请号: CN202110133723.9
申请日: 2021-02-01
公开(公告)号: CN112800042B
公开(公告)日: 2023-04-18
发明人: 周双; 李婕; 张兆勇
本发明涉及计算机大数据技术领域,具体提供了一种治理数据的方法,其特征在于,首先,梳理数据资源清单和数据元标准,确定数据治理范围和治理目标;然后,使用单表数据检测、多表数据整合和应用反馈处理三阶段实施治理;最后,治理情况统计监控展示。与现有技术相比,本发明可大大提高数据治理工作的效率,便于数据治理工作有条理和有保障的进行,具有良好的推广价值。
更多申请号: CN202210207791.X
申请日: 2022-03-03
公开(公告)号: CN114595214A
公开(公告)日: 2022-06-07
发明人: 贾志伟; 孙颖
本发明涉及一种大数据治理系统,包括:数据获取模块,用于获取数据信息;数据分析模块,用于分析所述数据信息的数据特征,以对出现字符缺失的数据信息进行标记;其中,数据特征包括数据信息的字符长度和数据类型;所述数据类型为组成数据信息的字符种类,所述字符长度包括数据信息的字符总长度和单一数据类型的字符总长度;数据修复模块,用于根据所述出现字符缺失的数据信息数据特征,计算数据信息的实际复杂度,以判定是否对该数据信息进行修复。本发明可以更准确地掌握数据信息的情况,在提升数据修复准确率的同时,还有效的提高了对数据修复的效率。
更多申请号: CN201910828600.X
申请日: 2019-09-03
公开(公告)号: CN110569236A
公开(公告)日: 2019-12-13
发明人: 张毅然
本发明提供了一种数据治理方法,包括:对数据治理过程中的原始表的字段进行映射处理生成中间表;将所述中间表的字段按照预先绑定的规则进行规则转换生成标准表。在本发明中,在进行标准表处理的时,先不考虑原始表的构成,而是先在标准表的字段上,进行一定会执行的规则的绑定,然后进行原始表对于标准表的映射,从而自动执行所绑定的规则的转换。从而可以大大减少数据治理过程中人工进行规则转换的工作量,提高了数据治理的效率。
更多申请号: CN201911407168.3
申请日: 2019-12-31
公开(公告)号: CN111159169A
公开(公告)日: 2020-05-15
发明人: 宋雨伦; 谢云龙; 樊利安; 崔凌逍
本发明实施例提供一种数据治理方法及设备,该方法包括:获取待治理的业务数据集;对所述业务数据集进行质量指标化处理,得到所述业务数据集对应的质量基准值集合;将所述质量基准值集合输入目标网络模型中,以使所述目标网络模型根据所述质量基准值集合进行价值基准值预测,得到所述业务数据集对应的价值基准值集合,并输出;根据所述目标网络模型输出的价值基准值集合生成优化调整指令,并发送给目标终端,以使所述目标终端根据所述优化调整指令进行相应的优化调整操作,实现数据自动治理,无需人工编写相应的数据治理脚本,减少相关开发人员的工作量,并可以降低人工成本,提高数据治理的效率。
更多