-
公开(公告)号:CN115982375A
公开(公告)日:2023-04-18
申请号:CN202211546265.2
申请日:2022-12-05
申请人: 中电科大数据研究院有限公司
摘要: 本公开的实施例提供一种数据治理方法,具体实现方案为:基于获取的实践案例,构建治理实践案例的参考模型;基于参考模型,生成包括至少一个实践项的实践清单;基于预先收集的最佳实践项以及数据分析时间窗,对实践清单中的实践项进行组合,得到至少一个实践项组合;基于至少一个实践项组合,确定目标实践的生成结果。通过本实施方式,提高了数据治理的效率。
-
公开(公告)号:CN115718784A
公开(公告)日:2023-02-28
申请号:CN202211384158.4
申请日:2022-11-07
申请人: 中电科大数据研究院有限公司
摘要: 本申请公开了一种基于离线同步工具的数据采集方法、装置及储存介质,用于提高数据采集效率。本申请包括:平台通过离线同步工具确定待采集数据的源数据库,并建立与所述源数据库的数据传输通道,所述离线同步工具集成在所述平台内部,所述平台还集成有任务调度器;所述平台根据所述源数据库的类型获取任务调度模板;所述平台根据所述任务调度模板及所述源数据库构建采集任务;所述平台通过所述离线同步工具及所述任务调度器执行所述采集任务;所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中。
-
公开(公告)号:CN117640644A
公开(公告)日:2024-03-01
申请号:CN202311661015.8
申请日:2023-12-04
申请人: 中电科大数据研究院有限公司
IPC分类号: H04L67/1004 , H04L67/2885 , H04L67/2895 , H04L67/568 , H04L67/63 , H04L45/76 , H04L43/08 , H04L43/045 , H04L12/66 , H04L67/12
摘要: 本申请公开了一种涉海类数据交易的负载均衡的处理方法、系统及相关装置,用于最大程度利用服务器性能对请求进行转发处理,实现负载均衡。本申请方法包括:基于定时任务库在网关层上配置定时任务,周期性执行定时任务并动态采集网关层上各个网关节点所在服务器的服务器性能指标;针对各个服务器,基于服务器性能指标计算指标利用率,并将指标利用率存入目标Redis缓存;基于自动活性监测机制,通过硬件层面将用户请求均衡转发至网关层;通过Nignx反向代理层获取第一服务器和第二服务器的负载指标信息,负载指标信息包括:CPU利用率、内存利用率、I/O利用率和带宽利用率;Nignx反向代理层通过预配置的Lua脚本从目标Resis缓存中读取指标利用率,并计算加权负载值。
-
公开(公告)号:CN116028192A
公开(公告)日:2023-04-28
申请号:CN202310315993.0
申请日:2023-03-29
申请人: 中电科大数据研究院有限公司
摘要: 本申请公开了一种多源异构数据采集方法、装置和存储介质,旨在通过分布式系统实现通用式多源异构数据采集,提高数据处理效率。本申请方法包括:确定数据源的类型,并配置所述数据源的数据源信息;配置任务调度器,所述任务调度器用于定时执行任务、周期执行任务、确定服务节点以及确定执行策略;创建数据采集任务,所述数据采集任务包括数据来源、数据目标源以及数据采集策略;通过配置好的任务调度器,按照所述数据采集策略执行所述数据采集任务;输出数据采集结果。
-
公开(公告)号:CN115829371A
公开(公告)日:2023-03-21
申请号:CN202211387954.3
申请日:2022-11-07
申请人: 中电科大数据研究院有限公司
IPC分类号: G06Q10/0639 , G06Q50/26
摘要: 本申请公开了一种应用于政务领域的数据质量评估方法及相关装置,用于用于使政务领域的数据质量评估可量化、可落地且可迭代。本申请方法包括:根据政务领域的业务场景确定数据质量评价指标;基于数据质量评价指标确定指标约束规则;根据数据质量评价指标及指标约束规则构建数据质量评估算法模型;获取待评估的政务领域的目标数据集,并确定目标数据集对应的目标数据质量评价指标及目标指标约束规则,政务领域的目标数据集为目标职能部门在办理目标业务及进行目标决策时产生的数据;确定目标指标约束规则的目标权重值;将目标指标约束规则、目标权重值及目标数据集输入数据质量评估算法模型,获取目标数据集的数据质量评估结果。
-
-
-
-