一种基于离线同步工具的数据采集方法、装置及储存介质

    公开(公告)号:CN115718784A

    公开(公告)日:2023-02-28

    申请号:CN202211384158.4

    申请日:2022-11-07

    IPC分类号: G06F16/27 G06F16/25 G06F9/48

    摘要: 本申请公开了一种基于离线同步工具的数据采集方法、装置及储存介质,用于提高数据采集效率。本申请包括:平台通过离线同步工具确定待采集数据的源数据库,并建立与所述源数据库的数据传输通道,所述离线同步工具集成在所述平台内部,所述平台还集成有任务调度器;所述平台根据所述源数据库的类型获取任务调度模板;所述平台根据所述任务调度模板及所述源数据库构建采集任务;所述平台通过所述离线同步工具及所述任务调度器执行所述采集任务;所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中。

    一种多源异构数据采集方法、装置和存储介质

    公开(公告)号:CN116028192A

    公开(公告)日:2023-04-28

    申请号:CN202310315993.0

    申请日:2023-03-29

    摘要: 本申请公开了一种多源异构数据采集方法、装置和存储介质,旨在通过分布式系统实现通用式多源异构数据采集,提高数据处理效率。本申请方法包括:确定数据源的类型,并配置所述数据源的数据源信息;配置任务调度器,所述任务调度器用于定时执行任务、周期执行任务、确定服务节点以及确定执行策略;创建数据采集任务,所述数据采集任务包括数据来源、数据目标源以及数据采集策略;通过配置好的任务调度器,按照所述数据采集策略执行所述数据采集任务;输出数据采集结果。

    一种应用于政务领域的数据质量评估方法及相关装置

    公开(公告)号:CN115829371A

    公开(公告)日:2023-03-21

    申请号:CN202211387954.3

    申请日:2022-11-07

    IPC分类号: G06Q10/0639 G06Q50/26

    摘要: 本申请公开了一种应用于政务领域的数据质量评估方法及相关装置,用于用于使政务领域的数据质量评估可量化、可落地且可迭代。本申请方法包括:根据政务领域的业务场景确定数据质量评价指标;基于数据质量评价指标确定指标约束规则;根据数据质量评价指标及指标约束规则构建数据质量评估算法模型;获取待评估的政务领域的目标数据集,并确定目标数据集对应的目标数据质量评价指标及目标指标约束规则,政务领域的目标数据集为目标职能部门在办理目标业务及进行目标决策时产生的数据;确定目标指标约束规则的目标权重值;将目标指标约束规则、目标权重值及目标数据集输入数据质量评估算法模型,获取目标数据集的数据质量评估结果。