数据处理方法及装置
    2.
    发明公开

    公开(公告)号:CN116226680A

    公开(公告)日:2023-06-06

    申请号:CN202310126666.0

    申请日:2023-02-16

    发明人: 姜楠 刘译璟 赵群

    摘要: 本申请实施例提供了一种数据处理方法及装置,包括:接收对数据集成中业务数据的分析指令;响应于所述分析指令,获取所述业务数据的元数据和所述业务数据的数据内容,所述元数据指示所述业务数据的数据属性;将所述元数据输入到第一模型中进行第一处理,得到第一处理结果,所述第一处理用于计算所述元数据与参考元数据之间的相似度;将所述数据内容输入到第二模型中进行第二处理,得到第二处理结果,所述第二处理用于计算所述数据内容与参考数据内容之间的相似度;根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。

    一种全生命周期数据地图生成系统、方法

    公开(公告)号:CN112732987A

    公开(公告)日:2021-04-30

    申请号:CN202011642227.8

    申请日:2020-12-31

    摘要: 本申请公开一种全生命周期数据地图生成系统,由多源异构数据接入任务获取数据源的数据,由数据转换任务、数据治理任务和多样化数据处理脚本任务分别确定第一血缘关系、第二血缘关系和第三血缘关系,由数据源表多维统计任务确定第一数据和第二数据在指定分析维度下的信息;由数据地图生成模块根据该些血缘关系和所述指定分析维度下的信息生成数据地图并展示,从而解决了现有技术中的数据地图生成与展示方式,无法生成并展示不同分析维度下的信息和多源数据之间的血缘关系的问题,有效丰富数据地图的信息展示分析维度,提升数据地图信息的分析结果的适用宽度。本申请还公开一种全生命周期数据地图生成方法。

    数据探查方法、装置及设备
    5.
    发明公开

    公开(公告)号:CN116303528A

    公开(公告)日:2023-06-23

    申请号:CN202211631876.7

    申请日:2022-12-19

    摘要: 本申请公开了一种数据探查方法、装置及设备。该方法包括:响应于目标探查请求,对所述目标探查请求进行解析,以获取所述目标探查请求对应的数据探查参数,所述数据探查参数包括用于指示所述目标数据探查请求对应的目标数据源的参数;基于数据探查参数名称与数据探查参数值之间的对应关系,将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中,以建立所述目标数据探查请求对应的目标数据探查任务;以及依据所述数据探查参数中用于指示所述目标数据源的参数,将所述目标数据探查任务与所述目标数据源进行关联;执行所述目标数据探查任务,以对所述目标数据源进行数据探查,获取所述目标数据探查任务对应的数据探查结果。

    一种数据治理方法、装置、计算机设备及存储介质

    公开(公告)号:CN116257305A

    公开(公告)日:2023-06-13

    申请号:CN202211725788.3

    申请日:2022-12-30

    IPC分类号: G06F9/448

    摘要: 本申请公开一种数据治理方法、装置、计算机设备及存储介质,属于数据处理技术领域。该方法包括:获取待治理数据;根据待治理数据对应的多个任务信息,生成数据映射模板;将数据映射模板中的多个任务信息进行整合,根据整合后任务信息的任务类型,调用任务生成逻辑,生成相应的数据治理脚本;通过运行数据治理脚本,对待治理数据进行治理。这样,通过设计通用的数据映射模板用于表示数据治理各环境任务的生成关系,以便于跨脚本、跨类型、跨产品的任务整合,并且在预先配置任务生成逻辑的前提下,能够生成多种任务的数据治理脚本,从而可以降低数据治理的工作量,提高数据治理效率。

    数据处理的动态控制方法及设备
    7.
    发明公开

    公开(公告)号:CN116069502A

    公开(公告)日:2023-05-05

    申请号:CN202211738502.5

    申请日:2022-12-30

    IPC分类号: G06F9/50

    摘要: 本申请公开了一种数据处理的动态控制方法及设备。该方法包括:响应于待处理的目标数据流任务的任务处理请求,获取所述目标数据流任务的任务配置信息和所述数据处理设备的任务策略配置信息,所述目标数据流任务的任务配置信息包含有所述目标数据流任务的数据量,所述任务策略配置信息中包含有所述数据处理设备的做大处理流量、单元任务的资源配置信息;基于所述目标数据流任务的任务配置信息、所述目标数据流任务的任务策略优先级和所述任务策略信息,确定处理所述目标数据流任务的资源配置信息;基于处理所述目标数据流任务的资源配置信息,为所述目标数据流任务分配资源,以处理所述目标数据流任务。

    一种异构服务的编排方法、处理方法、装置及电子设备

    公开(公告)号:CN112015372B

    公开(公告)日:2022-12-23

    申请号:CN202010721314.6

    申请日:2020-07-24

    IPC分类号: G06F8/20 G06F8/34

    摘要: 本说明书实施例提供一种异构服务的编排方法、处理方法、装置及电子设备。编排方法包括:创建目标异构服务,所述目标异构服务包含有至少两种协议构架的微服务。配置所述目标异构服务需要的至少两个微服务节点、所述至少两个微服务节点的拓扑路径、所述至少两个微服务节点之间的数据汇总逻辑以及虚拟适配器,所述虚拟适配器用于基于所述至少两种协议构架的协议语言,对所述目标异构服务的服务请求数据进行解析并分拣输入至对应的所述至少两个微服务节点。基于配置得到的所述目标异构服务需要的至少两个微服务节点、所述至少两个微服务节点的拓扑路径、所述至少两个微服务节点之间的数据汇总逻辑以及虚拟适配器,构建所述目标异构服务的执行引擎。

    一种全生命周期数据地图生成系统、方法

    公开(公告)号:CN112732987B

    公开(公告)日:2022-12-06

    申请号:CN202011642227.8

    申请日:2020-12-31

    摘要: 本申请公开一种全生命周期数据地图生成系统,由多源异构数据接入任务获取数据源的数据,由数据转换任务、数据治理任务和多样化数据处理脚本任务分别确定第一血缘关系、第二血缘关系和第三血缘关系,由数据源表多维统计任务确定第一数据和第二数据在指定分析维度下的信息;由数据地图生成模块根据该些血缘关系和所述指定分析维度下的信息生成数据地图并展示,从而解决了现有技术中的数据地图生成与展示方式,无法生成并展示不同分析维度下的信息和多源数据之间的血缘关系的问题,有效丰富数据地图的信息展示分析维度,提升数据地图信息的分析结果的适用宽度。本申请还公开一种全生命周期数据地图生成方法。