一种数据血缘分析方法、装置和存储介质

    公开(公告)号:CN114020769A

    公开(公告)日:2022-02-08

    申请号:CN202111235990.3

    申请日:2021-10-22

    IPC分类号: G06F16/242 G06F16/901

    摘要: 本申请提供一种数据血缘分析方法、装置和存储介质,涉及计算机技术领域,用于解决不能精准的确定数据的数据血缘关系技术问题。该方法包括:在从用于执行任务的目标数据中提取结构化查询语言SQL语句和与SQL语句对应的数据库连接信息和算子,并根据SQL语句,确定与SQL语句对应的目标子数据的元数据后,可以根据元数据、数据库连接信息和算子,确定目标子数据的数据血缘关系,并且可以根据目标子数据的数据血缘关系,确定目标数据的数据血缘关系。本申请可以更加精准的确定数据的数据血缘关系。

    数据处理方法、装置、服务器和存储介质

    公开(公告)号:CN114281818A

    公开(公告)日:2022-04-05

    申请号:CN202111391448.7

    申请日:2021-11-23

    IPC分类号: G06F16/22 G06F16/27 G06F8/30

    摘要: 本申请提供一种数据处理方法、装置、服务器和存储介质,该方法中,通过获取用户的数据同步请求,该数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源,并根据第一数据源和第二数据源,从预置的配置文件中读取相应的目标数据传输插件之后根据目标数据传输插件和用户输入的参数信息,将第一数据源中的待处理数据传输至第二数据源中,参数信息用于指示将第一数据源中待处理数据传输至第二数据源的传输参数。该技术方案中,从预设的数据传输插件和传输参数出发,解决现有技术中不同数据库之间传输数据时需要重新开发组件导致传输效率过低、复杂性较高的问题。

    流计算监控方法和设备
    3.
    发明公开

    公开(公告)号:CN114915488A

    公开(公告)日:2022-08-16

    申请号:CN202210673133.X

    申请日:2022-06-15

    摘要: 本申请提供一种流计算监控方法和设备,包括第一设备获取流计算任务运行时的报错数据,并生成流计算任务的监控日志;第一设备根据流计算任务运行时的报错数据确定流计算任务的监控日志的等级信息;第一设备向第二设备发送监控日志的等级信息,第一设备以预设周期向第二设备发送流计算运行时的运行数据;第二设备用于根据监控日志的等级信息生成报警信息、在当前周期内未收到运行数据时生成报警信息,并向第三设备发送报警信息。通过以上设置,可以自动监控流计算任务运行情况,将流计算任务报警、任务终止等情况及时通知到开发者。