一种数据生命周期的控制方法、装置、电子设备及介质

    公开(公告)号:CN116860732A

    公开(公告)日:2023-10-10

    申请号:CN202310790043.3

    申请日:2023-06-29

    Inventor: 刘子烨 杨波 王超

    Abstract: 本申请提供一种数据生命周期的控制方法、装置、电子设备及介质。该方法包括:当元数据库的分区数据发生新增时,触发生成元数据表的生命周期管理任务,生命周期管理任务中包括元数据表的信息,元数据表的信息包括:元数据表所在的集群及其所属的数据库,以及元数据表的标识;元数据为数据文件的描述信息;根据元数据表的信息,从对应的元数据库中查询元数据表当前的分区数量;将元数据表的分区数量与预先配置的生命周期数进行比较,若分区数据超过生命周期数,则根据分区值的时间顺序生成删除任务,删除任务中包括待删除的元数据信息;在元数据表中执行删除任务。本申请的方法,降低了元数据库连接压力,并可及时高效地执行生命周期删除任务。

    大数据作业的监控处理方法、装置及服务器

    公开(公告)号:CN117743074A

    公开(公告)日:2024-03-22

    申请号:CN202211109778.7

    申请日:2022-09-13

    Inventor: 刘子烨

    Abstract: 本公开提供的一种大数据作业的监控处理方法、装置及服务器,涉及大数据作业技术,包括:配置预设的监控表的配置参数,预设的监控表包括至少一个目标项目;目标项目包括至少一个目标流程、目标流程包括至少一个目标任务;根据目标任务的配置参数,在预设的目标数据库中查询目标任务,得到查询结果;根据目标任务的查询结果,以及配置参数,对目标任务进行质量统计,并生成预设的监控表对应的通知告警信息;根据预设方式,通报通知告警信息。本方案可以监控预设的监控表包括的多个项目,并可以对预设的监控表包括的多个项目进行自定义整合统计得到该预设的监控表对应的通知告警信息。

Patent Agency Ranking