一种数据处理方法、装置及电子设备

    公开(公告)号:CN118796823A

    公开(公告)日:2024-10-18

    申请号:CN202410159604.4

    申请日:2024-02-04

    摘要: 本发明实施例公开了一种数据处理方法、装置及电子设备,所述方法包括:接收针对目标数据库中业务数据的分布式存储请求,响应于所述分布式存储请求,基于表结构信息以及数据查询信息,确定候选分片键字段;基于所述表结构信息、所述查询信息,以及预设评估指标,确定所述候选分片键字段与每个所述预设评估指标对应的评估值;基于所述评估指标对应的权重值,对所述评估指标对应的评估值进行加权处理,基于所述候选分片键字段对应的重要性分值,从所述候选分片键字段中选取目标分片键字段;基于所述目标分片键字段,对所述目标数据库中的业务数据进行分片处理,并将分片处理得到的业务数据分别存储在不同的业务数据处理节点。

    SQL执行计划监控方法、装置、设备及存储介质

    公开(公告)号:CN118819998A

    公开(公告)日:2024-10-22

    申请号:CN202311495300.7

    申请日:2023-11-10

    IPC分类号: G06F11/30

    摘要: 本发明提供SQL执行计划监控方法、装置、设备及存储介质,其中方法包括:遍历SQL表,SQL表中包括多条SQL以及每条SQL对应的执行计划;当SQL表中存在属于相同的数据库的第一SQL和第二SQL时,发出告警信息;其中,第一SQL和第二SQL的SQL哈希值不一致,通用SQL哈希值一致,通用执行计划哈希值不一致,SQL的通用SQL哈希值以及通用执行计划哈希值是分别将SQL和执行计划的表名中的非功能性文本替换为预设通用文本之后生成的。本发明可以实现对业务数据拆分后的SQL的执行计划的监控。

    一种数据交换任务的调度方法和装置

    公开(公告)号:CN115686735A

    公开(公告)日:2023-02-03

    申请号:CN202110859891.6

    申请日:2021-07-28

    IPC分类号: G06F9/455

    摘要: 本发明公开了一种数据交换任务的调度方法和装置,通过获取调度集群中各个broker的主机资源信息;其中,主机资源信息包括主机历史资源信息和主机当前资源信息;获取待执行任务,依据主机历史资源信息对待执行任务进行资源占用预测,得到待执行任务的资源占用预测信息;依据待执行任务的资源占用预测信息和主机当前资源信息计算得到待执行任务的调度计划;依据调度计划对待执行任务进行调度执行。本发明根据调度计划将待执行任务分配到资源充足的主机资源上,在调度集群broker资源固定的情况下,合理分配运行资源主机,为数据交换任务提供稳定运行的调度方法,提升数据交换任务运行效率和成功率。

    数据分片策略的确定方法、装置、电子设备及存储介质

    公开(公告)号:CN118861146A

    公开(公告)日:2024-10-29

    申请号:CN202411024249.6

    申请日:2024-07-29

    IPC分类号: G06F16/25 G06F16/21

    摘要: 本发明提供一种数据分片策略的确定方法、装置、电子设备及存储介质,属于数据处理领域,所述方法包括:获取由数据集的分片策略构成的第一策略集;确定分片策略的抽取代价和分片策略的处理代价;抽取代价是利用分片策略将数据集切分为若干个分片的计算代价;处理代价是利用若干个分片执行计算任务的计算代价;基于抽取代价和处理代价,从第一策略集中确定最优分片策略。本发明在对数据集进行分片之前,会获取到多个分片策略,并根据不同分片策略的抽取代价和处理代价从中确定出最优分片策略,以用于实际数据分片,克服了单一分片策略由于受到数据集本身分布不均衡而导致的分片不均衡,实现均匀数据分片,并提高数据分片速度和数据分析效率。

    Hadoop HDFS RPC异常自动定位方法与装置

    公开(公告)号:CN118819916A

    公开(公告)日:2024-10-22

    申请号:CN202311790270.2

    申请日:2023-12-22

    IPC分类号: G06F11/07 G06F16/182 G06F9/54

    摘要: 本发明涉及大数据技术领域,提供一种Hadoop HDFS RPC异常自动定位方法及装置,包括:实时采集HDFS分布式文件系统的运行日志和审计日志;提取运行日志中包含预设的RPC异常操作关键词的异常数据,异常数据包括:操作类型、发生时间和操作属性项;解析审计日志中的RPC调用数据,RPC调用数据包括:操作类型、发生时间、操作租户、操作目录和客户端地址;基于操作类型和发生时间,对异常数据和RPC调用数据进行关联匹配;在关联匹配成功,且操作属性项的值超过对应的预设的阈值配置的情况下,基于操作属性项、操作租户、操作目录和客户端确定异常原因。本发明实现了RPC异常原因的自动定位。