数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN113778518B

    公开(公告)日:2024-03-26

    申请号:CN202111012559.2

    申请日:2021-08-31

    IPC分类号: G06F9/30 G06F9/38

    摘要: 本申请涉及一种数据处理方法、装置、计算机设备和存储介质,涉及计算机技术领域。通过多个目标线程并行对原始数组进行循环运算处理,其中,每一次运算处理的过程包括:每个目标线程从候选数组中读取每个目标线程对应的m个数据,然后检测读取到的m个数据的运算属性是否相同,若m个数据的运算属性相同,则通过目标线程对m个数据进行运算,并基于运算结果确定m个候选数据。若m个数据的运算属性不同,则不作处理,直接将m个数据作为m个候选数据,最后,根据各个目标线程得到候选数据确定每一次运算处理的目标数组,基于该方法可以通过多个目标线程直接对原始数组中运算属性不同的数据分别进行计算,简化了计算流程,降低了运算负担。

    一种数据库的数据处理方法、装置、设备及介质

    公开(公告)号:CN117215838A

    公开(公告)日:2023-12-12

    申请号:CN202311267614.1

    申请日:2023-09-27

    IPC分类号: G06F11/14

    摘要: 本发明公开了一种数据库的数据处理方法、装置、设备及介质。其中,方法包括:通过数据处理组件,对目标数据库中的业务数据进行全量备份和增量备份,将全量备份数据和增量备份数据存储至备份容器中,并将监测到的业务数据变更事件的事件信息存储至日志文件中;将全量备份数据和增量备份数据、以及日志文件存储至远程服务器;若接收到数据恢复请求,则确定恢复时间点和新数据库,获取对应的全量备份数据、增量备份数据以及日志文件;恢复出目标数据库在恢复时间点的目标业务数据,并存储至新数据库中。本发明实施例可以根据与时间点对应的全量备份数据、增量备份数据以及日志文件,将数据库中的业务数据恢复至数据库运行过程中的任意时间点。

    异步回调方法、装置、设备、存储介质和程序产品

    公开(公告)号:CN116450341A

    公开(公告)日:2023-07-18

    申请号:CN202310186112.X

    申请日:2023-03-01

    IPC分类号: G06F9/50 G06F9/445

    摘要: 本申请涉及一种异步回调方法、装置、设备、存储介质和程序产品。所述方法包括:检测主线程当前执行的主函数中是否存在目标异步函数;所述目标异步函数为包括预设的注解信息的异步函数;若存在所述目标异步函数,则启用新的第一线程,并控制所述第一线程执行所述目标异步函数;将所述第一线程的执行结果发送至所述主线程,并控制所述主线程根据所述执行结果执行相应的回调函数。采用本方法能够提升数据处理过程中的吞吐量。

    可视化数据大屏实现方法和实现系统

    公开(公告)号:CN111104452B

    公开(公告)日:2023-07-04

    申请号:CN201911239912.3

    申请日:2019-12-06

    IPC分类号: G06F16/26 G06F16/28

    摘要: 本发明公开了一种可视化数据大屏实现方法及系统,其中可视化数据大屏实现方法包括:1、生成数据大屏上要显示的报表的DPL语句;2、获取数据大屏上所有报表的所有任务调度,为每个报表建立任务队列;获取所有任务队列的共同流程,得到数据大屏上正在显示的报表任务列表;对报表任务列表中的任务优先分配资源;所述资源包括:处理器资源,内存资源;3、配置数据大屏的参数;4、执行生成的DPL语句,执行结果存储于结果数据集中;根据结果数据集生成报表,在数据大屏上绘制生成的报表。该方法在呈现复杂的大数据分析结果时,具有较高的时效性。

    一种数据处理方法、用户空间文件系统以及存储介质

    公开(公告)号:CN113407504B

    公开(公告)日:2023-05-23

    申请号:CN202110662238.0

    申请日:2021-06-15

    摘要: 本发明实施例公开了一种数据处理方法、文件系统以及存储介质。该方法应用于安装在宿主应用上的用户空间文件系统,包括:通过文件系统分流器,接收Restful服务器发送的文件请求,并将文件请求分发至配置文件系统或监控文件系统,请求类型包括:配置请求和监控请求;通过配置文件系统,在接收到文件系统分流器分发的配置请求时,对宿主应用中的目标组件进行配置修改操作,目标组件与配置请求匹配;通过监控文件系统,在接收到文件系统分流器分发的监控请求时,从宿主应用中获取与监控请求匹配的性能数据,并将性能数据返回至客户端。本发明实施例的技术方案,使得用户空间文件系统同时向客户端提供对宿主应用的软件性能监控和软件实时配置。

    机器学习的自定义语法实现方法及装置

    公开(公告)号:CN109657247B

    公开(公告)日:2023-05-23

    申请号:CN201811566818.4

    申请日:2018-12-19

    摘要: 本发明提供一种机器学习的自定义语法实现方法及装置。所述方法包括:对自定义语法进行词法分析和语法分析,转换为抽象语法树;基于所述抽象语法树进行语义分析,构建语法的逻辑执行计划;基于所述逻辑执行计划,参考数据的分布情况,构建分布式的物理执行计划;基于所述分布式的物理执行计划,通过反射机制调用相关机器学习库,通过分布式内存计算,进行模型的训练及测试。本发明能够降低机器学习的使用门槛,减少编码以及用户的开发成本。

    天气预报流程的控制方法、装置、设备和介质

    公开(公告)号:CN116090780A

    公开(公告)日:2023-05-09

    申请号:CN202310103638.7

    申请日:2023-02-09

    摘要: 本发明公开了一种天气预报流程的控制方法、装置、设备和介质。根据天气预报分支业务对应的启动流程中的启动条件判断结果确定是否执行作业流程中的作业提交任务;若执行作业流程中的作业提交任务,则根据作业流程中的作业运行检查任务的运行检查结果确定是否执行后续任务流程;其中,后续任务流程包括根据天气预报分支业务的业务流程确定的扩展作业流程或作业执行结果反馈流程;若不执行后续任务流程,则控制流程执行节点回溯至作业提交任务进行重新执行。通过对分支业务中启动流程、作业流程以及后续任务流程的确定,保证了天气预报分支业务中各流程的稳定运行,减少了预报事故的发生频率;并且提高了对业务化天气预报流程的优化升级的效率。

    一种集群任务处理方法、装置、电子设备及存储介质

    公开(公告)号:CN111885158B

    公开(公告)日:2023-05-02

    申请号:CN202010713638.5

    申请日:2020-07-22

    发明人: 张驭洲

    IPC分类号: H04L67/10 H04L9/40

    摘要: 本申请提供一种集群任务处理方法、装置、电子设备及存储介质。方法包括:集群中的登录节点接收任务信息,所述任务信息包括任务参数和任务分发结构参数;所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构;其中,所述目标任务分发结构为预先配置好的;所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点,以使所述计算节点根据所述任务参数执行对应的任务。本申请实施例通过预先配置多个任务分发结构,并根据不同的开销的任务选择不同的任务分发结构,保证任务能够尽快分发到各个计算节点,提高了任务分发的效率。