-
公开(公告)号:CN118626554A
公开(公告)日:2024-09-10
申请号:CN202310257501.7
申请日:2023-03-09
申请人: 曙光智算信息技术有限公司 , 曙光信息产业(北京)有限公司 , 中科曙光国际信息产业有限公司
摘要: 本申请涉及一种数据同步方法、装置、设备、存储介质和程序产品。所述方法包括:根据第一设备的数据同步信息确定对应的查询时间段;所述数据同步信息中包括所述第一设备获取到最新数据的获取时间,且在所述最新数据之前获取的数据已在所述第一设备中进行存储;根据所述第一设备中已存储的数据对应的存储时间,确定存储时间与所述查询时间段匹配的目标数据集;将所述目标数据集中的目标数据同步至第二设备中。采用本方法能够减少数据同步中的数据遗漏,提升数据同步效果。
-
公开(公告)号:CN113778518B
公开(公告)日:2024-03-26
申请号:CN202111012559.2
申请日:2021-08-31
申请人: 中科曙光国际信息产业有限公司
摘要: 本申请涉及一种数据处理方法、装置、计算机设备和存储介质,涉及计算机技术领域。通过多个目标线程并行对原始数组进行循环运算处理,其中,每一次运算处理的过程包括:每个目标线程从候选数组中读取每个目标线程对应的m个数据,然后检测读取到的m个数据的运算属性是否相同,若m个数据的运算属性相同,则通过目标线程对m个数据进行运算,并基于运算结果确定m个候选数据。若m个数据的运算属性不同,则不作处理,直接将m个数据作为m个候选数据,最后,根据各个目标线程得到候选数据确定每一次运算处理的目标数组,基于该方法可以通过多个目标线程直接对原始数组中运算属性不同的数据分别进行计算,简化了计算流程,降低了运算负担。
-
公开(公告)号:CN117215838A
公开(公告)日:2023-12-12
申请号:CN202311267614.1
申请日:2023-09-27
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06F11/14
摘要: 本发明公开了一种数据库的数据处理方法、装置、设备及介质。其中,方法包括:通过数据处理组件,对目标数据库中的业务数据进行全量备份和增量备份,将全量备份数据和增量备份数据存储至备份容器中,并将监测到的业务数据变更事件的事件信息存储至日志文件中;将全量备份数据和增量备份数据、以及日志文件存储至远程服务器;若接收到数据恢复请求,则确定恢复时间点和新数据库,获取对应的全量备份数据、增量备份数据以及日志文件;恢复出目标数据库在恢复时间点的目标业务数据,并存储至新数据库中。本发明实施例可以根据与时间点对应的全量备份数据、增量备份数据以及日志文件,将数据库中的业务数据恢复至数据库运行过程中的任意时间点。
-
公开(公告)号:CN116860799A
公开(公告)日:2023-10-10
申请号:CN202310745477.1
申请日:2023-06-21
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06F16/2455 , G06F16/2458 , G06F16/27 , G06F16/28 , G06Q30/0201
摘要: 本申请涉及一种对账方法、装置、计算机设备、存储介质和程序产品。上述方法包括:获取多个计算集群中的实时作业数据;按照不同的聚合指标对多个计算集群中的实时作业数据进行聚合,生成不同的聚合指标对应的聚合结果;根据不同的聚合指标对应的聚合结果对多个计算集群中的实时作业数据进行对账,生成对账结果。采用本方法能够能够针对高复杂度、大数据量的多个计算集群进行对账。
-
公开(公告)号:CN116450341A
公开(公告)日:2023-07-18
申请号:CN202310186112.X
申请日:2023-03-01
申请人: 中科曙光国际信息产业有限公司
摘要: 本申请涉及一种异步回调方法、装置、设备、存储介质和程序产品。所述方法包括:检测主线程当前执行的主函数中是否存在目标异步函数;所述目标异步函数为包括预设的注解信息的异步函数;若存在所述目标异步函数,则启用新的第一线程,并控制所述第一线程执行所述目标异步函数;将所述第一线程的执行结果发送至所述主线程,并控制所述主线程根据所述执行结果执行相应的回调函数。采用本方法能够提升数据处理过程中的吞吐量。
-
公开(公告)号:CN111104452B
公开(公告)日:2023-07-04
申请号:CN201911239912.3
申请日:2019-12-06
申请人: 中科曙光(南京)计算技术有限公司 , 中科曙光国际信息产业有限公司
摘要: 本发明公开了一种可视化数据大屏实现方法及系统,其中可视化数据大屏实现方法包括:1、生成数据大屏上要显示的报表的DPL语句;2、获取数据大屏上所有报表的所有任务调度,为每个报表建立任务队列;获取所有任务队列的共同流程,得到数据大屏上正在显示的报表任务列表;对报表任务列表中的任务优先分配资源;所述资源包括:处理器资源,内存资源;3、配置数据大屏的参数;4、执行生成的DPL语句,执行结果存储于结果数据集中;根据结果数据集生成报表,在数据大屏上绘制生成的报表。该方法在呈现复杂的大数据分析结果时,具有较高的时效性。
-
公开(公告)号:CN113407504B
公开(公告)日:2023-05-23
申请号:CN202110662238.0
申请日:2021-06-15
申请人: 中科曙光国际信息产业有限公司
摘要: 本发明实施例公开了一种数据处理方法、文件系统以及存储介质。该方法应用于安装在宿主应用上的用户空间文件系统,包括:通过文件系统分流器,接收Restful服务器发送的文件请求,并将文件请求分发至配置文件系统或监控文件系统,请求类型包括:配置请求和监控请求;通过配置文件系统,在接收到文件系统分流器分发的配置请求时,对宿主应用中的目标组件进行配置修改操作,目标组件与配置请求匹配;通过监控文件系统,在接收到文件系统分流器分发的监控请求时,从宿主应用中获取与监控请求匹配的性能数据,并将性能数据返回至客户端。本发明实施例的技术方案,使得用户空间文件系统同时向客户端提供对宿主应用的软件性能监控和软件实时配置。
-
公开(公告)号:CN109657247B
公开(公告)日:2023-05-23
申请号:CN201811566818.4
申请日:2018-12-19
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06F40/253 , G06F40/30 , G06N20/00
摘要: 本发明提供一种机器学习的自定义语法实现方法及装置。所述方法包括:对自定义语法进行词法分析和语法分析,转换为抽象语法树;基于所述抽象语法树进行语义分析,构建语法的逻辑执行计划;基于所述逻辑执行计划,参考数据的分布情况,构建分布式的物理执行计划;基于所述分布式的物理执行计划,通过反射机制调用相关机器学习库,通过分布式内存计算,进行模型的训练及测试。本发明能够降低机器学习的使用门槛,减少编码以及用户的开发成本。
-
公开(公告)号:CN116090780A
公开(公告)日:2023-05-09
申请号:CN202310103638.7
申请日:2023-02-09
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06Q10/0631 , G06Q10/0633 , G06Q10/04
摘要: 本发明公开了一种天气预报流程的控制方法、装置、设备和介质。根据天气预报分支业务对应的启动流程中的启动条件判断结果确定是否执行作业流程中的作业提交任务;若执行作业流程中的作业提交任务,则根据作业流程中的作业运行检查任务的运行检查结果确定是否执行后续任务流程;其中,后续任务流程包括根据天气预报分支业务的业务流程确定的扩展作业流程或作业执行结果反馈流程;若不执行后续任务流程,则控制流程执行节点回溯至作业提交任务进行重新执行。通过对分支业务中启动流程、作业流程以及后续任务流程的确定,保证了天气预报分支业务中各流程的稳定运行,减少了预报事故的发生频率;并且提高了对业务化天气预报流程的优化升级的效率。
-
公开(公告)号:CN111885158B
公开(公告)日:2023-05-02
申请号:CN202010713638.5
申请日:2020-07-22
申请人: 曙光信息产业(北京)有限公司
发明人: 张驭洲
摘要: 本申请提供一种集群任务处理方法、装置、电子设备及存储介质。方法包括:集群中的登录节点接收任务信息,所述任务信息包括任务参数和任务分发结构参数;所述登录节点根据所述任务分发结构参数确定并选择对应的目标任务分发结构;其中,所述目标任务分发结构为预先配置好的;所述登录节点利用所述目标任务分发结构将所述任务信息分发给集群中的计算节点,以使所述计算节点根据所述任务参数执行对应的任务。本申请实施例通过预先配置多个任务分发结构,并根据不同的开销的任务选择不同的任务分发结构,保证任务能够尽快分发到各个计算节点,提高了任务分发的效率。
-
-
-
-
-
-
-
-
-