-
公开(公告)号:CN111367665B
公开(公告)日:2020-12-18
申请号:CN202010127096.3
申请日:2020-02-28
Applicant: 清华大学
Abstract: 本发明提供一种并行通信路由建立方法及系统,该方法包括:发送端和接收端为相同网格建立所有网格点的全局索引,各进程基于网格点全局索引构建网格点局部‑全局映射表;发送端/接收端对网格点局部‑全局映射表中的各项在发送端/接收端所有进程之间进行并行排序;发送端与接收端的进程进行协作,并行建立发送端‑接收端网格点映射关系表;发送端/接收端对发送端‑接收端网格点映射关系表的各项在发送端/接收端的所有进程之间进行并行排序;发送端与接收端的各进程根据进程局部的发送端‑接收端网格点映射关系表,生成各进程与对应接收端或发送端的进程的通信路由关系。本发明能快速建立数值程序间的并行通信路由关系,高效且具备并行可扩展性。
-
公开(公告)号:CN113177329B
公开(公告)日:2022-05-27
申请号:CN202110567380.7
申请日:2021-05-24
Applicant: 清华大学
Abstract: 本申请提供的一种数值程序的数据处理系统,包括:输入配置模块,用于获取输入配置信息;管理模块,至少用于基于所述第一配置信息注册所述第一存储网格;数据传递与多维插值管理模块,至少用于完成M个I/O进程与所述数值程序的N个计算进程之间的数据传递;数据并行输入驱动模块,用于基于所述第二配置信息建立所述第一存储网格在所述M个I/O进程的并行剖分,并操作所述M个I/O进程从第一文件中读入变量对应的输入数据,在所述第一存储网格与所述变量的第一计算网格相同时,调用所述数据传递与多维插值管理模块使所述M个I/O进程将所述输入数据发送给N个计算进程,以将所述输入数据并行输入至所述变量。
-
公开(公告)号:CN113157806A
公开(公告)日:2021-07-23
申请号:CN202110417353.1
申请日:2021-04-19
Applicant: 清华大学
IPC: G06F16/27 , G06F16/2458 , G06F9/50
Abstract: 本发明提供一种网格数据分布式存储服务方法、装置、设备及介质,该方法包括:基于并行剖分的原则,将网格数据分散存储到各进程的内存中,构建网格在一组进程的分布式存储;根据网格上已有分布式存储中源并行剖分,对网格数据进行重分布,构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储;根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储,构建分布式存储服务模型;根据所述分布式存储服务模型,执行服务功能;可以有效降低网格数据在一个进程上的运行内存,提升计算机的计算处理能力,解决耦合模式等数值程序发展和应用中面临的存储大规模网格的性能瓶颈。
-
公开(公告)号:CN113157806B
公开(公告)日:2022-05-24
申请号:CN202110417353.1
申请日:2021-04-19
Applicant: 清华大学
IPC: G06F16/27 , G06F16/2458 , G06F9/50
Abstract: 本发明提供一种网格数据分布式存储服务方法、装置、设备及介质,该方法包括:基于并行剖分的原则,将网格数据分散存储到各进程的内存中,构建网格在一组进程的分布式存储;根据网格上已有分布式存储中源并行剖分,对网格数据进行重分布,构建网格上与所述源并行剖分对应的目标并行剖分的分布式存储;根据所述网格在一组进程的分布式存储及所述目标并行剖分的分布式存储,构建分布式存储服务模型;根据所述分布式存储服务模型,执行服务功能;可以有效降低网格数据在一个进程上的运行内存,提升计算机的计算处理能力,解决耦合模式等数值程序发展和应用中面临的存储大规模网格的性能瓶颈。
-
公开(公告)号:CN113177329A
公开(公告)日:2021-07-27
申请号:CN202110567380.7
申请日:2021-05-24
Applicant: 清华大学
Abstract: 本申请提供的一种数值程序的数据处理系统,包括:输入配置模块,用于获取输入配置信息;管理模块,至少用于基于所述第一配置信息注册所述第一存储网格;数据传递与多维插值管理模块,至少用于完成M个I/O进程与所述数值程序的N个计算进程之间的数据传递;数据并行输入驱动模块,用于基于所述第二配置信息建立所述第一存储网格在所述M个I/O进程的并行剖分,并操作所述M个I/O进程从第一文件中读入变量对应的输入数据,在所述第一存储网格与所述变量的第一计算网格相同时,调用所述数据传递与多维插值管理模块使所述M个I/O进程将所述输入数据发送给N个计算进程,以将所述输入数据并行输入至所述变量。
-
公开(公告)号:CN111367665A
公开(公告)日:2020-07-03
申请号:CN202010127096.3
申请日:2020-02-28
Applicant: 清华大学
Abstract: 本发明提供一种并行通信路由建立方法及系统,该方法包括:发送端和接收端为相同网格建立所有网格点的全局索引,各进程基于网格点全局索引构建网格点局部-全局映射表;发送端/接收端对网格点局部-全局映射表中的各项在发送端/接收端所有进程之间进行并行排序;发送端与接收端的进程进行协作,并行建立发送端-接收端网格点映射关系表;发送端/接收端对发送端-接收端网格点映射关系表的各项在发送端/接收端的所有进程之间进行并行排序;发送端与接收端的各进程根据进程局部的发送端-接收端网格点映射关系表,生成各进程与对应接收端或发送端的进程的通信路由关系。本发明能快速建立数值程序间的并行通信路由关系,高效且具备并行可扩展性。
-
-
-
-
-