一种基于Spark的网格水文模型分布式计算方法
摘要:
本发明公开了一种基于Spark的网格水文模型分布式计算方法,步骤为:先对网格水文模型计算参数采用netCDF格式进行描述,再基于XML规范对网格水文模型构件及其依赖关系进行描述;然后采用Spark分布式计算模型对网格水文模型的构件进行调度和计算,最后对调度计算后各构件生成的结果进行输出。本发明定义了基于netCDF的模型参数以及模型计算结果描述格式,描述网格水文模型计算时使用到的流域特征、模型参数以及监测点和流域面上的水文数据;定义了基于XML的网格水文模型构件以及各构件之间的依赖关系描述规范;根据构件计算时网格之间的依赖关系,使用Hash分区法和动态数据分区法对网格进行任务划分,并分配到不同的节点进行计算,减少了数据分发量,提高计算速度。
公开/授权文献
0/0