一种对大规模可再生能源数据进行快速概率建模方法
摘要:
本发明公开了一种对大规模可再生能源数据进行快速概率建模方法,包含以下过程:基于Spark和HDFS为新能源快速建模搭建分布式并行框架,使该框架与可再生能源现有的存储系统兼容;利用RDD容错和基于内存计算的特点,构建求解Wakeby分布的血缘图,从而实现基于RDD的新型Wakeby分布快速估计算法;推导了该并行估计算法的计算时间与样本数据量以及Spark两个重要的可调参数的函数关系。发明推导的算法的时间消耗与样本大小、并行度、分区数的函数关系有助于在给定的样本数据量下帮助程序员在Spark平台上程序调优、在给定配置下的时间消耗预测以及在期望时间下的硬件配置。
0/0