基于Spark的地震数据抽道集处理方法、设备及介质
摘要:
本发明公开了一种基于Spark的地震数据抽道集处理方法、设备及介质。方法包括:将地震道集数据输入分布式文件系统中,对输入的地震道集数据进行分区;根据分区的方式构建地震道集数据的炮集RDD;将炮集RDD转换为道数据RDD;根据道数据RDD中每个元素的key值,构建key值RDD;按照目标道集的key值排序方式,对key值RDD进行规约和排序处理,获得新的key值RDD;根据新的key值RDD,抽取RDD分区模型,基于分区模型对道数据RDD进行重分区;对重分区后的分区数据并行处理,对每个分区中的相同道集的道数据规约,并按照道集内部的道排序规则对道进行排序;完成所有分区的处理后,获取目标道集类型的新RDD数据。实现提高抽道集处理效率的同时,节省存储空间。
0/0