一种分布式多维离散数据的计算方法
摘要:
本发明涉及一种分布式多维离散数据的计算方法,属于计算机数据处理技术领域。该方法首先调用分布式存储系统的服务接口获取元数据并解析得到哈希范围到主机的映射关系,其次对存储系统中所有数据的主键根据主键到哈希码的映射关系和哈希范围到主机的映射关系得到每条数据的主键对应的主机,最终分布式计算系统在分配任务时根据数据的主键所在的主机分配任务。特别地,本文详细描述了多维离散数据在分布式计算系统Spark和分布式存储系统Cassandra间的跨层优化。本发明能够有效地达到任务本地化计算的目的,方法直观有效、便于使用。
公开/授权文献
0/0