一种基于 Spark 语义的数据重用方法及其系统
Abstract:
一种基于Spark语义的数据重用方法及其系统,其中,所述方法包括:语义信息收集步骤、收集Spark应用运行时的语义信息(S1);语义维护步骤、维护来自所述语义信息收集步骤所收集到的语义信息(S2);数据主动缓存步骤、根据所述语义信息和预设的阈值模型缓存未被用户程序显式缓存的数据(S3);缓存数据迁移步骤、根据所述语义信息和预设的阈值模型将缓存数据在动态随机存取存储器与固定存储器之间迁移(S4)。本方法及系统能减少重复数据计算,提升计算效率,有效避免了对开发人员经验的依赖。
Patent Agency Ranking
0/0