Invention Application
- Patent Title: 一种基于 Spark 语义的数据重用方法及其系统
- Patent Title (English): WO2018054035A1 - Spark semantics-based data reuse method and system thereof
-
Application No.: PCT/CN2017/079533Application Date: 2017-04-06
-
Publication No.: WO2018054035A1Publication Date: 2018-03-29
- Inventor: 陆克中 , 毛一帆 , 黄泽成 , 王明俭 , 毛睿 , 廖好
- Applicant: 深圳大学
- Applicant Address: 中国广东省深圳市南山区南海大道3688号, Guangdong 518060 CN
- Assignee: 深圳大学
- Current Assignee: 深圳大学
- Current Assignee Address: 中国广东省深圳市南山区南海大道3688号, Guangdong 518060 CN
- Agency: 深圳市恒申知识产权事务所(普通合伙)
- Priority: CN201610835530.7 20160920
- Main IPC: G06F12/08
- IPC: G06F12/08
Abstract:
一种基于Spark语义的数据重用方法及其系统,其中,所述方法包括:语义信息收集步骤、收集Spark应用运行时的语义信息(S1);语义维护步骤、维护来自所述语义信息收集步骤所收集到的语义信息(S2);数据主动缓存步骤、根据所述语义信息和预设的阈值模型缓存未被用户程序显式缓存的数据(S3);缓存数据迁移步骤、根据所述语义信息和预设的阈值模型将缓存数据在动态随机存取存储器与固定存储器之间迁移(S4)。本方法及系统能减少重复数据计算,提升计算效率,有效避免了对开发人员经验的依赖。
Information query