- 专利标题: 一种可保持titan实时数据一致性的高效并行加载方法
-
申请号: CN201710390469.4申请日: 2017-05-27
-
公开(公告)号: CN107038260B公开(公告)日: 2020-03-10
- 发明人: 毛洪亮 , 唐积强 , 王秀文 , 李焱余 , 苏沐冉 , 马秀娟 , 吴震 , 徐小磊 , 张露晨 , 李传海 , 李斌斌 , 蒲路 , 谢铭
- 申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
- 申请人地址: 北京市朝阳区裕民路甲3号
- 专利权人: 国家计算机网络与信息安全管理中心,北京赛思信安技术股份有限公司
- 当前专利权人: 国家计算机网络与信息安全管理中心,北京赛思信安技术股份有限公司
- 当前专利权人地址: 北京市朝阳区裕民路甲3号
- 代理机构: 北京永创新实专利事务所
- 代理商 赵文利
- 主分类号: G06F16/215
- IPC分类号: G06F16/215 ; G06F16/23 ; G06F16/2457 ; G06F16/25
摘要:
本发明公开了一种可保持titan实时数据一致性的高效并行加载方法,属于大数据处理领域;首先,将titan划分为7个并行工作的模块,清洗规则管理模块实时更新过滤规则;数据接收模块接收pieceOfData放入queue1中;数据清洗模块过滤合格数据放入queue2中;ID转换模块与高速索引模块交互,判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中;如果是,将titan内部ID属性与ID值替换点保存到pieceOfDataT中,放入到queue4中;否则,将未加载的点放入HashSet中,并将对应的pieceOfData放入queue3中;剩余数据加载模块多线程并行将pieceOfDataT加载到titan中;点加载模块负责将HashSet中点加入titan,将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能,从而实现整体上加载效率的提升。
公开/授权文献
- CN107038260A 一种可保持titan实时数据一致性的高效并行加载方法 公开/授权日:2017-08-11