- 专利标题: 一种可保持janusGraph数据一致性的分布式高效并行加载方法
-
申请号: CN202011622773.5申请日: 2020-12-31
-
公开(公告)号: CN112685419B公开(公告)日: 2021-09-10
- 发明人: 谢铭 , 蒲路 , 孟宪文
- 申请人: 北京赛思信安技术股份有限公司
- 申请人地址: 北京市朝阳区霞光里8号承冀诚大厦二层
- 专利权人: 北京赛思信安技术股份有限公司
- 当前专利权人: 北京赛思信安技术股份有限公司
- 当前专利权人地址: 北京市朝阳区霞光里8号承冀诚大厦二层
- 代理机构: 北京永创新实专利事务所
- 代理商 易卜
- 主分类号: G06F16/22
- IPC分类号: G06F16/22 ; G06F16/23 ; G06F16/2458 ; G06F16/27 ; G06F9/54
摘要:
本发明公开了一种可保持janusGraph实时数据一致性的高效并行加载方法,属于分布式图数据库领域,首先构建分布式结构;创建两个空的分布式队列;然后,实时接收数据并解析后存入队列一中;数据处理模块逐条取出,调用分布式索引模块中存在对应ID的数据加载到图数据库中,并将无法调用ID的点的唯一标志存入队列二中,点处理模块判断能否获取各标志对应的ID,如果能,则继续获取下一个进行判断;否则,将各标志加载到图数据库中,并产生对应的ID;同时将S与ID的对应关系保存;集群管理模块找寻主节点,并对各子节点分发任务,各子节点并行处理各自的分布式队列分区中的数据。本发明保证数据一致性的同时提高实时数据的并行加载。
公开/授权文献
- CN112685419A 一种可保持janusGraph数据一致性的分布式高效并行加载方法 公开/授权日:2021-04-20