发明公开
- 专利标题: 基于分布式文件系统流式数据实时更新插入合并处理方法
-
申请号: CN202211522988.9申请日: 2022-11-30
-
公开(公告)号: CN115729899A公开(公告)日: 2023-03-03
- 发明人: 田钺 , 缪新萍 , 董若烟 , 李文科 , 孔庆波 , 李洵 , 孙收余 , 朱昌会 , 姚舜 , 王益彰
- 申请人: 贵州电网有限责任公司
- 申请人地址: 贵州省贵阳市南明区滨河路17号
- 专利权人: 贵州电网有限责任公司
- 当前专利权人: 贵州电网有限责任公司
- 当前专利权人地址: 贵州省贵阳市南明区滨河路17号
- 代理机构: 贵阳中新专利商标事务所
- 代理商 商小川
- 主分类号: G06F16/16
- IPC分类号: G06F16/16 ; G06F16/182 ; G06F16/13
摘要:
本发明公开了一种基于分布式文件系统流式数据实时更新插入合并处理方法,所述方法包括:步骤1、在分布式文件系统上对接入的流式数据以单个表为单位按时间间隔进行分区操作;步骤2、采用流数据中主键字段的值作为该条数据的key值;步骤3、将数据的key值和当前数据所在的分区号建立唯一映射关系,把这种映射关系存放在第三方数据库中,利用第三方数据库完成索引的构建;步骤4、当每条流式数据开始接入时,执行更新或插入操作;步骤5、根据触发机制来对分区文件夹中的文件进行合并;解决了现有技术的分布式文件系统中无法实时对流数据更新插入的合并操作。