公开(公告)号：CN118152411A

公开(公告)日：2024-06-07

申请号：CN202311715625.1

申请日：2023-12-13

Applicant: 中国联合网络通信集团有限公司

Inventor： 陈林 ,  宁秋怡 ,  宋文龙 ,  唐兵兵 ,  冯毅 ,  王翔 ,  马又良 ,  宋羽 ,  赵越

IPC: G06F16/23 ,  G06F16/22

Abstract: 本申请提供一种数据更新方法、装置及存储介质，涉及数据处理技术领域，能够解决现有hive数据库无法支持数据的实时查询和更新操作的问题。该方法包括：将更新数据存储至hiveI表，并记录更新数据的操作次序，hiveI表中包含原始数据，原始数据的操作次序小于更新数据的操作次序，将物理删除数据存储至hiveD表，并记录物理删除数据的操作次序，hiveD表中包含逻辑删除数据，逻辑删除数据的操作次序小于物理删除数据的操作次序，基于hiveI表中的操作次序和hiveD表中的操作次序，得到目标数据，hiveI表中的操作次序和hiveD表中的操作次序均顺次增加。本申请实施例用于对hive数据库中的数据进行实时更新的过程中。

公开(公告)号：CN118113680A

公开(公告)日：2024-05-31

申请号：CN202311667457.3

申请日：2023-12-06

Applicant: 中国联合网络通信集团有限公司

Inventor： 宋文龙 ,  宁秋怡 ,  冯毅 ,  王翔 ,  陈林 ,  马又良 ,  汪振威 ,  刘欢 ,  顾娟 ,  宋羽 ,  赵越 ,  施晓光 ,  曹友园

IPC: G06F16/21 ,  G06F16/27 ,  G06F11/14

Abstract: 本申请提供了一种数据迁移方法、装置及存储介质，涉及通信技术领域，能够用于提高网络资源数据实时迁移的效率和准确性。该方法包括：获取待迁移数据的数据迁移类型；基于数据迁移类型，匹配待迁移数据对应的目标迁移方式；其中，目标迁移方式均满足持续增量备份策略；持续增量备份策略用于备份待迁移数据在迁移过程中实时变化的部分；基于目标迁移方式，将待迁移数据迁移至目标数据平台。本申请用于数据迁移。

公开(公告)号：CN119149634A

公开(公告)日：2024-12-17

申请号：CN202411139637.9

申请日：2024-08-19

Applicant: 中国联合网络通信集团有限公司

Inventor： 宁秋怡 ,  冯毅 ,  马又良 ,  陈琦 ,  王翔 ,  赵玮 ,  陈林 ,  李晓昱 ,  宋文龙 ,  张敏 ,  赵越

IPC: G06F16/27 ,  G06F16/23

Abstract: 本申请实施例提供一种实时数据同步的处理方法、装置、设备及存储介质。该方法包括：在数据同步过程中，根据日志变更信息更新事务步骤表和用户操作表，其中，事务步骤表中存储有事务标识和事务标识对应的操作信息，操作信息包括至少一个操作步骤以及操作执行顺序；获取事务步骤表中属于同一事务标识的两个操作步骤，根据事务标识和操作执行顺序，判断操作执行顺序是否满足预设顺序；若不满足，根据事务标识在用户操作表中获取目标数据更新指令；生成第一数据补偿指令，并向分布式节点发送第一数据补偿指令，补偿了下游系统在数据同步过程中由于至少一个操作步骤的操作执行顺序错误造成的数据缺失问题，保证了下游系统的数据一致性。