公开(公告)号：CN117194373A

公开(公告)日：2023-12-08

申请号：CN202311101236.X

申请日：2023-08-29

Applicant: 北京百分点科技集团股份有限公司

Inventor： 刘译璟 ,  赵群 ,  程佳 ,  常明 ,  姜楠 ,  苏萌 ,  苏海波 ,  杨涵文

IPC: G06F16/21 ,  G06F16/28

Abstract: 本说明书实施例公开了一种数据迁移方法、数据迁移系统、电子设备及存储介质，属于数据处理技术领域，可以实现面向多种业务的统一数据迁移方式，改善数据迁移效率、安全性和实现成本。所述方法包括：从源数据仓库获取源任务数据，所述源数据仓库存储的任务数据包括多个任务实体的源数据；将所述源任务数据编译为由源服务器存储的镜像文件，并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件；基于所述镜像编译事件，将所述源服务器存储的镜像文件迁移至目标服务器，并生成所述待迁移的任务实体的镜像迁移事件，所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。

公开(公告)号：CN117370390A

公开(公告)日：2024-01-09

申请号：CN202311249702.9

申请日：2023-09-26

Applicant: 北京百分点科技集团股份有限公司

Inventor： 刘译璟 ,  赵群 ,  程佳 ,  常明 ,  姜楠 ,  苏萌 ,  苏海波 ,  杨涵文 ,  徐若萱 ,  杨庆淳

IPC: G06F16/2455 ,  G06F16/22 ,  G06Q10/0633

Abstract: 本申请实施例提供了一种基于数据血缘的工作流编排方法、装置、电子设备及存储介质，该方法包括：响应于数据稽核指令，获取待稽核的第一数据；对第一数据对应的元模型进行分析，得到第一数据的字段内容；从元数据标准的数据描述内容中确定与字段内容相匹配的目标数据描述内容，元数据标准的数据描述内容包括预先定义的字段信息；根据预设的数据描述内容与稽核规则的对应关系确定与目标数据描述内容对应的第一稽核规则；利用第一稽核规则对第一数据进行稽核。

公开(公告)号：CN116257305A

公开(公告)日：2023-06-13

申请号：CN202211725788.3

申请日：2022-12-30

Applicant: 北京百分点科技集团股份有限公司

Inventor： 姜楠 ,  刘译璟 ,  赵群 ,  程佳

IPC: G06F9/448

Abstract: 本申请公开一种数据治理方法、装置、计算机设备及存储介质，属于数据处理技术领域。该方法包括：获取待治理数据；根据待治理数据对应的多个任务信息，生成数据映射模板；将数据映射模板中的多个任务信息进行整合，根据整合后任务信息的任务类型，调用任务生成逻辑，生成相应的数据治理脚本；通过运行数据治理脚本，对待治理数据进行治理。这样，通过设计通用的数据映射模板用于表示数据治理各环境任务的生成关系，以便于跨脚本、跨类型、跨产品的任务整合，并且在预先配置任务生成逻辑的前提下，能够生成多种任务的数据治理脚本，从而可以降低数据治理的工作量，提高数据治理效率。

公开(公告)号：CN117668229A

公开(公告)日：2024-03-08

申请号：CN202311684640.4

申请日：2023-12-08

Applicant: 北京百分点科技集团股份有限公司

Inventor： 刘译璟 ,  苏萌 ,  江之源 ,  程佳 ,  姜楠 ,  寇蕾蕾 ,  巨旭东

IPC: G06F16/35 ,  G06F16/33 ,  G06F18/213

Abstract: 本发明属于信息技术领域，提供了一种元模型自动采集分类管理的方法、装置及存储介质。主旨在于解决以现有元模型无法进行自动采集和分类的问题。主要方案包括通过数据采集、元模型字段生成、元模型生成、元模型分类和模型入库模块等步骤，实现了一种元模型自动采集分类管理的方法。该方法能够提高数据处理的效率和准确性，解决数据源信息复杂、多样化和不精准的问题，为后续分类工作提供基础数据支持。同时，该方案具有可扩展性和可维护性，能够适应不同场景和需求。

公开(公告)号：CN117667998A

公开(公告)日：2024-03-08

申请号：CN202311678652.6

申请日：2023-12-08

Applicant: 北京百分点科技集团股份有限公司

Inventor： 刘译璟 ,  苏萌 ,  江之源 ,  程佳 ,  姜楠 ,  巨旭东 ,  寇蕾蕾

IPC: G06F16/2453 ,  G06F16/2455

Abstract: 本发明涉及数据管理和查询优化领域，提供了一种基于数据湖的查询优化方法、装置及存储介质。本发明的目的在于解决数据湖存算分离架构，需要一种技术来减少网络传输带宽消耗，提升查询速度的技术问题。主要方案包括在数据湖中进行数据变化检测，根据数据变化和数据的冷热状态进行数据缓存管理，在查询计划优化阶段利用数据变化和数据缓存的信息，对已经缓存的数据，可以直接从缓存中获取，对于变化的未缓存的数据，从数据湖中查询；对查询结果进行整合，如果查询结果来自缓存，可以直接返回给用户；如果查询结果来自数据湖，需要将其与缓存中的数据合并成结果集返回给查询器，并根据数据的时间戳更新缓存中的最新数据，保证查询结果的准确性。