公开(公告)号：CN117668229A

公开(公告)日：2024-03-08

申请号：CN202311684640.4

申请日：2023-12-08

Applicant: 北京百分点科技集团股份有限公司

Inventor： 刘译璟 ,  苏萌 ,  江之源 ,  程佳 ,  姜楠 ,  寇蕾蕾 ,  巨旭东

IPC: G06F16/35 ,  G06F16/33 ,  G06F18/213

Abstract: 本发明属于信息技术领域，提供了一种元模型自动采集分类管理的方法、装置及存储介质。主旨在于解决以现有元模型无法进行自动采集和分类的问题。主要方案包括通过数据采集、元模型字段生成、元模型生成、元模型分类和模型入库模块等步骤，实现了一种元模型自动采集分类管理的方法。该方法能够提高数据处理的效率和准确性，解决数据源信息复杂、多样化和不精准的问题，为后续分类工作提供基础数据支持。同时，该方案具有可扩展性和可维护性，能够适应不同场景和需求。

公开(公告)号：CN117667998A

公开(公告)日：2024-03-08

申请号：CN202311678652.6

申请日：2023-12-08

Applicant: 北京百分点科技集团股份有限公司

Inventor： 刘译璟 ,  苏萌 ,  江之源 ,  程佳 ,  姜楠 ,  巨旭东 ,  寇蕾蕾

IPC: G06F16/2453 ,  G06F16/2455

Abstract: 本发明涉及数据管理和查询优化领域，提供了一种基于数据湖的查询优化方法、装置及存储介质。本发明的目的在于解决数据湖存算分离架构，需要一种技术来减少网络传输带宽消耗，提升查询速度的技术问题。主要方案包括在数据湖中进行数据变化检测，根据数据变化和数据的冷热状态进行数据缓存管理，在查询计划优化阶段利用数据变化和数据缓存的信息，对已经缓存的数据，可以直接从缓存中获取，对于变化的未缓存的数据，从数据湖中查询；对查询结果进行整合，如果查询结果来自缓存，可以直接返回给用户；如果查询结果来自数据湖，需要将其与缓存中的数据合并成结果集返回给查询器，并根据数据的时间戳更新缓存中的最新数据，保证查询结果的准确性。