-
公开(公告)号:CN116244309A
公开(公告)日:2023-06-09
申请号:CN202310140615.3
申请日:2023-02-13
申请人: 北京百分点科技集团股份有限公司
摘要: 本申请实施例提供了一种数据获取的方法、装置、电子设备和计算机可读介质,涉及大数据技术领域。所述方法包括:确定用于表示数据仓库中数据流转情况的图谱结构,所述图谱结构包括用于表示数据从源数据库接入到所述数据仓库的数据接入节点;根据所述图谱结构,确定目标数据的所述数据接入节点;获取与所述数据接入节点对应的数据源信息。
-
公开(公告)号:CN116226680A
公开(公告)日:2023-06-06
申请号:CN202310126666.0
申请日:2023-02-16
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F18/22 , G06N3/0464 , G06N3/045
摘要: 本申请实施例提供了一种数据处理方法及装置,包括:接收对数据集成中业务数据的分析指令;响应于所述分析指令,获取所述业务数据的元数据和所述业务数据的数据内容,所述元数据指示所述业务数据的数据属性;将所述元数据输入到第一模型中进行第一处理,得到第一处理结果,所述第一处理用于计算所述元数据与参考元数据之间的相似度;将所述数据内容输入到第二模型中进行第二处理,得到第二处理结果,所述第二处理用于计算所述数据内容与参考数据内容之间的相似度;根据所述第一处理结果和所述第二处理结果确定所述业务数据的第三处理结果。
-
公开(公告)号:CN111367907B
公开(公告)日:2022-11-15
申请号:CN202010098697.6
申请日:2020-02-18
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F16/22 , G06F16/242
摘要: 本发明公开了一种数据检索语句生成方法、装置、电子设备以及计算机可读存储介质。该方法包括:接收数据检索语句生成请求;数据检索语句生成请求包含检索语句模板标识和关键词;响应于检索语句生成请求,从实例池中获取实例作为目标实例;实例池存储有预先设置的实例;调用获取的目标实例执行基于模板引擎的数据检索语句生成方法。采用该方法可以提高数据检索语句的生成效率。
-
公开(公告)号:CN112732987A
公开(公告)日:2021-04-30
申请号:CN202011642227.8
申请日:2020-12-31
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F16/904 , G06F16/901 , G06F16/903
摘要: 本申请公开一种全生命周期数据地图生成系统,由多源异构数据接入任务获取数据源的数据,由数据转换任务、数据治理任务和多样化数据处理脚本任务分别确定第一血缘关系、第二血缘关系和第三血缘关系,由数据源表多维统计任务确定第一数据和第二数据在指定分析维度下的信息;由数据地图生成模块根据该些血缘关系和所述指定分析维度下的信息生成数据地图并展示,从而解决了现有技术中的数据地图生成与展示方式,无法生成并展示不同分析维度下的信息和多源数据之间的血缘关系的问题,有效丰富数据地图的信息展示分析维度,提升数据地图信息的分析结果的适用宽度。本申请还公开一种全生命周期数据地图生成方法。
-
公开(公告)号:CN116303528A
公开(公告)日:2023-06-23
申请号:CN202211631876.7
申请日:2022-12-19
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F16/242 , G06F16/2453 , G06F16/2455 , G06F16/248
摘要: 本申请公开了一种数据探查方法、装置及设备。该方法包括:响应于目标探查请求,对所述目标探查请求进行解析,以获取所述目标探查请求对应的数据探查参数,所述数据探查参数包括用于指示所述目标数据探查请求对应的目标数据源的参数;基于数据探查参数名称与数据探查参数值之间的对应关系,将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中,以建立所述目标数据探查请求对应的目标数据探查任务;以及依据所述数据探查参数中用于指示所述目标数据源的参数,将所述目标数据探查任务与所述目标数据源进行关联;执行所述目标数据探查任务,以对所述目标数据源进行数据探查,获取所述目标数据探查任务对应的数据探查结果。
-
公开(公告)号:CN116257305A
公开(公告)日:2023-06-13
申请号:CN202211725788.3
申请日:2022-12-30
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F9/448
摘要: 本申请公开一种数据治理方法、装置、计算机设备及存储介质,属于数据处理技术领域。该方法包括:获取待治理数据;根据待治理数据对应的多个任务信息,生成数据映射模板;将数据映射模板中的多个任务信息进行整合,根据整合后任务信息的任务类型,调用任务生成逻辑,生成相应的数据治理脚本;通过运行数据治理脚本,对待治理数据进行治理。这样,通过设计通用的数据映射模板用于表示数据治理各环境任务的生成关系,以便于跨脚本、跨类型、跨产品的任务整合,并且在预先配置任务生成逻辑的前提下,能够生成多种任务的数据治理脚本,从而可以降低数据治理的工作量,提高数据治理效率。
-
公开(公告)号:CN116069502A
公开(公告)日:2023-05-05
申请号:CN202211738502.5
申请日:2022-12-30
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F9/50
摘要: 本申请公开了一种数据处理的动态控制方法及设备。该方法包括:响应于待处理的目标数据流任务的任务处理请求,获取所述目标数据流任务的任务配置信息和所述数据处理设备的任务策略配置信息,所述目标数据流任务的任务配置信息包含有所述目标数据流任务的数据量,所述任务策略配置信息中包含有所述数据处理设备的做大处理流量、单元任务的资源配置信息;基于所述目标数据流任务的任务配置信息、所述目标数据流任务的任务策略优先级和所述任务策略信息,确定处理所述目标数据流任务的资源配置信息;基于处理所述目标数据流任务的资源配置信息,为所述目标数据流任务分配资源,以处理所述目标数据流任务。
-
公开(公告)号:CN112015372B
公开(公告)日:2022-12-23
申请号:CN202010721314.6
申请日:2020-07-24
申请人: 北京百分点科技集团股份有限公司
摘要: 本说明书实施例提供一种异构服务的编排方法、处理方法、装置及电子设备。编排方法包括:创建目标异构服务,所述目标异构服务包含有至少两种协议构架的微服务。配置所述目标异构服务需要的至少两个微服务节点、所述至少两个微服务节点的拓扑路径、所述至少两个微服务节点之间的数据汇总逻辑以及虚拟适配器,所述虚拟适配器用于基于所述至少两种协议构架的协议语言,对所述目标异构服务的服务请求数据进行解析并分拣输入至对应的所述至少两个微服务节点。基于配置得到的所述目标异构服务需要的至少两个微服务节点、所述至少两个微服务节点的拓扑路径、所述至少两个微服务节点之间的数据汇总逻辑以及虚拟适配器,构建所述目标异构服务的执行引擎。
-
公开(公告)号:CN117370390A
公开(公告)日:2024-01-09
申请号:CN202311249702.9
申请日:2023-09-26
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F16/2455 , G06F16/22 , G06Q10/0633
摘要: 本申请实施例提供了一种基于数据血缘的工作流编排方法、装置、电子设备及存储介质,该方法包括:响应于数据稽核指令,获取待稽核的第一数据;对第一数据对应的元模型进行分析,得到第一数据的字段内容;从元数据标准的数据描述内容中确定与字段内容相匹配的目标数据描述内容,元数据标准的数据描述内容包括预先定义的字段信息;根据预设的数据描述内容与稽核规则的对应关系确定与目标数据描述内容对应的第一稽核规则;利用第一稽核规则对第一数据进行稽核。
-
公开(公告)号:CN112732987B
公开(公告)日:2022-12-06
申请号:CN202011642227.8
申请日:2020-12-31
申请人: 北京百分点科技集团股份有限公司
IPC分类号: G06F16/904 , G06F16/901 , G06F16/903
摘要: 本申请公开一种全生命周期数据地图生成系统,由多源异构数据接入任务获取数据源的数据,由数据转换任务、数据治理任务和多样化数据处理脚本任务分别确定第一血缘关系、第二血缘关系和第三血缘关系,由数据源表多维统计任务确定第一数据和第二数据在指定分析维度下的信息;由数据地图生成模块根据该些血缘关系和所述指定分析维度下的信息生成数据地图并展示,从而解决了现有技术中的数据地图生成与展示方式,无法生成并展示不同分析维度下的信息和多源数据之间的血缘关系的问题,有效丰富数据地图的信息展示分析维度,提升数据地图信息的分析结果的适用宽度。本申请还公开一种全生命周期数据地图生成方法。
-
-
-
-
-
-
-
-
-