公开(公告)号：CN116860800A

公开(公告)日：2023-10-10

申请号：CN202310790681.5

申请日：2023-06-29

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： G06F16/2455 ,  G06F16/2453 ,  G06F16/248 ,  G06F9/455

摘要： 本申请提供基于数据虚拟化的数据查询方法、装置、设备及介质。所述方法包括：获取数据查询请求，所述数据查询请求包含多个查询任务。每个查询任务分别包含查询类型和目标数据源。针对每个查询任务，分别基于所述查询任务的查询类型和目标数据源，确定所述查询任务的查询速率。获取所述目标数据源的数据资源量；基于所述数据资源量和查询速率，计算所述查询任务的预计响应时长。为所述查询任务设置延时等待时长；所述延时等待时长为所述各个查询任务中预计响应时长的最大值与所述查询任务的预计响应时长的差。分别向所述各个目标数据源下发对应的查询任务，以使所述各个目标数据源执行所述查询任务，和等待对应的延时等待时长后返回查询结果。

公开(公告)号：CN116860390A

公开(公告)日：2023-10-10

申请号：CN202310792937.6

申请日：2023-06-29

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： G06F9/455 ,  G06F16/22 ,  G06F16/27 ,  G06F16/2458 ,  G06F16/242 ,  G06F16/215

摘要： 本申请提供一种基于数据虚拟化的数据分组方法、装置、设备及介质。所述方法应用于数据虚拟化连接网关，数据虚拟化网关与数据虚拟化层和数据源连接。所述方法包括：获取各数据虚拟化层对应的数据表分组规则和各数据源中的数据表的属性特征信息；数据表分组规则指示允许被数据虚拟化层访问的数据的属性特征；基于各数据虚拟化层对应的分组规则，分别对数据表进行分组，得到数据表分组；响应于接收到目标数据虚拟化层发起的元数据同步请求，发送给各数据源，以接收返回的元数据；基于目标数据虚拟化层对应的目标数据表分组包含的目标数据表，对元数据进行过滤，得到允许目标数据虚拟化层接收的元数据；将过滤后的元数据返回给目标数据虚拟化层。

公开(公告)号：CN113507475B

公开(公告)日：2022-12-23

申请号：CN202110796305.8

申请日：2021-07-14

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： H04L9/40 ,  H04L61/25 ,  H04L67/141

摘要： 本发明披露一种跨域访问的方法和装置，其中，该方法用于实现源域到目标域的跨域访问，该方法应用于所述源域网关，该方法包括：接收内网用户发送的目标服务查询请求；向所述目标域网关发送所述目标服务查询请求，以使所述目标域网关返回所述目标服务对应的域间链接；基于所述域间链接、以及所述源域网关的内网地址，生成所述目标服务对应的域内链接，并向所述用户返回所述目标服务对应的域内链接，以使所述用户向所述域内链接发起访问请求；在接收到所述用户向所述域内链接发起的访问请求后，基于所述域间链接向所述目标域网关发起访问请求，以实现跨域访问。由此，本说明书实施例在服务域中设置源域网关和目标域网关，实现两个单一域之间的访问。

公开(公告)号：CN113868237A

公开(公告)日：2021-12-31

申请号：CN202111165400.4

申请日：2021-09-30

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程 ,  崔晓峰

IPC分类号： G06F16/215 ,  G06F16/28

摘要： 本申请提供一种数据清洗方法及装置，应用于多级数据仓库中任一数据仓库对应的目标清洗节点，所述方法包括：从所述任一数据仓库中确定待清洗的目标数据并创建针对所述目标数据的清洗任务，所述清洗任务包含所述目标数据信息以及清洗规则；确定所述目标数据的来源数据仓库，并根据数据仓库与清洗节点之间的映射关系确定所述来源数据仓库对应的目标清洗子节点；同步所述清洗任务至所述目标清洗子节点，使所述来源数据仓库根据相应的目标清洗子节点下发的清洗任务对所述目标数据进行清洗。

公开(公告)号：CN109688214B

公开(公告)日：2021-11-23

申请号：CN201811582779.7

申请日：2018-12-24

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： H04L29/08

摘要： 本发明提出一种数据传输方法及装置，其中方法包括：获取待传输的数据包，以及数据包对应的目的数据节点的虚拟地址信息和真实地址信息；将携带数据包以及虚拟地址信息的数据报文发送至网络设备，以使网络设备根据虚拟地址信息查询端口列表，获取虚拟地址信息对应的各个端口，并对数据报文进行多份复制，分别通过各个端口发送出去，直至到达目的数据节点；在获取到所有目的数据节点返回的携带真实地址信息的确认报文时，确定数据包传输完成，获取下一个待传输的数据包进行传输，从而能够通过对待传输的数据包的一次传输，实现各个目的数据节点都能接收到数据包，且各个目的数据节点并行进行确认，确认时间短，提高了数据写入效率。

公开(公告)号：CN113094373A

公开(公告)日：2021-07-09

申请号：CN202110449106.X

申请日：2021-04-25

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： G06F16/22 ,  G06Q10/06 ,  G06Q10/10

摘要： 本申请提供一种资源目录管理方法及装置，该方法可以包括：获取所述数据级联目录系统中的第二目录系统节点发布的资源目录；确定所述第一目录系统节点与所述第二目录系统节点之间的归属关系；在所述第二目录系统节点与所述第一目录系统节点属于同一联盟的情况下，根据所述资源目录生成虚拟本地资源目录，并将所述虚拟本地资源目录的下一跳地址设置为所述第二目录系统节点。通过本申请的技术方案，可以不需要经过申请和审批，直接获取到联盟内其他目录系统节点发布的资源目录所对应的资源，避免审批过程所带来的时间浪费，提高资源获取效率。

公开(公告)号：CN111756798A

公开(公告)日：2020-10-09

申请号：CN202010400542.3

申请日：2020-05-13

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： H04L29/08 ,  H04L29/06

摘要： 本申请提出一种基于网关级联的服务调度方法、装置、设备和存储介质，其中，方法包括：第一级网关处于资源紧缺状态且第二级网关处于资源正常状态；第一级网关接收服务订阅请求并分析，确定第一订阅服务等级、第二级网关和第二订阅服务等级；获取第二级网关的网关权重，根据网关权重和第二订阅服务等级确定第二订阅服务的服务优先级；获取与第一订阅服务等级的第一告警阈值，服务优先级的第二告警阈值；根据第一告警阈值、第二告警阈值和第一级网关的资源状态信息确定是否响应服务订阅请求。由此，在网关级联场景下，上级网关能够基于上级网关上的服务优先级、下级网关的优先级和下级网关上的服务优先级进行服务调度，保障高优先级服务可以访问。

公开(公告)号：CN113360270B

公开(公告)日：2024-02-27

申请号：CN202110736384.3

申请日：2021-06-30

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程 ,  韩钰

IPC分类号： G06F9/48 ,  G06F9/50 ,  G06F16/215

摘要： 本申请提供一种数据清洗任务处理方法、装置、电子设备及机器可读存储介质，所述方法包括：步骤102：基于预估模型，获取待执行的数据清洗任务的预估任务时长；其中，所述预估模型包括将与若干历史数据清洗任务执行相关的关键属性作为输入，并将若干历史数据清洗任务的实际任务时长作为输出，训练得到的机器学习模型；所述数据清洗任务包括针对从大数据平台获取到的待清洗数据进行数据清洗的任务；步骤104：响应于所述数据清洗任务被执行，确定所述数据清洗任务的当前运行时长是否超过所述数据清洗任务的预估任务时长；步骤106：如果否，则继续执行步骤104，直至所述数据清洗任务执行完毕。

公开(公告)号：CN111552730B

公开(公告)日：2024-01-26

申请号：CN202010351670.3

申请日：2020-04-28

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： G06F16/25

摘要： 本发明公开了数据分发方法、装置、电子设备、存储介质。数据分发方法包括：合并所述至少两个目的数据库的数据需求；从所述源数据库中抽取符合合并后的数据需求的数据集；根据每个目的数据库的数据需求分别从所述数据集中获取目标数据并写入对应的目的数据库。ETL节点从源数据库中抽取数据并分发给至少两个目的数据库时，只需建立一个数据分发任务，ETL节点分别与源数据库和至少两个目的数据库连接，并将目的数据库的数据需求进行合并，根据合并后的数据需求从源数据库中抽取数据集，源数据库无需与每个目的数据库建立连接，不存在重复的数据抽取，可以大大减小源数据库的资源占用率。

公开(公告)号：CN111046091B

公开(公告)日：2023-12-08

申请号：CN201911018953.X

申请日：2019-10-24

申请人： 杭州数梦工场科技有限公司

发明人： 林鹏程

IPC分类号： G06F16/25 ,  G06F16/21

摘要： 本申请提出了一种数据交换系统的运行方法、装置及设备，其中，方法包括：响应于当前运行的数据交换任务，获取目标数据库的负载状态；比较负载状态与预设的预警阈值；若负载状态大于预警阈值，则通过阶梯调整的方式降低数据交换任务的速率，以使负载状态小于等于预警阈值。由此，能够根据数据库的负载状态，自适应调节数据交换损耗，降低对生产作业的性能影响，且通过自适应调整，在降低负载的同时实现更优的交换速率。