一种用于doris的数据增量统计方法、装置、设备及存储介质

    公开(公告)号:CN117520408B

    公开(公告)日:2024-11-05

    申请号:CN202311447019.6

    申请日:2023-11-01

    发明人: 何俊杰 黄微

    摘要: 本发明公开了一种用于Doris的数据增量统计方法、装置、设备及存储介质,所述方法包括:根据获取的统计报表进行字段的划分,确定所述统计报表对应的统计指标字段和统计维度字段;根据所述统计维度字段及所述统计指标字段,通过调用Doris中预设的聚合模型对存储在所述Doris的明细层中的数据进行聚合,获得所述统计报表对应的统计数据;根据所述统计数据,通过调用所述Doris中预设的数据统计函数计算所述统计数据的个数,获得所述统计报表对应的数据统计结果,以使提高数据增量统计的效率。

    一种用于doris的数据增量统计方法、装置、设备及存储介质

    公开(公告)号:CN117520408A

    公开(公告)日:2024-02-06

    申请号:CN202311447019.6

    申请日:2023-11-01

    发明人: 何俊杰 黄微

    摘要: 本发明公开了一种用于Doris的数据增量统计方法、装置、设备及存储介质,所述方法包括:根据获取的统计报表进行字段的划分,确定所述统计报表对应的统计指标字段和统计维度字段;根据所述统计维度字段及所述统计指标字段,通过调用Doris中预设的聚合模型对存储在所述Doris的明细层中的数据进行聚合,获得所述统计报表对应的统计数据;根据所述统计数据,通过调用所述Doris中预设的数据统计函数计算所述统计数据的个数,获得所述统计报表对应的数据统计结果,以使提高数据增量统计的效率。

    回执信息推送方法、系统及存储介质

    公开(公告)号:CN115914152A

    公开(公告)日:2023-04-04

    申请号:CN202211245038.6

    申请日:2022-10-12

    摘要: 本发明公开了一种回执信息推送方法、系统及存储介质,应用于消息推送技术领域,能够有效缓解回执丢失的问题,并提高回执信息推送的整体推送效率。该方法包括:获取所述回执信息的推送地址;确定获取到所述推送地址,根据所述推送地址通过第一推送线程池将所述回执信息推送至目标接收端得到推送结果;确定所述推送结果为推送失败,根据所述回执信息生成第一延迟推送消息;将所述第一延迟推送消息投递至第二推送线程池;通过所述第二推送线程池将所述第一延迟推送消息推送至所述目标接收端。

    一种短信提交报告和回执报告的处理方法与系统

    公开(公告)号:CN115802298A

    公开(公告)日:2023-03-14

    申请号:CN202211343257.8

    申请日:2022-10-31

    发明人: 何俊杰 朱渊 黄微

    IPC分类号: H04W4/14 H04L67/10

    摘要: 本发明公开了一种短信提交报告和回执报告的处理方法与系统,包括接收来自运营商的回执报告,获取存储于redis分布式系统中的所有提交报告,将回执报告与所有提交报告进行匹配,若匹配成功则将回执报告返回给对应的客户和内部系统,并删除回执报告对应的提交报告,若匹配不成功则判断匹配次数是否达到预设的最大次数,若匹配次数达到预设的最大次数则结束匹配,若匹配次数未达到预设的最大次数,则根据回执报告生成对应的mq消息并投递到消息队列中进行等待,直至等待时间达到预设的延迟时间后再次将回执报告与所有提交报告进行匹配,通过引入多次匹配机制解决了多次匹配不上的问题,解决了单点问题,节省了内存空间,提高了匹配效率。

    一种flink的打包方法、装置、设备及存储介质

    公开(公告)号:CN117519774A

    公开(公告)日:2024-02-06

    申请号:CN202311446999.8

    申请日:2023-11-01

    发明人: 何俊杰 黄微

    IPC分类号: G06F8/71 G06F8/61 G06F9/455

    摘要: 本发明公开了一种flink的打包方法、装置、设备及存储介质,所述方法包括:新建flink作业的一子模块;获取所述flink作业所涉及的第三方依赖jar包;将所述第三方依赖jar包存放于所述子模块中;将所述第三方依赖jar包的依赖范围设定成Compile、将flink作业在引用所述子模块时的依赖范围设定成Provider;将所述子模块进行打包,并存放到flink的lib目录下。通过实施本发明,可以将第三方依赖jar包与flink作业进行有效隔离,以提高资源的利用率。

    点对点通信方法、数据通信系统、计算机设备、存储介质

    公开(公告)号:CN114422591A

    公开(公告)日:2022-04-29

    申请号:CN202111580278.7

    申请日:2021-12-22

    发明人: 何俊杰 黄卓杰

    IPC分类号: H04L67/562 H04L67/104

    摘要: 本公开实施例提供一种点对点通信方法、数据通信系统、计算机设备、存储介质,属于通信技术领域,所述方法包括:数据发送节点从多个中间节点中选择一个主中间节点;所述数据发送节点向所述主中间节点发送目标数据;所述主中间节点根据存储的所述第一接收节点信息,向所述接收节点发送所述目标数据。通过数据发送节点直接选择主中间节点,避免通过查询注册中心的海量数据的方式来确定主中间节点,减少了注册中心处理海量数据的负担。

    一种flink的打包方法、装置、设备及存储介质

    公开(公告)号:CN117519774B

    公开(公告)日:2024-07-16

    申请号:CN202311446999.8

    申请日:2023-11-01

    发明人: 何俊杰 黄微

    IPC分类号: G06F8/71 G06F8/61 G06F9/455

    摘要: 本发明公开了一种flink的打包方法、装置、设备及存储介质,所述方法包括:新建flink作业的一子模块;获取所述flink作业所涉及的第三方依赖jar包;将所述第三方依赖jar包存放于所述子模块中;将所述第三方依赖jar包的依赖范围设定成Compile、将flink作业在引用所述子模块时的依赖范围设定成Provider;将所述子模块进行打包,并存放到flink的lib目录下。通过实施本发明,可以将第三方依赖jar包与flink作业进行有效隔离,以提高资源的利用率。

    一种消费优先级实现方法、系统、装置及存储介质

    公开(公告)号:CN117992250A

    公开(公告)日:2024-05-07

    申请号:CN202410027458.X

    申请日:2024-01-08

    IPC分类号: G06F9/54 G06F9/48

    摘要: 本发明公开了一种消费优先级实现方法、系统、装置及存储介质。该方法包括:消费消息中间件中的第一消息;根据第一消息的第一优先级,确定第一数据结构中的键对象为第一优先级对应的值对象的计数加1;根据第一消息的第一优先级,确定将键对象为第一优先级,值对象为第一消息的线程的键值对加入第二数据结构;若第一数据结构中存在第二优先级对应的值对象不是零,确定第一消息进入阻塞等待状态,第二优先级的级别高于第一优先级。本申请实施例通过每个消息的优先级级别,按优先级处理各个消息,无需增加系统消耗的情况下,提升优先级处理的效率和灵活性。本方法可以广泛应用于消息中间件技术领域。

    推送量校验方法和装置、电子设备、存储介质

    公开(公告)号:CN114448968B

    公开(公告)日:2023-01-10

    申请号:CN202111535295.9

    申请日:2021-12-15

    摘要: 本公开实施例提供推送量校验方法和装置、电子设备、存储介质,涉及数据安全技术领域。该推送量校验方法,包括:获取目标推送量;将目标推送量作为第一推送量存储在第一存储系统中;第一存储系统为远程字典服务存储系统;对目标推送量进行编码处理,得到已编码推送量,并将已编码推送量存储在第二存储系统中;第二存储系统为数据库存储系统;对第二存储系统中的已编码推送量进行解码处理,得到第二推送量;根据第一推送量、第二推送量进行校验处理。该推送量校验方法可以提高消息推送服务的安全性。

    推送量校验方法和装置、电子设备、存储介质

    公开(公告)号:CN114448968A

    公开(公告)日:2022-05-06

    申请号:CN202111535295.9

    申请日:2021-12-15

    摘要: 本公开实施例提供推送量校验方法和装置、电子设备、存储介质,涉及数据安全技术领域。该推送量校验方法,包括:获取目标推送量;将目标推送量作为第一推送量存储在第一存储系统中;第一存储系统为远程字典服务存储系统;对目标推送量进行编码处理,得到已编码推送量,并将已编码推送量存储在第二存储系统中;第二存储系统为数据库存储系统;对第二存储系统中的已编码推送量进行解码处理,得到第二推送量;根据第一推送量、第二推送量进行校验处理。该推送量校验方法可以提高消息推送服务的安全性。