基于Flink的全链路排查方法、装置、设备及介质

    公开(公告)号:CN115454607A

    公开(公告)日:2022-12-09

    申请号:CN202211182345.4

    申请日:2022-09-27

    发明人: 梁川川 汤乐奇

    摘要: 本申请公开了一种基于Flink的全链路排查方法、装置、设备及介质,涉及计算机技术领域,包括:在基于Flink构建的任务执行环境下加载初始数据;获取用于表征节点遍历顺序的拓扑结构图,基于拓扑结构图将初始数据作为当前处理节点的输入数据;获取当前处理节点对输入数据进行处理后得到的输出数据,并确定下一处理节点,将输出数据作为下一处理节点的输入数据;将下一处理节点作为当前处理节点,重新执行获取当前处理节点对输入数据进行处理得到输出数据的步骤,直到遍历完所有处理节点;基于每一处理节点的输入数据和输出数据执行全链路排查操作。能够根据每一处理节点的输入、输出数据确定出节点中数据的具体处理过程,便于全链路排查。

    一种数据可视化方法、装置及其相关设备

    公开(公告)号:CN111859929B

    公开(公告)日:2024-04-09

    申请号:CN202010779472.7

    申请日:2020-08-05

    发明人: 汤乐奇 范渊

    IPC分类号: G06F40/253 G06F40/284

    摘要: 本申请公开了一种数据可视化方法,包括利用ANTLR工具将待处理逻辑表达式转换为ANTLR语法树;采用访问者模式对所述ANTLR语法树进行转换,获得初始可视化模型;对所述初始可视化模型中的优先级信息进行优化,获得优化可视化模型;对所述优化可视化模型中的同类项信息进行合并,获得树状模型;输出所述树状模型至可视化设备进行展示;该数据可视化方法可以更为有效的简化逻辑表达式的可视化结构,提高可视化效果。本申请还公开了一种数据可视化装置、设备以及计算机可读存储介质,均具有上述有益效果。

    目标数据提取方法、装置、计算机设备和存储介质

    公开(公告)号:CN117407156A

    公开(公告)日:2024-01-16

    申请号:CN202311243486.7

    申请日:2023-09-25

    发明人: 孙雪永 汤乐奇

    摘要: 本申请涉及目标数据提取方法、装置、计算机设备和存储介质,应用于服务器,该服务器部署有至少一个计算单元,所述方法包括:确定计算单元对应的数据格式;基于数据格式对计算单元进行划分,得到至少两个计算单元域,并基于计算单元域分配对应的数据提取算子;其中,数据提取算子用于指示对应的算子数据结构;获取待提取数据,基于算子数据结构从待提取数据中确定对应的待提取目标数据,并基于数据提取算子进行反序列化计算,得到待提取数据中的目标数据。采用本方法能够提升计算效率,减少计算资源的浪费。

    一种任务处理方法、装置、设备及可读存储介质

    公开(公告)号:CN115495050A

    公开(公告)日:2022-12-20

    申请号:CN202211156960.8

    申请日:2022-09-22

    发明人: 汤乐奇 杜东方

    IPC分类号: G06F8/20 G06F8/30 G06F9/445

    摘要: 本申请公开了一种任务处理方法、装置、设备及可读存储介质,该方法包括:载入并解析待创建flink数据流链对应的yaml配置文件,得到数据流向图和算子节点列表;利用数据流向图,初始化初始节点和各个算子节点;按照算子节点列表和/或数据流向图中对应的连接方式,连接初始节点和各个算子节点,得到flink数据流链;启动flink数据流链,并利用flink数据流链执行实时流任务。本申请能够使得开发人员方便地对数据流走向、运行配置进行调整,提升了代码的可维护性,提高开发效率。

    基于微批处理的实时统计方法、装置、设备及存储介质

    公开(公告)号:CN117149855A

    公开(公告)日:2023-12-01

    申请号:CN202311163590.5

    申请日:2023-09-11

    发明人: 汤乐奇 杜东方

    IPC分类号: G06F16/2458 G06F17/18

    摘要: 本申请公开了一种基于微批处理的实时统计方法、装置、设备及存储介质,涉及数据统计领域,包括:对接收的待处理数据进行解析,并对解析后数据进行过滤,以得到处理后数据;将处理后数据划分为若干部分处理后数据,并输入至若干预设并发统计算子,以通过所述若干预设并发统计算子对输入至自身的数据进行数据统计,得到临时统计结果;确定临时统计结果对应的若干指标标识,以通过若干指标标识对临时统计结果进行分组利用预设汇总统计算子对分组后临时统计结果进行汇总统计,以输出与分组后临时统计结果相对应的目标统计结果。这样一来,可以通过不同的并发统计算子优化统计类指标的计算能力,以支持较多不同维度、不同时间窗口下的同时统计计算。

    一种多规则匹配方法、装置及设备

    公开(公告)号:CN113885880A

    公开(公告)日:2022-01-04

    申请号:CN202111240192.X

    申请日:2021-10-25

    发明人: 汤乐奇 范渊 刘博

    IPC分类号: G06F8/41

    摘要: 本申请公开了一种多规则匹配方法、装置、设备及存储介质。该方法包括:利用ANTLR解析器,根据AND逻辑操作符对多个逻辑表达式进行规则解析,以拆分得到多个子表达式;根据每个所述子表达式的频次,从所有所述子表达式中筛选出公共子表达式作为父节点;以所述父节点为基础,根据所述逻辑表达式以及其余所述子表达式对应的运算量和频次,依次筛选出目标子表达式作为子节点构建规则树以得到一个或多个规则树;获取待检测数据,利用所述规则树从父节点开始按照顺序对所述待检测数据进行规则匹配,若匹配失败则跳过当前节点的所有子节点的规则匹配并输出匹配结果。通过将公共子表达式作为父节点,避免同一个规则的多次匹配,提高了规则匹配的效率。

    一种kafka流处理平台的数据导入方法、装置及设备

    公开(公告)号:CN113778947A

    公开(公告)日:2021-12-10

    申请号:CN202111128339.6

    申请日:2021-09-26

    IPC分类号: G06F16/11 G06F8/71

    摘要: 本发明公开了一种kafka流处理平台的数据导入方法,该方法包括以下步骤:通过对待导入kafka流处理平台的目标数据流进行字段拆分,分别获取拆分得到的各初始字段的字段类型,预先设置包含各字段类型与各数据格式转换规则之间对应关系的配置文件,利用预设配置文件进行格式转换规则匹配,根据各数据格式转换规则对各初始字段进行格式转换,得到统一格式的各目标字段,将各目标字段导入至kafka流处理平台。应用本发明所提供的kafka流处理平台的数据导入方法,较大地节省了人力,节省了时间成本,较大地提高了数据导入效率。本发明还公开了一种kafka流处理平台的数据导入装置、设备及存储介质,具有相应技术效果。

    一种数据流处理方法、装置、设备及存储介质

    公开(公告)号:CN118689911A

    公开(公告)日:2024-09-24

    申请号:CN202411000475.0

    申请日:2024-07-24

    发明人: 梁川川 汤乐奇

    IPC分类号: G06F16/2455 G06F16/25

    摘要: 本申请公开了一种数据流处理方法、装置、设备及存储介质,涉及数据处理领域,包括:确定基于流处理框架执行流数据处理任务时的任务处理节点,并确定任务处理节点对应的任务处理操作;将任务处理节点对应的任务处理操作进行封装,以构建同一目标数据输出格式的算子组;获取待处理任务的业务需求,并根据业务需求确定待处理任务对应的算子组,以构建对应的流计算拓扑图,利用流计算拓扑图执行待处理任务。通过采用算子组加拓扑图的方式定义流结构,利用算子组将多个操作封装在一起作为独立单元,将数据复杂的处理屏蔽起来,可以在界面上清晰地展示业务操作,并且使用算子组规划业务的流计算拓扑图,简单明了。

    一种基于函数树的编程语句执行方法、装置、设备及介质

    公开(公告)号:CN118445003A

    公开(公告)日:2024-08-06

    申请号:CN202410875198.1

    申请日:2024-07-01

    发明人: 万振弘 汤乐奇

    IPC分类号: G06F9/448 G06F9/445

    摘要: 本申请公开了一种基于函数树的编程语句执行方法、装置、设备及介质,涉及软件开发领域,包括:判断待执行函数树编程语句的函数逻辑结构类型,若函数逻辑结构类型为符合预设简单逻辑结构特点的类型,对待执行函数树编程语句进行解析,生成目标函数树;对基于目标函数树提取的目标函数列表进行注册,生成注册列表,基于函数工厂及注册列表获取执行结果;若函数逻辑结构类型为符合预设复杂逻辑结构特点的类型,则基于目标原子类型对待执行函数树编程语句进行解析,获取待执行函数树编程语句的各原子层内容;分别对各原子层内容进行检验,若均检验通过,则执行待执行函数树编程语句,以获取执行结果。本申请实现了对自定义编程语言的解析和执行。

    一种系统慢查询分析方法、装置、介质

    公开(公告)号:CN115329049A

    公开(公告)日:2022-11-11

    申请号:CN202211128465.6

    申请日:2022-09-16

    发明人: 杨梦龙 汤乐奇

    IPC分类号: G06F16/33

    摘要: 本申请涉及ElasticSearch系统维护领域,公开了一种系统慢查询分析方法、装置、介质,包括:获取模型库中目标模型,以便于根据目标模型对慢查询任务进行分析,其中,模型库为用于存储超时查询任务所对应的超时模型的数据库。根据各目标模型的查询条件和数据量、与各目标模型所对应的查询任务样例对目标模型进行分析,并获取模型评分,以排除由于计算资源被抢占导致超时的查询任务。对模型评分高于阈值的目标模型进行分析,以确定查询任务的超时原因。本申请通过对模型库中超时查询任务的模型进行分析和评分,以去除数据库中误判的模型,以便于根据实际超时查询任务对系统进行分析和改进。