一种数据实时写入数据表的方法、装置和系统

    公开(公告)号:CN117874035A

    公开(公告)日:2024-04-12

    申请号:CN202410153631.0

    申请日:2024-02-02

    发明人: 余韬 王伟 王晓伟

    摘要: 本发明实施例提供一种数据实时写入数据表的方法、装置和系统,涉及数据存储领域,该方法包括:为每条待写入数据分别标记对应的表标识,以及标记所述数据表所在数据库的库标识,将每条待写入数据分别封装成预设数据格式的封装数据;通过所述分配单元查找与每条所述封装数据对应的表标识匹配的任务编写器;通过各任务编写器并行将匹配的所述封装数据对应的数据写入表标识对应的数据表,针对任一任务编写器,通过所述任务编写器,按下发时间顺序将匹配的所述封装数据对应的数据串行写入到表标识对应的数据表。实现写入多张数据的数据可以同时并行写入;写入单张数据表内的数据串行写入,提高写入速度。

    一种样本选择方法、样本选择系统、识别方法和识别系统

    公开(公告)号:CN117634489A

    公开(公告)日:2024-03-01

    申请号:CN202311609958.6

    申请日:2023-11-29

    摘要: 本发明实施例提供一种样本选择方法、样本选择系统、识别方法和识别系统,涉及实体识别领域,该方法包括:将未标注样本输入初步实体识别模型对所述未标注样本内的实体进行推理识别,输出各未标注样本对应的推理结果;针对每条所述未标注样本对应的推理结果,基于概率分布差异的采样模型确定所述推理结果中的各类型实体的概率分布差异值;将所述概率分布差异值不低于阈值的所述未标注样本作为补充样本。采用基于概率分布差异的采样模型比较未标注样本与标注样本的实体类别的概率分布差异,概率分布差异值大的未标注样本作为补充样本再次训练实体识别模型的样本,最终的实体识别模型能够识别与补充样本中的实体类型相同的实体,提高了召回率。

    基于非完全子树核的命令聚类方法、装置、介质和设备

    公开(公告)号:CN117633564A

    公开(公告)日:2024-03-01

    申请号:CN202311610793.4

    申请日:2023-11-29

    摘要: 本发明提供一种基于非完全子树核的命令聚类方法、装置、介质和设备,该方法包括:对命令日志进行词法和语法分析,将命令日志解析成抽象语法树的形式;构建所述抽象语法树的非完全子树空间,非完全子树空间包括所有抽象语法树的子树;根据非完全子树空间中的子树利用树核函数计算任意两颗抽象语法树之间的相似度值;根据相似度值采用密度聚类的方法对命令日志进行聚类。本发明实施例提供的一种基于非完全子树核方法的命令聚类技术,将命令解析成抽象语法树,并使用非完全子树核方法对抽象语法树进行相似度计算,使命令蕴含的语法规则能够被聚类模型所考虑在内,从而显著提高命令的聚类效果。

    一种数据实时写入数据表的方法、装置和系统

    公开(公告)号:CN117874035B

    公开(公告)日:2024-09-24

    申请号:CN202410153631.0

    申请日:2024-02-02

    发明人: 余韬 王伟 王晓伟

    摘要: 本发明实施例提供一种数据实时写入数据表的方法、装置和系统,涉及数据存储领域,该方法包括:为每条待写入数据分别标记对应的表标识,以及标记所述数据表所在数据库的库标识,将每条待写入数据分别封装成预设数据格式的封装数据;通过所述分配单元查找与每条所述封装数据对应的表标识匹配的任务编写器;通过各任务编写器并行将匹配的所述封装数据对应的数据写入表标识对应的数据表,针对任一任务编写器,通过所述任务编写器,按下发时间顺序将匹配的所述封装数据对应的数据串行写入到表标识对应的数据表。实现写入多张数据的数据可以同时并行写入;写入单张数据表内的数据串行写入,提高写入速度。

    一种流水线形式的接口编排聚合方法和装置

    公开(公告)号:CN117978873A

    公开(公告)日:2024-05-03

    申请号:CN202410130067.0

    申请日:2024-01-30

    IPC分类号: H04L67/60 H04L67/30

    摘要: 本发明实施例提供一种流水线形式的接口编排聚合方法和系统,该方法包括:获取提交的用于接口编排的配置文件,对所述配置文件进行解析,解析成编排步骤及任务数据;当控制台请求数据时,根据所述控制台的请求找到对应的编排步骤及任务数据,根据编排步骤及任务数据执行编排流程,根据所述编排流程请求相应的多个服务;从所述多个服务接收应答数据,并且根据任务数据的内容和所述应答数据进行计算处理,获得处理结果,将所述处理结果返回给控制台。本发明实施例解决需要操作和收集多个软件系统数据的问题,通过编排流水线形式,可以完成各种不同的接口聚合和数据处理。

    一种基于云原生的多集群网关及其工作方法

    公开(公告)号:CN117714277A

    公开(公告)日:2024-03-15

    申请号:CN202410161469.7

    申请日:2024-02-05

    摘要: 本发明实施例提供一种基于云原生的多集群网关及其工作方法,所述网关包括:管理模块和多个集群;所述管理模块,用于进行网关的配置,将网关配置信息下发到各个集群的网关实例;每个集群包括:代理模块、配置存储中间件和网关实例;所述代理模块,用于接收所述管理模块下发的网关配置信息,并将所述网关配置信息下发到所述配置存储中间件;所述配置存储中间件,用于存储所述网关配置信息;所述网关实例,用于从所述配置存储中间件中按实例名加载对应的网关配置信息,对外提供网关能力。不同业务需要网关实例隔离,而现有的云网关无法统一管理基于业务纵向扩展的网关实例。本发明实施例多集群网关,可以解决多实例多集群网关统一纳管问题。

    一种数据存储方法、系统、存储介质及计算机设备

    公开(公告)号:CN117632035A

    公开(公告)日:2024-03-01

    申请号:CN202311715111.6

    申请日:2023-12-13

    IPC分类号: G06F3/06 G06F9/445

    摘要: 本发明实施例提供一种数据存储方法、系统、存储介质及计算机设备,涉及数据存储领域,所述方法包括:创建与存储相关的必备要素,通过与存储相关的必备要素构建数据存储插件;通过启动数据读写服务端在存储器内运行数据存储插件;采用统一的数据读写客户端将所要存储的数据发送给数据存储插件,将所要存储的数据写入到数据存储插件所在的存储器;通过数据存储插件自所在的存储器内读取所要请求的数据,返回给数据读写客户端;匹配于所有类型的存储器的数据存储插件采用统一的存储接口协议,数据存储插件适用于各类存储器,不需要为每类存储器单独开发特定的数据存储插件,实现统一集中的管理和组织数据,降低了开发特定的数据存储工具的成本。

    一种样本选择方法、样本选择系统、识别方法和识别系统

    公开(公告)号:CN117634489B

    公开(公告)日:2024-09-24

    申请号:CN202311609958.6

    申请日:2023-11-29

    摘要: 本发明实施例提供一种样本选择方法、样本选择系统、识别方法和识别系统,涉及实体识别领域,该方法包括:将未标注样本输入初步实体识别模型对所述未标注样本内的实体进行推理识别,输出各未标注样本对应的推理结果;针对每条所述未标注样本对应的推理结果,基于概率分布差异的采样模型确定所述推理结果中的各类型实体的概率分布差异值;将所述概率分布差异值不低于阈值的所述未标注样本作为补充样本。采用基于概率分布差异的采样模型比较未标注样本与标注样本的实体类别的概率分布差异,概率分布差异值大的未标注样本作为补充样本再次训练实体识别模型的样本,最终的实体识别模型能够识别与补充样本中的实体类型相同的实体,提高了召回率。

    一种统一SQL语法可视化数据服务方法和装置

    公开(公告)号:CN117908848B

    公开(公告)日:2024-06-28

    申请号:CN202410146675.0

    申请日:2024-02-01

    摘要: 本发明实施例提供一种统一SQL语法可视化数据服务方法和装置,方法包括:通过可视化界面接收API接口的属性参数信息,并生成API接口对应的注册请求,注册请求包括API接口的属性参数信息;响应于API接口对应的注册请求,并从注册请求中得到API接口的属性参数信息,根据属性参数信息中的至少一种信息,生成API接口对应的唯一标识;使用属性参数信息和API接口对应的唯一标识更新属性参数数据库。

    一种数据存储方法、系统、存储介质及计算机设备

    公开(公告)号:CN117632035B

    公开(公告)日:2024-06-04

    申请号:CN202311715111.6

    申请日:2023-12-13

    IPC分类号: G06F3/06 G06F9/445

    摘要: 本发明实施例提供一种数据存储方法、系统、存储介质及计算机设备,涉及数据存储领域,所述方法包括:创建与存储相关的必备要素,通过与存储相关的必备要素构建数据存储插件;通过启动数据读写服务端在存储器内运行数据存储插件;采用统一的数据读写客户端将所要存储的数据发送给数据存储插件,将所要存储的数据写入到数据存储插件所在的存储器;通过数据存储插件自所在的存储器内读取所要请求的数据,返回给数据读写客户端;匹配于所有类型的存储器的数据存储插件采用统一的存储接口协议,数据存储插件适用于各类存储器,不需要为每类存储器单独开发特定的数据存储插件,实现统一集中的管理和组织数据,降低了开发特定的数据存储工具的成本。