基于慢查询日志的云数据库二级索引自动推荐方法和系统

    公开(公告)号:CN114064689B

    公开(公告)日:2024-07-12

    申请号:CN202111330011.2

    申请日:2021-11-11

    摘要: 本发明公开了一种基于慢查询日志的云数据库二级索引推荐方法,包括:从数据库中的慢查询日志中查询工作负载集,利用正则表达式匹配该查询工作负载集中每个查询语句中的多个常量,将匹配到的每个常量替换为占位符,将替换操作后得到的所有查询语句中重复的查询语句删除,从而得到n个查询模板组成的查询模板集合,对该查询模板集合进行向量化处理,以得到查询模板集合对应的向量组,使用查询模板集合对应的向量组构建K维树,利用构建的K维树对向量组进行聚类,对得到的p个聚类中的向量对应的查询模板中的字段以及谓词信息进行解析,以得到查询工作负载对应的索引配置。本发明能够有效解决现有基于启发式方法无法适用于云数据库业务场景的问题。

    一种面向多负载的云数据库二级索引自动推荐方法和系统

    公开(公告)号:CN113360497A

    公开(公告)日:2021-09-07

    申请号:CN202110579171.4

    申请日:2021-05-26

    摘要: 本发明公开了一种面向多负载的云数据库二级索引自动推荐方法,其包括:从数据库中的查询语句集合中随机选择多个查询语句组成查询语句样本集{q1,q2,...,qR},对样本集进行向量化处理,以得到查询语句向量组{x1,x2,...,xR},使用k‑means算法对向量组进行聚类分析,以得到k个2*N维向量作为k个查询模板、以及k个查询模板中每一个查询模板的权重,并用这k个查询模板表示整个查询语句集合的特征,将k个查询模板、以及每个查询模板的权重输入到预先训练好的多负载索引推荐模型中,以得到索引配置。本发明能够解决现有基于启发式的方法和机器学习的方法由于模型通用性差、只能为单一查询集合推荐索引配置,导致无法适用于云数据库业务场景的技术问题。

    一种面向多负载的云数据库二级索引自动推荐方法和系统

    公开(公告)号:CN113360497B

    公开(公告)日:2022-04-05

    申请号:CN202110579171.4

    申请日:2021-05-26

    摘要: 本发明公开了一种面向多负载的云数据库二级索引自动推荐方法,其包括:从数据库中的查询语句集合中随机选择多个查询语句组成查询语句样本集{q1,q2,...,qR},对样本集进行向量化处理,以得到查询语句向量组{x1,x2,...,xR},使用k‑means算法对向量组进行聚类分析,以得到k个2*N维向量作为k个查询模板、以及k个查询模板中每一个查询模板的权重,并用这k个查询模板表示整个查询语句集合的特征,将k个查询模板、以及每个查询模板的权重输入到预先训练好的多负载索引推荐模型中,以得到索引配置。本发明能够解决现有基于启发式的方法和机器学习的方法由于模型通用性差、只能为单一查询集合推荐索引配置,导致无法适用于云数据库业务场景的技术问题。

    基于慢查询日志的云数据库二级索引自动推荐方法和系统

    公开(公告)号:CN114064689A

    公开(公告)日:2022-02-18

    申请号:CN202111330011.2

    申请日:2021-11-11

    摘要: 本发明公开了一种基于慢查询日志的云数据库二级索引推荐方法,包括:从数据库中的慢查询日志中查询工作负载集,利用正则表达式匹配该查询工作负载集中每个查询语句中的多个常量,将匹配到的每个常量替换为占位符,将替换操作后得到的所有查询语句中重复的查询语句删除,从而得到n个查询模板组成的查询模板集合,对该查询模板集合进行向量化处理,以得到查询模板集合对应的向量组,使用查询模板集合对应的向量组构建K维树,利用构建的K维树对向量组进行聚类,对得到的p个聚类中的向量对应的查询模板中的字段以及谓词信息进行解析,以得到查询工作负载对应的索引配置。本发明能够有效解决现有基于启发式方法无法适用于云数据库业务场景的问题。

    一种基于Transformer的微服务性能异常检测方法和系统

    公开(公告)号:CN116776270A

    公开(公告)日:2023-09-19

    申请号:CN202310754749.4

    申请日:2023-06-25

    摘要: 本发明公开了一种基于Transformer的微服务性能异常检测方法,包括:获取微服务系统的跨度日志,将跨度日志中具有相同跟踪ID的跨度组合在一起,以得到多条不同的调用链,使用深度优先搜索算法搜索该调用链从根节点到叶子节点的所有路径,以得到该调用链中的多个服务调用序列及其对应的多个响应时间序列,将每个服务调用序列输入到预先训练好的检测模型中,以得到该服务调用序列对应的路径向量集合中各个特征值的概率分布,根据检测模型输出的服务特征值的概率分布,获取路径向量中服务实际特征值的概率作为服务的异常得分,根据服务的异常得分判断服务是否是调用链中出现性能异常的服务。本发明能够解决现有方法模型的收敛速度和检测效果不佳的技术问题。