-
公开(公告)号:CN114064689B
公开(公告)日:2024-07-12
申请号:CN202111330011.2
申请日:2021-11-11
申请人: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC分类号: G06F16/242 , G06F16/25 , G06F16/27 , G06F18/2323
摘要: 本发明公开了一种基于慢查询日志的云数据库二级索引推荐方法,包括:从数据库中的慢查询日志中查询工作负载集,利用正则表达式匹配该查询工作负载集中每个查询语句中的多个常量,将匹配到的每个常量替换为占位符,将替换操作后得到的所有查询语句中重复的查询语句删除,从而得到n个查询模板组成的查询模板集合,对该查询模板集合进行向量化处理,以得到查询模板集合对应的向量组,使用查询模板集合对应的向量组构建K维树,利用构建的K维树对向量组进行聚类,对得到的p个聚类中的向量对应的查询模板中的字段以及谓词信息进行解析,以得到查询工作负载对应的索引配置。本发明能够有效解决现有基于启发式方法无法适用于云数据库业务场景的问题。
-
公开(公告)号:CN113360497A
公开(公告)日:2021-09-07
申请号:CN202110579171.4
申请日:2021-05-26
申请人: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC分类号: G06F16/22 , G06F16/9535 , G06K9/62 , G06N3/04
摘要: 本发明公开了一种面向多负载的云数据库二级索引自动推荐方法,其包括:从数据库中的查询语句集合中随机选择多个查询语句组成查询语句样本集{q1,q2,...,qR},对样本集进行向量化处理,以得到查询语句向量组{x1,x2,...,xR},使用k‑means算法对向量组进行聚类分析,以得到k个2*N维向量作为k个查询模板、以及k个查询模板中每一个查询模板的权重,并用这k个查询模板表示整个查询语句集合的特征,将k个查询模板、以及每个查询模板的权重输入到预先训练好的多负载索引推荐模型中,以得到索引配置。本发明能够解决现有基于启发式的方法和机器学习的方法由于模型通用性差、只能为单一查询集合推荐索引配置,导致无法适用于云数据库业务场景的技术问题。
-
公开(公告)号:CN113360497B
公开(公告)日:2022-04-05
申请号:CN202110579171.4
申请日:2021-05-26
申请人: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC分类号: G06F16/22 , G06F16/9535 , G06K9/62 , G06N3/04
摘要: 本发明公开了一种面向多负载的云数据库二级索引自动推荐方法,其包括:从数据库中的查询语句集合中随机选择多个查询语句组成查询语句样本集{q1,q2,...,qR},对样本集进行向量化处理,以得到查询语句向量组{x1,x2,...,xR},使用k‑means算法对向量组进行聚类分析,以得到k个2*N维向量作为k个查询模板、以及k个查询模板中每一个查询模板的权重,并用这k个查询模板表示整个查询语句集合的特征,将k个查询模板、以及每个查询模板的权重输入到预先训练好的多负载索引推荐模型中,以得到索引配置。本发明能够解决现有基于启发式的方法和机器学习的方法由于模型通用性差、只能为单一查询集合推荐索引配置,导致无法适用于云数据库业务场景的技术问题。
-
公开(公告)号:CN114064689A
公开(公告)日:2022-02-18
申请号:CN202111330011.2
申请日:2021-11-11
申请人: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC分类号: G06F16/242 , G06F16/25 , G06F16/27 , G06K9/62
摘要: 本发明公开了一种基于慢查询日志的云数据库二级索引推荐方法,包括:从数据库中的慢查询日志中查询工作负载集,利用正则表达式匹配该查询工作负载集中每个查询语句中的多个常量,将匹配到的每个常量替换为占位符,将替换操作后得到的所有查询语句中重复的查询语句删除,从而得到n个查询模板组成的查询模板集合,对该查询模板集合进行向量化处理,以得到查询模板集合对应的向量组,使用查询模板集合对应的向量组构建K维树,利用构建的K维树对向量组进行聚类,对得到的p个聚类中的向量对应的查询模板中的字段以及谓词信息进行解析,以得到查询工作负载对应的索引配置。本发明能够有效解决现有基于启发式方法无法适用于云数据库业务场景的问题。
-
公开(公告)号:CN116776270A
公开(公告)日:2023-09-19
申请号:CN202310754749.4
申请日:2023-06-25
申请人: 华中科技大学
IPC分类号: G06F18/2433 , G06F18/27 , G06F18/211 , G06N3/0455 , G06N3/048 , G06N3/08 , G06F17/18 , G06N5/01
摘要: 本发明公开了一种基于Transformer的微服务性能异常检测方法,包括:获取微服务系统的跨度日志,将跨度日志中具有相同跟踪ID的跨度组合在一起,以得到多条不同的调用链,使用深度优先搜索算法搜索该调用链从根节点到叶子节点的所有路径,以得到该调用链中的多个服务调用序列及其对应的多个响应时间序列,将每个服务调用序列输入到预先训练好的检测模型中,以得到该服务调用序列对应的路径向量集合中各个特征值的概率分布,根据检测模型输出的服务特征值的概率分布,获取路径向量中服务实际特征值的概率作为服务的异常得分,根据服务的异常得分判断服务是否是调用链中出现性能异常的服务。本发明能够解决现有方法模型的收敛速度和检测效果不佳的技术问题。
-
公开(公告)号:CN114721902B
公开(公告)日:2024-08-23
申请号:CN202210310674.6
申请日:2022-03-28
申请人: 华中科技大学 , 深圳市腾讯计算机系统有限公司
摘要: 本发明公开了一种云数据库中OLTP应用的在线异常检测方法,其是基于相关性衡量方法和云数据库架构特点的基础上实现的,通过相关性衡量方法判断关键指标的变化趋势,通过相关性阈值确定是否存在变化趋势异常的关键指标,相比于基于统计学和机器学习的方法,该方法显著提高了检测的效率;随后,其通过利用关键指标的时间序列确定数据库状态,显著提高了异常判断的准确率;同时,相关性阈值判别机制令阈值的设定简单化,极大的减少了人工成本。本发明还公开了一种云数据库中OLTP应用的在线异常检测系统。
-
公开(公告)号:CN114721902A
公开(公告)日:2022-07-08
申请号:CN202210310674.6
申请日:2022-03-28
申请人: 华中科技大学 , 深圳市腾讯计算机系统有限公司
摘要: 本发明公开了一种云数据库中OLTP应用的在线异常检测方法,其是基于相关性衡量方法和云数据库架构特点的基础上实现的,通过相关性衡量方法判断关键指标的变化趋势,通过相关性阈值确定是否存在变化趋势异常的关键指标,相比于基于统计学和机器学习的方法,该方法显著提高了检测的效率;随后,其通过利用关键指标的时间序列确定数据库状态,显著提高了异常判断的准确率;同时,相关性阈值判别机制令阈值的设定简单化,极大的减少了人工成本。本发明还公开了一种云数据库中OLTP应用的在线异常检测系统。
-
-
-
-
-
-