-
公开(公告)号:CN109254962A
公开(公告)日:2019-01-22
申请号:CN201710548181.5
申请日:2017-07-06
申请人: 中国移动通信集团浙江有限公司 , 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号: G06F16/22
摘要: 本发明实施例提供一种基于T-树的索引优化方法及装置,所述方法包括:获取包含有批量数据的数据块,所述数据块的数据量根据T-树中的索引节点保存的数据量所确定,其中,所述索引节点的索引信息包括所述索引节点保存的数据量;根据所述数据块的最大数值和最小数值与所述索引信息中的索引数值的最大值和最小值的比较结果、以及第一预设规则,生成新的索引节点;根据所述新的索引节点和第二预设规则,将所述新的索引节点融入到原始索引中。所述装置执行上述方法。本发明实施例提供的基于T-树的索引优化方法及装置,在大批量插入数据的场景下,优化了原始索引,能够提高T-树索引的响应速度。
-
公开(公告)号:CN108255870B
公开(公告)日:2021-06-01
申请号:CN201611249114.5
申请日:2016-12-29
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司
IPC分类号: G06F16/951 , G06F16/955
摘要: 本发明提供了一种网站数据爬取方法及装置。该方法包括:将待爬取的网站数据进行标准化处理,待爬取的网站数据包括多个统一资源定位符URL,获取各个统一资源定位符URL的正则表达式;根据各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值,获取待爬取的统一资源定位符URL的正则表达式权重关系表;根据正则表达式权重关系表获取目标待爬取的网站数据,对目标待爬取的网站数据进行爬取。本发明降低了待爬取的统一资源定位符URL的数量,提高了爬取效率,同时提高了爬取的准确性。
-
公开(公告)号:CN108255852B
公开(公告)日:2020-09-11
申请号:CN201611244308.6
申请日:2016-12-29
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司
IPC分类号: G06F16/2453 , G06F16/27 , G06F16/35
摘要: 本发明公开一种SQL执行方法及装置,能解决现有技术出现的因SQL支撑标准不一所导致的产品学习难度大,开发、运维及项目管理难度大且成本高的问题,实现不同SQL型分布式内存数据库的统一开发。该方法包括:获取客户端提交的业务SQL请求,其中,所述业务SQL请求中包含待处理的SQL;利用训练好的分类器对所述待处理的SQL进行分类,若所述待处理的SQL不属于预先划分的SQL类型,则对所述待处理的SQL进行预处理,得到标准SQL;将所述标准SQL提交至对应的SQL型分布式内存数据库执行,在所述SQL型分布式内存数据库执行完毕后,获取执行结果,并反馈给所述客户端,其中,所述预先划分的SQL类型包括所有SQL型分布式内存数据库共同支持的最低SQL标准的SQL类型。
-
公开(公告)号:CN108255870A
公开(公告)日:2018-07-06
申请号:CN201611249114.5
申请日:2016-12-29
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司
IPC分类号: G06F17/30
摘要: 本发明提供了一种网站数据爬取方法及装置。该方法包括:将待爬取的网站数据进行标准化处理,待爬取的网站数据包括多个统一资源定位符URL,获取各个统一资源定位符URL的正则表达式;根据各个统一资源定位符URL的正则表达式获取各个统一资源定位符URL的权重值,获取待爬取的统一资源定位符URL的正则表达式权重关系表;根据正则表达式权重关系表获取目标待爬取的网站数据,对目标待爬取的网站数据进行爬取。本发明降低了待爬取的统一资源定位符URL的数量,提高了爬取效率,同时提高了爬取的准确性。
-
公开(公告)号:CN108255852A
公开(公告)日:2018-07-06
申请号:CN201611244308.6
申请日:2016-12-29
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司
IPC分类号: G06F17/30
摘要: 本发明公开一种SQL执行方法及装置,能解决现有技术出现的因SQL支撑标准不一所导致的产品学习难度大,开发、运维及项目管理难度大且成本高的问题,实现不同SQL型分布式内存数据库的统一开发。该方法包括:获取客户端提交的业务SQL请求,其中,所述业务SQL请求中包含待处理的SQL;利用训练好的分类器对所述待处理的SQL进行分类,若所述待处理的SQL不属于预先划分的SQL类型,则对所述待处理的SQL进行预处理,得到标准SQL;将所述标准SQL提交至对应的SQL型分布式内存数据库执行,在所述SQL型分布式内存数据库执行完毕后,获取执行结果,并反馈给所述客户端,其中,所述预先划分的SQL类型包括所有SQL型分布式内存数据库共同支持的最低SQL标准的SQL类型。
-
公开(公告)号:CN109254962B
公开(公告)日:2020-10-16
申请号:CN201710548181.5
申请日:2017-07-06
申请人: 中国移动通信集团浙江有限公司 , 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC分类号: G06F16/22
摘要: 本发明实施例提供一种基于T‑树的索引优化方法及装置,所述方法包括:获取包含有批量数据的数据块,所述数据块的数据量根据T‑树中的索引节点保存的数据量所确定,其中,所述索引节点的索引信息包括所述索引节点保存的数据量;根据所述数据块的最大数值和最小数值与所述索引信息中的索引数值的最大值和最小值的比较结果、以及第一预设规则,生成新的索引节点;根据所述新的索引节点和第二预设规则,将所述新的索引节点融入到原始索引中。所述装置执行上述方法。本发明实施例提供的基于T‑树的索引优化方法及装置,在大批量插入数据的场景下,优化了原始索引,能够提高T‑树索引的响应速度。
-
公开(公告)号:CN109840453B
公开(公告)日:2020-12-11
申请号:CN201711218260.6
申请日:2017-11-28
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司
摘要: 本发明实施例提供一种人脸匹配方法及装置。该方法包括:获取原始图像,原始图像包括预设的标志物信息和待匹配的人脸信息;从原始图像中检测预设的标志物,确定标志物在原始图像中的初始坐标信息;根据初始坐标信息和标志物的标准方向信息,对原始图像进行方向校正,确定第一校正图像;根据标志物在第一校正图像中的第一坐标信息和标志物的标准尺寸信息,对第一校正图像进行尺度校正,确定第二校正图像;根据标志物在第二校正图像中的第二坐标信息,确定人脸区域;截取人脸区域上传至服务器,以供服务器根据人脸区域进行人脸匹配。本发明实施例减小了网络流量压力,能识别方向异常的原始图像,提高人脸匹配的效率。
-
公开(公告)号:CN109840453A
公开(公告)日:2019-06-04
申请号:CN201711218260.6
申请日:2017-11-28
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司
摘要: 本发明实施例提供一种人脸匹配方法及装置。该方法包括:获取原始图像,原始图像包括预设的标志物信息和待匹配的人脸信息;从原始图像中检测预设的标志物,确定标志物在原始图像中的初始坐标信息;根据初始坐标信息和标志物的标准方向信息,对原始图像进行方向校正,确定第一校正图像;根据标志物在第一校正图像中的第一坐标信息和标志物的标准尺寸信息,对第一校正图像进行尺度校正,确定第二校正图像;根据标志物在第二校正图像中的第二坐标信息,确定人脸区域;截取人脸区域上传至服务器,以供服务器根据人脸区域进行人脸匹配。本发明实施例减小了网络流量压力,能识别方向异常的原始图像,提高人脸匹配的效率。
-
公开(公告)号:CN118796823A
公开(公告)日:2024-10-18
申请号:CN202410159604.4
申请日:2024-02-04
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F16/22 , G06F16/2458 , G06F16/2453 , G06F16/27
摘要: 本发明实施例公开了一种数据处理方法、装置及电子设备,所述方法包括:接收针对目标数据库中业务数据的分布式存储请求,响应于所述分布式存储请求,基于表结构信息以及数据查询信息,确定候选分片键字段;基于所述表结构信息、所述查询信息,以及预设评估指标,确定所述候选分片键字段与每个所述预设评估指标对应的评估值;基于所述评估指标对应的权重值,对所述评估指标对应的评估值进行加权处理,基于所述候选分片键字段对应的重要性分值,从所述候选分片键字段中选取目标分片键字段;基于所述目标分片键字段,对所述目标数据库中的业务数据进行分片处理,并将分片处理得到的业务数据分别存储在不同的业务数据处理节点。
-
公开(公告)号:CN118819998A
公开(公告)日:2024-10-22
申请号:CN202311495300.7
申请日:2023-11-10
申请人: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F11/30
摘要: 本发明提供SQL执行计划监控方法、装置、设备及存储介质,其中方法包括:遍历SQL表,SQL表中包括多条SQL以及每条SQL对应的执行计划;当SQL表中存在属于相同的数据库的第一SQL和第二SQL时,发出告警信息;其中,第一SQL和第二SQL的SQL哈希值不一致,通用SQL哈希值一致,通用执行计划哈希值不一致,SQL的通用SQL哈希值以及通用执行计划哈希值是分别将SQL和执行计划的表名中的非功能性文本替换为预设通用文本之后生成的。本发明可以实现对业务数据拆分后的SQL的执行计划的监控。
-
-
-
-
-
-
-
-
-