-
公开(公告)号:CN109960612A
公开(公告)日:2019-07-02
申请号:CN201910172274.1
申请日:2019-03-07
申请人: 腾讯科技(深圳)有限公司
摘要: 本发明公开了一种确定数据存储占比的方法、装置及服务器,所述方法包括:获取与文件数据中目标数据一一对应的标准数字型数据,所述文件数据中的目标数据为多种类型的数据;确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间,所述目标数据块为所述文件数据的任一数据块;基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间,所述哈希表包括与哈希下标对应的标准数字型数据的出现次数;将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量,得到所述目标数据在所述目标数据块中的存储占比。
-
公开(公告)号:CN112527759A
公开(公告)日:2021-03-19
申请号:CN202110178645.4
申请日:2021-02-09
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F16/18 , G06F16/182 , G06F16/17 , G06F16/27 , G06F16/22
摘要: 本申请公开了一种日志执行方法、装置、计算机设备及存储介质,属于数据库技术领域。本申请通过设置日志执行活跃窗口并保证日志执行活跃窗口之前的日志均已执行,仅需要验证日志执行活跃窗口内的任一日志是否与日志执行活跃窗口内的、该任一日志之前的、尚未执行的日志发生存储范围冲突,即可得知该任一日志是否会在整个分布式存储系统中引发数据不一致问题,对于无冲突的该任一日志,支持乱序执行该任一日志,而无需阻塞该任一日志的执行进程,并无需等待日志执行活跃窗口内的、该任一日志之前的、尚未执行的日志执行完毕,能够大大提升分布式存储系统的吞吐量,且能够适用于高并发场景。
-
公开(公告)号:CN109960612B
公开(公告)日:2021-01-05
申请号:CN201910172274.1
申请日:2019-03-07
申请人: 腾讯科技(深圳)有限公司
摘要: 本发明公开了一种确定数据存储占比的方法、装置及服务器,所述方法包括:获取与文件数据中目标数据一一对应的标准数字型数据,所述文件数据中的目标数据为多种类型的数据;确定所述标准数字型数据的第一数值区间与目标数据块所对应的标准数字型数据的第二数值区间的交集数值区间,所述目标数据块为所述文件数据的任一数据块;基于预设哈希函数确定所述交集数值区间中的标准数字型数据在所述目标数据块所对应哈希表中的哈希下标区间,所述哈希表包括与哈希下标对应的标准数字型数据的出现次数;将所述哈希下标区间所对应的标准数字型数据的出现次数之和除以目标数据块中数据的总数量,得到所述目标数据在所述目标数据块中的存储占比。
-
公开(公告)号:CN112527759B
公开(公告)日:2021-06-11
申请号:CN202110178645.4
申请日:2021-02-09
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F16/18 , G06F16/182 , G06F16/17 , G06F16/27 , G06F16/22
摘要: 本申请公开了一种日志执行方法、装置、计算机设备及存储介质,属于数据库技术领域。本申请通过设置日志执行活跃窗口并保证日志执行活跃窗口之前的日志均已执行,仅需要验证日志执行活跃窗口内的任一日志是否与日志执行活跃窗口内的、该任一日志之前的、尚未执行的日志发生存储范围冲突,即可得知该任一日志是否会在整个分布式存储系统中引发数据不一致问题,对于无冲突的该任一日志,支持乱序执行该任一日志,而无需阻塞该任一日志的执行进程,并无需等待日志执行活跃窗口内的、该任一日志之前的、尚未执行的日志执行完毕,能够大大提升分布式存储系统的吞吐量,且能够适用于高并发场景。
-
-
-