云盘分配方法、装置、电子设备及存储介质

    公开(公告)号:CN111722806B

    公开(公告)日:2024-09-13

    申请号:CN202010567943.8

    申请日:2020-06-19

    IPC分类号: G06F3/06

    摘要: 本申请实施例提供了一种云盘分配方法、装置、电子设备及存储介质,涉及人工智能和云存储技术领域。该方法包括:基于云盘分配请求中包含的云盘请求特征的特征值,确定负载特征的特征值;基于云盘请求特征的特征值和负载特征的特征值,从各候选存储仓库中确定目标存储仓库,进而从目标存储仓库中确定与云盘分配请求匹配的存储空间作为目标云盘。其中,基于云盘请求特征的特征值和负载特征的特征值最终确定目标云盘,从多个维度实现了云盘的相对均衡分配,减少了云块存储系统中各个存储仓库负载不均衡的问题,降低了存储仓库资源过载的风险,提高了云块存储系统的资源利用率。

    云盘分配方法、装置、电子设备及存储介质

    公开(公告)号:CN111722806A

    公开(公告)日:2020-09-29

    申请号:CN202010567943.8

    申请日:2020-06-19

    IPC分类号: G06F3/06

    摘要: 本申请实施例提供了一种云盘分配方法、装置、电子设备及存储介质,涉及人工智能和云存储技术领域。该方法包括:基于云盘分配请求中包含的云盘请求特征的特征值,确定负载特征的特征值;基于云盘请求特征的特征值和负载特征的特征值,从各候选存储仓库中确定目标存储仓库,进而从目标存储仓库中确定与云盘分配请求匹配的存储空间作为目标云盘。其中,基于云盘请求特征的特征值和负载特征的特征值最终确定目标云盘,从多个维度实现了云盘的相对均衡分配,减少了云块存储系统中各个存储仓库负载不均衡的问题,降低了存储仓库资源过载的风险,提高了云块存储系统的资源利用率。

    一种缓存系统、缓存处理方法、装置、设备及介质

    公开(公告)号:CN111737168A

    公开(公告)日:2020-10-02

    申请号:CN202010585684.1

    申请日:2020-06-24

    IPC分类号: G06F12/0871

    摘要: 本申请实施例公开了一种缓存系统、缓存处理方法、装置、设备及介质,其中方法包括:依照当前时刻检测到的I/O请求,确定当前时刻各存储节点的缓存命中率曲线,在满足缓存处理条件时,基于最新时刻各存储节点的缓存命中率曲线确定目标缓存配置方案,并依照目标缓存配置方案指示的各存储节点的待配缓存空间大小,调整各存储节点对应缓存实例的缓存空间大小。本申请实施例,可依照I/O请求实时分析出各存储节点的缓存命中率曲线,并基于各存储节点的缓存命中率曲线搜索出最佳缓存配置方案,动态调整各缓存实例的缓存空间,有利于实现缓存空间的按需分配,有效提高缓存利用率。

    一种缓存系统、缓存处理方法、装置、设备及介质

    公开(公告)号:CN111737168B

    公开(公告)日:2024-09-20

    申请号:CN202010585684.1

    申请日:2020-06-24

    IPC分类号: G06F12/0871

    摘要: 本申请实施例公开了一种缓存系统、缓存处理方法、装置、设备及介质,其中方法包括:依照当前时刻检测到的I/O请求,确定当前时刻各存储节点的缓存命中率曲线,在满足缓存处理条件时,基于最新时刻各存储节点的缓存命中率曲线确定目标缓存配置方案,并依照目标缓存配置方案指示的各存储节点的待配缓存空间大小,调整各存储节点对应缓存实例的缓存空间大小。本申请实施例,可依照I/O请求实时分析出各存储节点的缓存命中率曲线,并基于各存储节点的缓存命中率曲线搜索出最佳缓存配置方案,动态调整各缓存实例的缓存空间,有利于实现缓存空间的按需分配,有效提高缓存利用率。

    分布式系统、分布式业务处理方法及相关装置

    公开(公告)号:CN101197754A

    公开(公告)日:2008-06-11

    申请号:CN200710307132.9

    申请日:2007-12-27

    IPC分类号: H04L12/54 G06F9/46 H04L29/08

    摘要: 本发明公开了一种分布式业务处理方法,该方法包括:主服务器获取分布式业务处理请求中携带的查询关键字;主服务器对查询关键字进行哈希散列,得到查询关键字的哈希散列值;若请求是逻辑业务处理请求,则主服务器在逻辑服务器映射表中查找散列值对应的逻辑服务器地址,并将请求发往相应的逻辑服务器进行处理;若请求是数据业务处理请求,则主服务器在数据服务器映射表中查找散列值对应的数据服务器地址,并将所述请求发往相应的数据服务器进行处理。本发明还相应的公开了一种分布式业务处理系统及相关装置。本发明实施例提供的方法既实现了将逻辑业务处理请求发往不同的逻辑服务器,也实现了将数据操作业务处理请求发往不同的数据服务器。

    分布式系统、分布式业务处理方法及相关装置

    公开(公告)号:CN101197754B

    公开(公告)日:2011-11-16

    申请号:CN200710307132.9

    申请日:2007-12-27

    IPC分类号: H04L12/54 G06F9/46 H04L29/08

    摘要: 本发明公开了一种分布式业务处理方法,该方法包括:主服务器获取分布式业务处理请求中携带的查询关键字;主服务器对查询关键字进行哈希散列,得到查询关键字的哈希散列值;若请求是逻辑业务处理请求,则主服务器在逻辑服务器映射表中查找散列值对应的逻辑服务器地址,并将请求发往相应的逻辑服务器进行处理;若请求是数据业务处理请求,则主服务器在数据服务器映射表中查找散列值对应的数据服务器地址,并将所述请求发往相应的数据服务器进行处理。本发明还相应的公开了一种分布式业务处理系统及相关装置。本发明实施例提供的方法既实现了将逻辑业务处理请求发往不同的逻辑服务器,也实现了将数据操作业务处理请求发往不同的数据服务器。

    一种数据缓存处理方法、系统及数据缓存装置

    公开(公告)号:CN100498740C

    公开(公告)日:2009-06-10

    申请号:CN200710077039.3

    申请日:2007-09-11

    发明人: 姚星 毛剑 谢明

    CPC分类号: G06F12/0802

    摘要: 本发明适用于数据缓存领域,提供了一种数据缓存处理方法、系统及数据缓存装置,所述方法包括下述步骤:配置缓存中的节点,以及所述节点对应的内存分片,所述节点用于存储数据的索引信息和指向对应内存分片的指针,所述内存分片用于存储写入缓存的数据;根据待处理的数据的关键字,查找对应的节点,根据查找到的节点,查找节点对应的内存分片,并对待缓存的数据进行缓存处理。本发明对数据的大小要求较低,通用性好,不需要对单个存储数据大小分布的先验知识,既提高了缓存的通用性,又可以有效减少内存的浪费,提高内存使用率。

    一种大容量访问数据的统计方法及系统

    公开(公告)号:CN101187949B

    公开(公告)日:2011-09-21

    申请号:CN200710305060.4

    申请日:2007-12-26

    IPC分类号: G06F17/30 G06Q30/00

    摘要: 本发明适用于数据处理领域,提供了一种大容量访问数据的统计方法及系统,所述方法包括下述步骤:将大容量访问数据分配至一台或者多台分片服务器;分片服务器对所述大容量访问数据进行分片处理,得到由关键字部分和值部分组成的访问数据,并根据所述由关键字部分和值部分组成的访问数据的关键字部分,将分片处理后的访问数据分配至规约服务器;规约服务器对所述分片处理后的访问数据进行规约和统计,得到所述分片处理后的访问数据的统计数据。本发明实施例通过采用分布式处理环境,可以充分利用大量空闲的网络资源,轻易的对大容量访问数据进行统计,而且充分发挥了数据处理的并行性,提高了处理效率。

    一种大容量数据的统计方法及系统

    公开(公告)号:CN101187949A

    公开(公告)日:2008-05-28

    申请号:CN200710305060.4

    申请日:2007-12-26

    IPC分类号: G06F17/30 G06Q30/00

    摘要: 本发明适用于数据处理领域,提供了一种大容量数据的统计方法及系统,所述方法包括下述步骤:将大容量访问数据分配至一台或者多台分片服务器;分片服务器对所述访问数据进行分片处理,得到由关键字部分和值部分组成的访问数据,并根据所述访问数据的关键字部分,将分片处理后的访问数据分配至规约服务器;规约服务器对所述分片处理后的访问数据进行规约和统计,得到所述访问数据的统计数据。本发明实施例通过采用分布式处理环境,可以充分利用大量空闲的网络资源,轻易的对大容量数据进行统计,而且充分发挥了数据处理的并行性,提高了处理效率。

    一种数据缓存处理方法、系统及数据缓存装置

    公开(公告)号:CN101122885A

    公开(公告)日:2008-02-13

    申请号:CN200710077039.3

    申请日:2007-09-11

    发明人: 姚星 毛剑 谢明

    CPC分类号: G06F12/0802

    摘要: 本发明适用于数据缓存领域,提供了一种数据缓存处理方法、系统及数据缓存装置,所述方法包括下述步骤:配置缓存中的节点,以及所述节点对应的内存分片,所述节点用于存储数据的索引信息和指向对应内存分片的指针,所述内存分片用于存储写入缓存的数据;根据配置的节点以及对应的内存分片对数据进行缓存处理。本发明对数据的大小要求较低,通用性好,不需要对单个存储数据大小分布的先验知识,既提高了缓存的通用性,又可以有效减少内存的浪费,提高内存使用率。