智能TCP拥塞控制方法、系统、设备和存储介质

    公开(公告)号:CN112714074A

    公开(公告)日:2021-04-27

    申请号:CN202011607646.8

    申请日:2020-12-29

    摘要: 智能TCP拥塞控制方法、系统、设备和存储介质,采集基于强化学习的TCP拥塞控制过程在t时刻的状态;根据采集的t时刻的状态的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程,定义为五元组;采用近端策略优化计算在t时刻的奖励值期望,根据在t时刻的奖励值期望,调节控制动作,使奖励值期望最大化,适应网络的变化,实现网络拥塞控制的自学习。本发明采用近端策略优化方法进行模型更新,实现智能体快速学习。本发明相比传统Cubic、NewReno、HighSpeed具有更好的灵活性和适应性,可在不同的网络环境下资助学习最优拥塞控制策略,具有更优的网络传输性能。

    一种小样本硬盘故障数据生成方法、存储介质及计算设备

    公开(公告)号:CN112434733A

    公开(公告)日:2021-03-02

    申请号:CN202011290978.8

    申请日:2020-11-17

    摘要: 本发明公开了一种小样本硬盘故障数据生成方法、存储介质及计算设备,基于长短期记忆网络作为生成对抗网络的生成网络,对硬盘SMART数据进行学习,对长短期记忆网络的梯度进行调整并生成用于对抗训练的虚拟硬盘故障数据;对生成的虚拟硬盘故障数据进行甄别,将真实的硬盘故障数据作为训练样本数据集;交替计算生成对抗网络中生成网络G和判别网络D的梯度并调整至收敛,完成小样本硬盘故障数据训练,训练完成后,加载模型中的生成网络G,将初始随机向量传给生成网络G,生成网络G生成虚拟硬盘故障数据。本发明能够有效地生成符合真实硬盘故障数据特点的虚拟硬盘故障数据,扩充硬盘故障数据样本集,提高机器学习算法识别硬盘故障的准确率。

    基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法

    公开(公告)号:CN110531936A

    公开(公告)日:2019-12-03

    申请号:CN201910810633.1

    申请日:2019-08-29

    IPC分类号: G06F3/06

    摘要: 本发明公开了基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法,其特征为在分布式存储系统中将纠删码的数据块数据放置到固态硬盘存储,将纠删码校验块数据放置到机械硬盘存储。其包括一下步骤:步骤(1)对分布式存储系统中数据存储介质进行分类,并建立林型混合存储结构;步骤(2)将分布式存储系统中纠删码数据进行分类,其中分为数据块数据与校验块数据并标记;步骤(3)将分类好的纠删码数据放置到林型存储结构的特定树上分发落盘。以此实现分布式存储上纠删码数据的基于多种存储介质的混合架构存储。本发明可以解决纠删码写放大对SSD的过度磨损,以更低成本提高系统性能,延长使用寿命,增强可靠性。

    面向高性能计算虚拟数据空间的轻量级数据安全保密方法

    公开(公告)号:CN111914265B

    公开(公告)日:2023-12-19

    申请号:CN202010182590.X

    申请日:2020-03-16

    IPC分类号: G06F21/60 H04L9/06

    摘要: 面向高性能计算虚拟数据空间的轻量级数据安全保密方法,将数据按固定长度,切分为等长数据块,根据切分的数据块数量,生成不重复随机数序列,保存该序列作为乱序顺序表;将数据块大小,最后一块数据块大小和乱序顺序表写入缓冲区中,生成的元数据,对生成的元数据进行加密得到元数据密文;将元数据密文大小写入乱序文件中,再写入元数据密文,然后,写入乱序文件的正文数据,按照乱序顺序表顺序,分别将每个数据块写入重组文件的相应位置中;最后进行解密。该本发明基于乱序数据块重组,使恶意用户无法轻易破解乱序数据,提供基本的数据安全保障,满足高性能计算虚拟数据空间用户需求。相比AES等加密算法,能够显著减少计算开销。

    智能TCP拥塞控制方法、系统、设备和存储介质

    公开(公告)号:CN112714074B

    公开(公告)日:2023-03-31

    申请号:CN202011607646.8

    申请日:2020-12-29

    摘要: 智能TCP拥塞控制方法、系统、设备和存储介质,采集基于强化学习的TCP拥塞控制过程在t时刻的状态;根据采集的t时刻的状态的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程,定义为五元组;采用近端策略优化计算在t时刻的奖励值期望,根据在t时刻的奖励值期望,调节控制动作,使奖励值期望最大化,适应网络的变化,实现网络拥塞控制的自学习。本发明采用近端策略优化方法进行模型更新,实现智能体快速学习。本发明相比传统Cubic、NewReno、HighSpeed具有更好的灵活性和适应性,可在不同的网络环境下资助学习最优拥塞控制策略,具有更优的网络传输性能。

    一种针对云平台的多维度虚拟机映射方法

    公开(公告)号:CN109947530B

    公开(公告)日:2021-09-07

    申请号:CN201910074812.3

    申请日:2019-01-25

    IPC分类号: G06F9/455

    摘要: 一种针对云平台的多维度虚拟机映射方法,包括以下步骤:步骤1,利用主权重维度规则计算确定该映射算法的主权重维度;步骤2,根据主权重维度参数对物理机进行降序排序;步骤3,根据主权重维度参数对虚拟机进行降序排序;步骤4,对未映射的虚拟机依次进行映射,激活相应的物理机;步骤5,对被激活的物理机的剩余空间进行映射;步骤6,判断是否存在未映射的虚拟机,若有则重复步骤4,否则结束整个调度算法。本发明综合分析了影响物理机能耗的诸多因素。其次,由于现实情况中云数据中心大多是采用廉价机器组成的异构集群,每台物理机由于CPU、内存等配置的不同会表现出不同的性能,本发明兼顾了集群的异构性。

    一种基于rabin指纹与异或计算的重复数据检测方法

    公开(公告)号:CN110532795B

    公开(公告)日:2021-02-19

    申请号:CN201910625535.0

    申请日:2019-07-11

    IPC分类号: G06F21/62

    摘要: 一种基于rabin指纹与异或计算的重复数据检测方法,计算当前数据块的rabin指纹值;查找当前数据块的rabin指纹值是否在数据库中存在,如果不存在,则判断当前数据块为新数据块;否则查找数据库中所有具有与当前数据块相同rabin指纹值的数据块并将其读出;将读出的数据块与当前数据块按照异或计算进行数据对比,如果所有数据块对比的异或结果为1,则当前数据块为新数据块,否则判断当前数据块为重复数据块。本发明能够显著降低新型非易失性存储器件中的指纹计算性能开销,并且能够消除传统重复数据检测方法存在的安全隐患。

    一种针对去中心化架构存储系统的迁移任务调度方法

    公开(公告)号:CN112433670B

    公开(公告)日:2022-02-18

    申请号:CN202011177017.6

    申请日:2020-10-28

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种针对去中心化架构存储系统的迁移任务调度方法,对每个迁移任务进行迁移后的数据分布进行预估,采集参与迁移硬盘带宽数据,建立基于去中心化架构存储系统的迁移任务干扰系数模型;为每个迁移任务建立任务干扰系数模型,通过观测硬盘观测窗口采样窗口内干扰系数的平均值,当干扰系数平均值小于设定阈值时,执行数据迁移;采集硬盘观测窗口内带宽变化调节迁移任务的速率,对迁移任务干扰系数模型的迁移带宽进行分配,实现迁移任务调度。本发明提高了去中心化架构存储系统的数据迁移速度的同时减少了迁移对于用户应用的影响。

    一种针对去中心化架构存储系统的迁移任务调度方法

    公开(公告)号:CN112433670A

    公开(公告)日:2021-03-02

    申请号:CN202011177017.6

    申请日:2020-10-28

    IPC分类号: G06F3/06

    摘要: 本发明公开了一种针对去中心化架构存储系统的迁移任务调度方法,对每个迁移任务进行迁移后的数据分布进行预估,采集参与迁移硬盘带宽数据,建立基于去中心化架构存储系统的迁移任务干扰系数模型;为每个迁移任务建立任务干扰系数模型,通过观测硬盘观测窗口采样窗口内干扰系数的平均值,当干扰系数平均值小于设定阈值时,执行数据迁移;采集硬盘观测窗口内带宽变化调节迁移任务的速率,对迁移任务干扰系数模型的迁移带宽进行分配,实现迁移任务调度。本发明提高了去中心化架构存储系统的数据迁移速度的同时减少了迁移对于用户应用的影响。

    分布式存储中纠删码非对齐数据更新方法

    公开(公告)号:CN110515541B

    公开(公告)日:2020-10-27

    申请号:CN201910690407.4

    申请日:2019-07-29

    IPC分类号: G06F3/06 G06F11/10

    摘要: 本发明公开了一种分布式存储中纠删码非对齐数据更新方法,在保证数据容错一致性以及数据可恢复的前提下,可实现纠删码数据的基本更新,并可实现纠删码数据的非对齐增量更新,接收用户发出的数据D0的更新,将纠删码数据块数据直接更新在原有数据块上,将数据D0更新所产生的纠删码校验块数据的更新以校验块数据更新增量Δ0的形式直接追加到校验块数据之后的预留空间中,对于纠删码数据更新时数据块的非对齐部分,将非对齐部分的数据块D’直接追加在原始数据块之后,并将非对齐部分按特定编码系数编码追加到所更新的校验块之后,以实现纠删码的非对齐数据更新。本发明所解决的是分布式存储中纠删码大规模使用的瓶颈之一。