-
公开(公告)号:CN111737168B
公开(公告)日:2024-09-20
申请号:CN202010585684.1
申请日:2020-06-24
申请人: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC分类号: G06F12/0871
摘要: 本申请实施例公开了一种缓存系统、缓存处理方法、装置、设备及介质,其中方法包括:依照当前时刻检测到的I/O请求,确定当前时刻各存储节点的缓存命中率曲线,在满足缓存处理条件时,基于最新时刻各存储节点的缓存命中率曲线确定目标缓存配置方案,并依照目标缓存配置方案指示的各存储节点的待配缓存空间大小,调整各存储节点对应缓存实例的缓存空间大小。本申请实施例,可依照I/O请求实时分析出各存储节点的缓存命中率曲线,并基于各存储节点的缓存命中率曲线搜索出最佳缓存配置方案,动态调整各缓存实例的缓存空间,有利于实现缓存空间的按需分配,有效提高缓存利用率。
-
公开(公告)号:CN118586400A
公开(公告)日:2024-09-03
申请号:CN202410726329.X
申请日:2024-06-06
申请人: 华中科技大学
IPC分类号: G06F40/30 , G06F18/214 , G06F18/21 , G06N3/0442 , G06N3/0455 , G06N3/084
摘要: 本发明公开了一种语义驱动的时间序列预测模型,包括语义信息编码层、嵌入层编码模块、第一变量选择网络、k个第二变量选择网络、τ个第三变量选择网络、静态协编码器模块、LSTM编码模块、LSTM解码模块、k+τ个门控残差网络、多头注意力层、以及输出层(其为全连接层),语义信息编码层的输入是使用词袋技术和TF‑IDF技术对文本特征进行处理后得到的维度为bs×1×c的文本特征矩阵,其对该文本特征矩阵进行维度变换处理,输出维度为bs×1×h的语义特征矩阵。其中bs为离线训练过程中预先设置的批量数据大小。本发明能够解决现有时间序列预测模型由于缺乏语义信息处理能力和缺乏输入多样性考虑导致的准确性低和泛化性不佳的技术问题,以及缺乏特征可解释性能力的问题。
-
公开(公告)号:CN115130032B
公开(公告)日:2024-07-09
申请号:CN202210789994.4
申请日:2022-07-05
申请人: 华中科技大学
IPC分类号: G06F16/957 , G06F16/958
摘要: 本发明公开了一种异构粒度存储系统中的缺失率曲线构建方法,包括:接收访问请求序列,并设置计数器i=1,判断i是否等于访问请求序列中的访问请求总数,如果不等于则将访问请求序列中的第i条访问请求载入缓存过滤器中,并判断该第i条访问请求对应的访问对象是否在缓存过滤器中命中,如果没有则根据第i条访问请求对应的访问对象的大小获取该访问对象的采样率,根据得到的第i条访问请求对应的访问对象的采样率对该访问对象进行采样,并计算该访问对象的重用距离,设置计数器i=i+1。本发明能够解决现有异构粒度存储系统中由于内容流行度差异以及对象大小差异,从而导致的字节缺失率曲线与对象缺失率曲线构建不准确的技术问题。
-
公开(公告)号:CN118278500A
公开(公告)日:2024-07-02
申请号:CN202410524935.3
申请日:2024-04-29
申请人: 华中科技大学
IPC分类号: G06N3/096 , G06F16/182 , G06F9/50 , G06N20/00 , G06N3/006 , G06F18/214 , G06F18/24 , G06F17/18
摘要: 本发明公开了一种在DFS中通过基于负载感知的目录级迁移的方法,首先通过机器学习模型分析负载信息以提前发现热点目录,随后,综合预测出的目录热度和系统节点状态情况,提出迁移代价分析模型衡量迁移数据的必要性和紧急度,进而确定何时触发迁移或容忍不均的情况,然后,为了更好的利用局部性,设计了同级目录协同迁移机制,最后,采用多目标优化的方法来恰当的选择所要迁入的存储节点。本发明能解决现有文件级数据迁移方法由于在迁移过程中引入过多的指针,导致增加额外开销的技术问题,在迁移过程中文件的热度消失很快,导致频繁的文件级迁移操作过程中出现很多无效迁移的技术问题,以及由于不能够充分发现热点数据,导致迁移效率低的技术问题。
-
公开(公告)号:CN117806991A
公开(公告)日:2024-04-02
申请号:CN202311783796.8
申请日:2023-12-21
申请人: 华中科技大学
IPC分类号: G06F12/123
摘要: 本发明公开了一种基于对象大小感知的自适应缓存插入方法及系统,属于缓存替换技术领域。首先提出了一种影子缓存的机制,能够利于追溯和感知从真实缓存中淘汰对象的历史状态,辅助整个插入策略的精准高效实施;在此基础上,提出了一种新的自适应对象插入策略,通过基于淘汰对象感知访问对象的大小倾向性的算法和记录对象出入情况的影子缓存,动态的调整新入对象的插入位置,在给潜在的零重复使用对象至少一次机会的同时减少零重用对象的驻留几率,提高对象命中率。同时本发明可以动态根据自适应的大小阈值,以几乎忽略不计的开销来适应内容分发网络中动态变化的工作负载,提升缓存性能,特别是在缓存资源有限的场景中减少用户访问延迟和回源带宽。
-
公开(公告)号:CN116962204A
公开(公告)日:2023-10-27
申请号:CN202310916502.8
申请日:2023-07-24
申请人: 华中科技大学
IPC分类号: H04L41/14 , G06N20/20 , H04L41/16 , H04L41/147 , H04L67/1097
摘要: 本发明公开了一种基于机器学习降低内容分发网络租户尾延时的方法,包括以下步骤:接收来自请求端的多个租户负载请求所组成的租户负载请求序列{R1,R2,…,Rk},先后对所有租户负载请求进行向量化处理和归一化处理,以获取所有租户负载请求对应的多个特征向量,将所有租户负载请求对应的多个特征向量输入到预先训练好的机器学习模型中,以获取所有租户负载请求对应的多个预测结果,根据所有租户负载请求对应的多个预测结果获取每个租户负载请求对应的租户缓存分区的尾延时敏感度。本发明能够解决CDN云厂商现有缓存空间静态分配方法在租户访问模式发生改变后造成租户缓存分区缓存资源低配或超配的技术问题。
-
公开(公告)号:CN116796273A
公开(公告)日:2023-09-22
申请号:CN202310754770.4
申请日:2023-06-25
申请人: 华中科技大学
IPC分类号: G06F18/2433 , G06F18/213 , G06F18/10 , G06N3/0455 , G06N3/0499 , G06N3/082 , G06F18/25
摘要: 本发明公开了一种基于Transformer的云数据库异常检测方法,包括以下步骤:获取云数据库的关键性能指标KPI数据,对采集的云数据库的KPI数据进行降维处理,以获取降维处理后的云数据库的KPI数据;对降维处理后的云数据库的KPI数据进行预处理,以获取云数据库KPI样本数据;将获取的云数据库的KPI数据输入预先训练好的云数据库异常检测模型TransAD中,以获取异常检测结果。本发明能够解决现有云数据库异常检测方法忽视由于了云数据库集群的特点,仅考虑了数据库自身不同KPI之间的相关性,而没有考虑数据库之间的相关性,因此无法从集群整体层面来度量数据库的异常状态,因此会导致检测精确率低的技术问题。
-
公开(公告)号:CN110245721B
公开(公告)日:2023-09-05
申请号:CN201910555746.1
申请日:2019-06-25
申请人: 深圳市腾讯计算机系统有限公司 , 华中科技大学
IPC分类号: G06V10/774 , G06V10/74 , G06V10/77 , G06V10/82 , G06N3/0895
摘要: 本公开提供了一种神经网络模型的训练方法和装置、电子设备和计算机可读存储介质。神经网络模型的训练方法包括:利用第一训练样本集执行初始训练,获得初始神经网络模型;利用初始神经网络模型对第二训练样本集执行预测,获得第二训练样本集中每个训练样本的预测结果;基于预测结果,从第二训练样本集确定多个优选样本;接收对于多个优选样本的标注结果,将标注后的多个优选样本加入第一训练样本集,获得扩展的第一训练样本集;利用扩展的第一训练样本集执行更新训练,以获得更新的神经网络模型;在满足训练结束条件的情况下,结束训练;以及在不满足训练结束条件的情况下,重复执行预测步骤、优选样本确定步骤、样本扩展步骤以及更新训练步骤。
-
公开(公告)号:CN116383415A
公开(公告)日:2023-07-04
申请号:CN202310276840.X
申请日:2023-03-21
申请人: 华中科技大学
IPC分类号: G06F16/41 , G06F16/45 , G06F16/483 , G06N20/00
摘要: 本发明公开了一种多媒体数据的哈希生成模型的构建方法及应用,多媒体数据跨模态检索技术领域,包括:S1、接收多媒体数据集;其中,多媒体数据包括图像、以及用于描述图像内容的文本,并携带具有层次结构的层次标签;S2、针对每一个多媒体数据,提取其模态特征,并获取其层次标签中任意相邻两层之间的隶属关系矩阵,基于隶属关系矩阵和层次标签得到每一层的软相似标签,进而得到每一个多媒体数据的哈希码;S3、以各多媒体数据的模态特征为输入,对应的哈希码为输出,对机器学习模型进行训练,得到哈希生成模型。本发明能够充分利用标签层次结构中的信息,生成具有辨别力的哈希码,大大提高了检索的准确性。
-
公开(公告)号:CN116088761A
公开(公告)日:2023-05-09
申请号:CN202310059553.3
申请日:2023-01-18
申请人: 华中科技大学
摘要: 本发明公开了一种基于强化学习的分布式存储系统自动调参方法及系统,属于分布式存储技术领域;首先通过对第一样本池中的分布式存储系统性能指标进行统计,从而从第一样本池中筛选出对分布式存储系统性能影响较大的多个系统参数,作为分布式存储系统的一组调优参数,以降低优化问题的复杂度,保证了后续基于强化学习的进行调参的可行性;然后,在参数筛选的基础之上,利用强化学习的DDPG模型进行进一步的调优工作,并且在这个过程中,考虑到DDPG模型的前期冷启动耗时问题,采用遗传算法进行前期的样本收集工作,将收集得到的样本输入给DDPG模型进行预训练,从而避免前期冷启动大量耗时的问题,从而能够合理有效地对分布式存储系统参数进行准确调优。
-
-
-
-
-
-
-
-
-