一种固态盘缓存管理方法及系统
    71.
    发明公开

    公开(公告)号:CN118519927A

    公开(公告)日:2024-08-20

    申请号:CN202410588781.4

    申请日:2024-05-13

    Abstract: 本申请属于固态盘缓存管理技术领域,具体公开了一种固态盘缓存管理方法及系统;方法包括:将固态盘缓存的读写请求流量、读写请求重访问率以及缓存中干净页的比例作为状态参数;将所述状态参数输入到训练好的基于学习的协同读写缓存策略模型,获取相应的固态盘缓存阈值;所述缓存阈值包括:读写请求流量比例阈值、读写请求重访问率比例阈值以及干净数据比例阈值作为动作参数。通过本申请,采用基于学习的协同读写缓存策略让读和写数据之间学会相互取舍和牺牲,从而实现SSD内资源的最大化利用。

    一种通用缓存替换方法及系统

    公开(公告)号:CN114995751B

    公开(公告)日:2024-08-09

    申请号:CN202210576451.4

    申请日:2022-05-25

    Abstract: 本发明提供一种通用缓存替换方法及系统,包括:收集当前各种相关请求至缓存的I/O序列;将I/O序列输入到训练好的缓存分布预测器,以预测当前序列下应该采用何种缓存替换策略的概率;缓存分布预测器主要是以深度强化学习算法DDPG为基础,内部的神经网络在输入阶段对I/O序列在时序特征和统计特征上的分析;时序特征的提取主要是采用LSTM来实现,统计特征的提取主要是通过分析I/O序列本身反映出诸如最大最小以及均值等统计信息。本发明结合I/O序列的多维特征分析和深度强化学习算法来指导缓存应该选择何种缓存替换策略来完成缓存的替换过程,在无需应用层信息的情况下高效完成缓存的替换过程,降低了系统在复杂环境下部署的难度。

    一种多级缓存管理方法、装置、设备及可读存储介质

    公开(公告)号:CN115509962A

    公开(公告)日:2022-12-23

    申请号:CN202211238751.8

    申请日:2022-10-10

    Abstract: 本申请公开了一种多级缓存管理方法、装置、设备及可读存储介质,该方法包括:每次命中多级缓存中底层缓存层的I/O请求数据后,利用命中信息动态更新对应上层缓存层的概率值;在需要驱逐上层缓存层中的一个目标I/O请求数据时,生成随机数;若随机数小于概率值,则利用LRU算法选出目标I/O请求数据;若随机数大于等于概率值,则利用LFU算法选出目标I/O请求数据;驱逐目标I/O请求数据。本申请面对复杂场景下的I/O请求,能够较为灵活地匹配不同的访问模式,从而自适应对当前的I/O请求数据进行合理调度和替换。即,本申请可以将底层缓存层与上次缓存层动态结合起来进行管理,从而实现多层缓存层的相互协同,最终有效提升缓存命中率。

    一种基于节点分类排序的社交网络图压缩方法及系统

    公开(公告)号:CN110719106B

    公开(公告)日:2021-08-31

    申请号:CN201910923378.1

    申请日:2019-09-27

    Abstract: 本发明公开了一种基于节点分类排序的社交网络图压缩方法及系统,属于大数据处理领域,包括:获得社交网络图中各节点的入度,以获得其中的零入度节点,将入度最高的前top‑k节点作为高入度节点,将其余节点作为社区节点;将高入度节点划分为不同的领域,并将相同领域内的高入度节点排序到一起;将社区节点划分为不同社区,并将相同社区内的社区节点排序到一起;将所有零入度节点一起排序到末尾;根据排序后的节点建立图邻接矩阵,并将每一行中连续的b个比特作为一个比特行;对于每一个节点,仅对其出邻居节点所在的比特行进行存储并进行固定长度的编码,从而完成对社交网络图的压缩。本发明能够保证图计算任务的运行性能并提高社交网络图的压缩率。

    一种基于深度学习的垃圾文本过滤方法

    公开(公告)号:CN108805132B

    公开(公告)日:2021-08-20

    申请号:CN201810557803.5

    申请日:2018-06-01

    Abstract: 本发明公开了一种基于深度学习的垃圾文本过滤方法,先对字符数据进行过滤,去除非必要的符号、空格及语气助词,根据垃圾文本中存在的不同数据类型进行分类,将字符数据和图形数据分别通过标记加以区分,但不改变两类数据的顺序和位置,将图形数据通过深度学习算法转换成字符数据,数据转换为深度学习方法的一个重要组成部分,结合原字符数据通过深度学习算法与云服务器中的违禁词进行对比得到垃圾文本,文本对比为深度学习方法的一个重要推广,能够做到有效的深度拦截和提示。本发明有效解决了现有的文本过滤方法不能很好筛选出由字符数据和图形数据共同组成的垃圾文本问题,将深度学习算法应用到垃圾文本处理,提高了筛选的准确率。

    一种面向搜索引擎的知识表示学习方法和知识推理方法

    公开(公告)号:CN113190685A

    公开(公告)日:2021-07-30

    申请号:CN202110426286.X

    申请日:2021-04-20

    Abstract: 本发明公开了一种面向搜索引擎的知识表示学习方法和知识推理方法,属于计算机数据处理领域,包括:(S1)以实体为节点,遍历目标知识图谱,获得以各节点为起始节点且长度为s的关系路径,并获得各关系路径的特征;初始化Stmp=s;s=L/n,L为关系路径的最大长度;(S2)若Stmp=L,则转入(S5);否则,转入(S3);(S3)对于长度为Stmp的每一条关系路径p,将其与长度为s且以p的目的节点为起始节点的关系路径进行组合,得到长度为Ltmp=Stmp+s的关系路径,并获得其特征;(S4)将Stmp更新为Ltmp,转入(S2);(S5)将实体、关系和所有关系路径的特征应用于表示学习,得到实体和关系的向量表示。本发明能够提高关系路径建模的计算效率,从而高效提升搜索引擎知识图谱质量。

    一种基于节点分类排序的社交网络图压缩方法及系统

    公开(公告)号:CN110719106A

    公开(公告)日:2020-01-21

    申请号:CN201910923378.1

    申请日:2019-09-27

    Abstract: 本发明公开了一种基于节点分类排序的社交网络图压缩方法及系统,属于大数据处理领域,包括:获得社交网络图中各节点的入度,以获得其中的零入度节点,将入度最高的前top-k节点作为高入度节点,将其余节点作为社区节点;将高入度节点划分为不同的领域,并将相同领域内的高入度节点排序到一起;将社区节点划分为不同社区,并将相同社区内的社区节点排序到一起;将所有零入度节点一起排序到末尾;根据排序后的节点建立图邻接矩阵,并将每一行中连续的b个比特作为一个比特行;对于每一个节点,仅对其出邻居节点所在的比特行进行存储并进行固定长度的编码,从而完成对社交网络图的压缩。本发明能够保证图计算任务的运行性能并提高社交网络图的压缩率。

    一种基于索引定位的图计算系统的外存访问方法

    公开(公告)号:CN109522428A

    公开(公告)日:2019-03-26

    申请号:CN201811082365.8

    申请日:2018-09-17

    Abstract: 本发明公开了一种基于索引定位的图计算系统的外存访问方法,包括:将完整的图数据分割成多个子图;对各个子图的边分别按照源顶点编号和目标顶点编号进行排序;将排序后的各个子图写入外存文件中,并分别为源顶点编号和目标顶点编号建立索引;从索引定位的载入方式和访问完整数据的载入方式中选择最优载入方式;以最优载入方式,将外存中各个子图载入内存。本发明对外存数据结构重新设计,改进数据加载方式,使系统能够在载入之前分析外存中的有效数据,显著减少I/O数据量和随机访问次数;分析访问完整数据方式与索引定位方式的时间开销,动态判断系统的最优数据载入方式,降低数据加载的时间开销。

    一种基于多外存设备多队列的I/O管理方法

    公开(公告)号:CN109343943A

    公开(公告)日:2019-02-15

    申请号:CN201811040593.9

    申请日:2018-09-07

    Abstract: 本发明公开了一种基于多外存设备多队列的I/O管理方法,包括:将边块文件划分成大小相等的条带单元,条带单元以递增的顺序循环地条带化到条带化文件中;采用上述条带化方式,对原始I/O请求进行地址映射;判断原始I/O请求是否需要分解,如果是,将其分解成对齐条带单元边界的多个新I/O请求;否则,直接将其映射成等长的新I/O请求;对新I/O请求进行预取合并;将新I/O请求分派到对应外存设备的相应的I/O任务队列。本发明通过基于多外设多队列的I/O管理,确保每个I/O请求只由一个外存设备服务,每个应用I/O线程专用于一个外存设备,通过对新I/O请求的预取合并,将多个小的请求合并成一个大的I/O请求,有效地减少了对外存设备的访问次数,使得多外存I/O性能充分发挥。

    一种基于可编程网络设备的副本选择器

    公开(公告)号:CN108900509A

    公开(公告)日:2018-11-27

    申请号:CN201810700159.2

    申请日:2018-06-29

    Abstract: 本发明公开一种基于可编程网络设备的副本选择器,所述副本选择器面向位于数据中心中的分布式键值存储系统,其中,数据中心使用基于树结构的多层网络拓扑,所述副本选择器硬件组成包括可编程交换机和网络加速器,其中,一个或多个网络加速器与一个可编程交换机直接相连构成副本选择器;所述副本选择器软件组成包括转发规则和执行器,其中,转发规则运行在可编程交换机上,负责数据包转发;执行器运行在网络加速器上,负责为分布式键值存储请求选择副本。本发明利用可编程网络设备的可编程能力,将副本选择的任务从终端主机移到了网络设备中,降低发生“羊群效应”的概率;本发明分别为NetRS请求和NetRS响应设计了不同的数据包格式,以减少使用NetRS协议引入的额外网络开销。

Patent Agency Ranking