一种数据库索引构建方法及装置
    1.
    发明公开

    公开(公告)号:CN116955348A

    公开(公告)日:2023-10-27

    申请号:CN202210897014.2

    申请日:2022-07-28

    IPC分类号: G06F16/22 G06F16/21

    摘要: 本发明提供一种数据库索引构建方法及装置,属于信息存储技术领域,方法包括:在接收到数据插入请求的情况下,将待插入数据插入待插入的位置,若第一检测的检测结果为全局索引的节点增加,基于动态随机存储器的地址空间为新增节点分配所需的地址空间,若第二检测的检测结果为新增节点的父节点位于非易失存储器中,将新增节点插入到快捷索引中;若动态随机存取存储器的已用空间占比达到预设比例,将新增节点由动态随机存储器的地址空间迁移至非易失存储器的地址空间;其中,全局索引以及快捷索引均采用跳表数据结构。本发明采用跳表数据结构,优化了内存型数据库的索引结构,在保证高数据响应速度的前提下减少索引对DRAM的空间消耗。

    基于负载自适应的物联网数据处理方法及系统

    公开(公告)号:CN116647507A

    公开(公告)日:2023-08-25

    申请号:CN202310619803.4

    申请日:2023-05-29

    发明人: 姚建国 周然

    IPC分类号: H04L47/12 G06N20/00 H04L67/12

    摘要: 本发明提供了一种基于负载自适应的物联网数据处理方法及系统,包括:步骤S1:获取物联网设备的设备周期信息并为物联网设备分类,接收物联网设备上传的设备数据,并根据物联网设备分类将设备数据发布到消息队列;步骤S2:根据消息队列的数据阻塞程度处理设备数据;步骤S3:通过自动化方式分析设备数据。本发明提出了一种包含物联网消息传递系统生产者负载自适应策略和消费者负载自适应策略的方法,分别针对物联网设备周期性数据流量和突发性数据流量,解决了物联网数据阻塞的技术问题。

    一种基于NVM混合内存的缓存预取方法及系统

    公开(公告)号:CN111143243B

    公开(公告)日:2023-06-27

    申请号:CN201911318719.9

    申请日:2019-12-19

    摘要: 本发明提供了一种基于NVM混合内存的缓存预取方法及系统,包括:步骤M1:识别DRAM和NVMM主内存,并且将DRAM作为NVMM的缓存;步骤M2:根据预设负载类型,采集对应的访存数据,作为训练的数据;步骤M3:搭建特定的LSTM神经网络模型;步骤M4:使用特定的LSTM神经网络模型对训练的数据进行训练;步骤M5:训练后的LSTM神经网络模型,保证存储系统对负载变化的适应性;本发明创新性地采用机器学习的方案,结合提前采集数据,离线训练的方式,完成了对特定负载的高精准度缓存预取,有效提高混合主内存运行时的命中率。

    基于NVM混合内存的自适应前缀树构建方法及其系统、介质

    公开(公告)号:CN112732725B

    公开(公告)日:2022-03-25

    申请号:CN202110088720.8

    申请日:2021-01-22

    发明人: 姚建国 陈东仪

    摘要: 本发明提供了一种基于NVM混合内存的自适应前缀树构建方法,根据全局索引数据结构对全量数据和节点在NVM地址空间进行构建和维护;根据快捷索引数据结构对新增数据和节点在DRAM地址空间进行分配和维护;当DRAM地址空间占用达到设定比例后,触发迁移线程将新增数据和节点迁移到NVM地址空间中,降低DRAM地址空间存储。本发明还提供了一种基于NVM混合内存的自适应前缀树构建系统,能够在自适应前缀树低DRAM地址空间占用的基础上,根据节点上存储数据的冷热度,对索引结构进行分区域存储,在降低了DRAM地址空间消耗的同时,利用工作负载的局部性特征,为新增节点提供更为快捷的访问方式,可以很好的维持数据库请求响应性能。

    一种输入/输出I/O请求处理方法和主机设备

    公开(公告)号:CN113656141A

    公开(公告)日:2021-11-16

    申请号:CN202010397767.8

    申请日:2020-05-12

    IPC分类号: G06F9/455

    摘要: 本申请实施例公开了一种输入/输出I/O请求处理方法,方法包括:获取目标虚拟I/O队列的I/O请求流量,I/O请求流量用于描述目标虚拟IO队列中I/O请求的数量;处理器根据I/O请求流量,确定目标虚拟I/O队列是否映射于存储设备中的物理I/O队列。本申请通过计算虚拟I/O队列的I/O请求流量,并基于I/O请求流量进行虚拟I/O队列和物理I/O队列的分配,使得虚拟机物理资源可以基于I/O负载的情况进行分配。

    单机大规模知识图谱嵌入系统及方法

    公开(公告)号:CN113609310A

    公开(公告)日:2021-11-05

    申请号:CN202110983670.X

    申请日:2021-08-25

    摘要: 本发明提供了一种单机大规模知识图谱嵌入方法及系统,包括:步骤S1:根据关系对知识图谱进行划分操作,得到多个子知识图谱;步骤S2:将各个子知识图谱与GPU绑定,利用GPU对子知识图谱进行训练,得到知识图谱中每个实体与关系对应的嵌入向量。相比于传统使用分布式集群来进行大规模知识图谱嵌入训练的方法,本发明使用非易失性内存大容量的特性,并且合理分配知识图谱训练过程中的数据在非易失性内存、GPU显存与DRAM的位置,能够克服分布式训练过程中网络通信所带来的性能开销,使得在不影响最终嵌入向量质量的情况下,总体训练效率提升40%‑50%;同时还能大大节约搭建分布式集群的费用,具有经济上的优势。

    基于深度强化学习方法的中国象棋博弈学习方法及系统

    公开(公告)号:CN113599798A

    公开(公告)日:2021-11-05

    申请号:CN202110983668.2

    申请日:2021-08-25

    摘要: 本发明提供了一种基于深度强化学习方法的中国象棋博弈学习方法及系统,包括:步骤S1:将局面特征输入深度卷积神经网络,输出当前局面评估值和所有合法着法的概率;步骤S2:当前局面根据当前局面评估值和合法着法的概率,利用蒙特卡洛树搜索对当前局面进行决策,选择下一步的着法并执行走子,获取当前局面特征,重复触发步骤S1至步骤S2,直至棋局走到终局,得到对弈结果。本发明通过基于人类专家棋谱的监督学习和基于自我对弈的自学习的技术特征,实现快速提升模型棋力,并以迭代式方法逐步增强棋力以至模型棋力最终超过人类棋手的技术效果。

    一种多层次细粒度的虚拟化GPU调度优化方法

    公开(公告)号:CN108710536B

    公开(公告)日:2021-08-06

    申请号:CN201810285080.8

    申请日:2018-04-02

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种多层次细粒度的虚拟化GPU调度优化方法,分别用了3种方式来优化调度策略:基于时间和事件的调度,基于流水线的无缝调度,以及混合基于环及基于虚拟机的调度。这3种调度策略分别利用了两个虚拟机切换造成的开销、虚拟机运行分成多个阶段同时运行以及多个虚拟机利用不同环同时工作这三点作为优化方法。本发明通过修改调度器及调度策略,大大降低了切换过程的开销,并且支持了多个虚拟GPU之间的并行执行,因此一个物理GPU共享的多个虚拟GPU的性能都能得到显著的提升,从而提升总体性能。发明使物理GPU的利用率提升,从而进一步使虚拟GPU的性能提升。此外,本方法同时保证了虚拟GPU依然符合服务质量要求。