范围锁的实现方法、装置、设备、系统及存储介质

    公开(公告)号:CN118473685A

    公开(公告)日:2024-08-09

    申请号:CN202310138327.4

    申请日:2023-02-09

    Abstract: 本申请提供了一种范围锁的实现方法、装置、设备、系统及存储介质,涉及数据处理技术领域。以客户端执行该方法为例,客户端获取待上锁的共享存储资源的第一范围;将第一范围映射为第一线段树上的目标节点,其中,第一线段树包括多层节点,多层节点中的每个节点对应一个连续的范围,每个节点对应的范围为每个节点连接的下层节点对应的范围的并集,同层节点对应的范围之间不存在交集;在基于第一线段树对应的节点信息对目标节点上锁成功且不存在锁冲突的情况下,获取第一范围对应的范围锁,第一线段树对应的节点信息用于指示与目标节点相关的节点的上锁情况。该方法通过线段树获取的范围锁不存在锁冲突,保证了获取的范围锁的准确性。

    推荐模型预估系统及其使用方法
    2.
    发明公开

    公开(公告)号:CN117311960A

    公开(公告)日:2023-12-29

    申请号:CN202311117940.4

    申请日:2023-08-31

    Applicant: 清华大学

    Abstract: 本申请涉及推荐技术领域,提供一种推荐模型预估系统及其使用方法,系统应用于图形处理器GPU,包括:GPU直访内存组件用于利用GPU并行查询算法访问查询参数请求中内存虚拟地址在GPU中的第一虚拟地址空间,得到所需嵌入参数,第一虚拟地址空间映射有DRAM中对应的第二虚拟地址空间;GPU直访外存组件用于读取查询参数请求中的N个稀疏特征ID,并行将查询参数请求写入提交队列,对N个稀疏特征ID进行处理,获取SSD中对应的逻辑块,基于提交队列读取所需嵌入参数;推荐模型用于基于所需嵌入参数和稠密参数进行模型预估;这样,可以并行访问DRAM和SSD,不需要额外拷贝参数,节省参数读取时间,进而提高模型的预估效率。

    元数据处理方法、装置、设备、存储介质及产品

    公开(公告)号:CN116467277A

    公开(公告)日:2023-07-21

    申请号:CN202310263889.1

    申请日:2023-03-17

    Applicant: 清华大学

    Abstract: 本申请提供一种元数据处理方法、装置、设备、存储介质及产品。该方法包括:响应于接收到客户端设备发送的对包括多个预设目录组的分布式文件系统中元数据的操作请求,根据操作请求中目标元数据的存储路径确定存储目标元数据的目标目录组;目标元数据包括目标目录访问元数据和/或其所在目录下的目标文件元数据,目标目录组用于存储目标元数据及其父目录时间戳元数据;针对每个预设目录组,分别存储在一个对应的非统一内存访问节点中,多个非统一内存访问节点位于对应的元数据服务器中,各预设目录组中的数据包括预设元数据及其父目录时间戳元数据;根据操作请求中操作类型对目标元数据进行操作,并对目标元数据的父目录时间戳元数据进行更新。

    基于远程存储协议的数据处理方法、装置、设备及介质

    公开(公告)号:CN116319726A

    公开(公告)日:2023-06-23

    申请号:CN202310215700.1

    申请日:2023-02-28

    Applicant: 清华大学

    Abstract: 本申请提供一种基于远程存储协议的数据处理方法、装置、设备及介质。该方法包括:接收处理请求,其中,处理请求用于指示对待处理数据进行存入操作或取出操作;根据预设远程存储协议对处理请求进行序列化处理,得到序列化后的处理请求,其中,预设远程存储协议用于表征远程存储的请求中包括对象存储语义;将序列化后的处理请求发送至服务端;其中,序列化后的处理请求用于指示解析待处理数据的对象存储语义后得到待处理数据的位置信息,待处理数据的位置信息用于基于待处理数据的位置信息对待处理数据执行处理请求对应的操作,以得到处理结果;接收服务端反馈的处理结果,并输出处理结果。本申请的方法,提升了数据存取效率。

    面向非易失性内存的JavaScript对象持久化框架

    公开(公告)号:CN111309310B

    公开(公告)日:2023-04-28

    申请号:CN202010135451.1

    申请日:2020-03-02

    Abstract: 本发明公开了一种面向非易失性内存的JavaScript对象持久化框架,包括:持久性对象池模块、共享内存模块、数据一致性保障模块以及垃圾回收模块;持久性对象池模块负责创建与管理JavaScript持久性对象;共享内存模块支持持久性对象池模块创建管理的JavaScript持久化对象并行访问共享持久内存;数据一致性保证模块为上层应用程序调用JavaScript持久化对象提供一致性保障机制;垃圾回收模块负责回收处理无效的JavaScript持久化对象所占用的内存。本发明所述框架能够较为便捷的添加至现有的V8网页引擎当中,所述方法也可以方便的移植到面向非易失性内存的数据库系统中,具有广泛的市场应用价值。

    一种基于远程直接内存访问RDMA的内存通信方法及装置

    公开(公告)号:CN111858418B

    公开(公告)日:2023-04-07

    申请号:CN201910364014.4

    申请日:2019-04-30

    Abstract: 一种基于远程直接内存访问RDMA的内存通信方法及装置,属于通信领域。在该方法中,服务器根据接收的多个客户端发送的RDMA消息从所述多个客户端中确定第一组客户端。在第一时间片内,服务器对缓存于第一缓存空间的所述第一组客户端的数据进行处理。并且,在所述第一时间片内,所述服务器从所述多个客户端中确定第二组客户端,所述服务器的网卡将根据所述第二组客户端的RDMA消息从所述第二组客户端读取的数据放入所述服务器的第二缓存空间。在第二时间片内,所述服务器对所述第二缓存空间中的所述第二组客户端的数据进行处理。本申请能够提高系统的扩展性。

    数据写入方法、数据读取方法、装置、设备、系统及介质

    公开(公告)号:CN115639947A

    公开(公告)日:2023-01-24

    申请号:CN202110814096.5

    申请日:2021-07-19

    Abstract: 本申请公开了数据写入方法、数据读取方法、装置、设备、系统及介质,由网络控制器对原始数据进行纠删码编码,并将得到的多个目标数据块中第三数量的目标数据块写入存储节点,由网络控制器从存储节点中读取第三数量的目标数据块中第一数量个目标数据块,并对读取的目标数据块进行解码,其中,多个目标数据块包括第一数量的原始数据块和第二数量的校验数据块,目标数据块的两端包含相同的版本信息,第三数量大于第一数量。本申请能够将原本属于中央处理器的计算开销卸载到网络控制器上,减少中央处理器消耗,提升数据处理的效率,通过目标数据块两端包含的版本信息,来保证数据的有效性。

    面向存储介质的存算电路组合控制方法和装置

    公开(公告)号:CN114898787A

    公开(公告)日:2022-08-12

    申请号:CN202210430927.3

    申请日:2022-04-22

    Applicant: 清华大学

    Abstract: 本申请提出了一种面向存储介质的存算电路组合控制方法,其中,该方法包括:针对不同类型的存储单元,施加相应的比特数据读操作获得比特数据;根据位运算类型,控制基础运算电路中的晶体管开关,实现具体的基础位运算操作;根据基础运算电路组合,实现比特数据的组合运算;将最终运算电路的计算结果传出运算电路,作为计算结果返回至主机或进行下一次位运算计算。采用上述方案的本申请可以将数据计算卸载至存储设备内部,减少数据从存储设备到处理器之间的传输量,提高系统性能。

    存储方法及装置
    9.
    发明授权

    公开(公告)号:CN112286456B

    公开(公告)日:2022-03-08

    申请号:CN202011166698.6

    申请日:2020-10-27

    Applicant: 清华大学

    Abstract: 本公开涉及一种存储方法及装置。所述方法包括:根据有序数据流,获得与有序数据流对应的顺序元数据序列以及无序数据流;对顺序元数据序列进行旁路存储,并将无序数据流中的多个数据并行存储至多个存储设备的缓冲区;在接收到数据持久化指令时,根据顺序元数据序列对至少一个存储设备的缓冲区中的数据进行持久化存储。根据本公开的实施例的存储方法,可确定有序数据流的顺序元数据序列以及与有序数据流数据一致的无序数据流,并对顺序元数据序列进行旁路存储,以保证正确的数据存储顺序。对于无序数据流,可进行并行存储,使存储设备的并发机制得到充分发挥,提高数据存储的效率,降低了对存储设备带宽的制约。

    基于日志结构的持久性内存存储引擎装置及控制方法

    公开(公告)号:CN110377531B

    公开(公告)日:2021-08-10

    申请号:CN201910656133.7

    申请日:2019-07-19

    Applicant: 清华大学

    Abstract: 本发明提供一种基于日志结构的持久性内存存储引擎装置和控制方法,包括持久性内存分配器、持久性操作日志和易失性索引结构;所述基于日志结构的存储引擎控制方法包括:所述持久性内存分配器为每个处理器分配新空间用于存储更新后的键值对;将获取的操作信息组织为紧凑的日志项,通过第一预设规则追加到所述持久性操作日志中;在所述易失性索引结构中更新索引项,以指向新的键值对,本申请通过重新设计日志结构存储格式和批量持久化方式,来充分发掘降低持久化开销的机会,设计高效的基于日志结构的持久性内存键值存储引擎,在降低延迟的同时保证系统的高吞吐率。

Patent Agency Ranking