-
公开(公告)号:CN112367536A
公开(公告)日:2021-02-12
申请号:CN202011452878.0
申请日:2020-12-11
IPC分类号: H04N21/232 , H04N21/238 , H04N21/262
摘要: 本发明提供了一种面向视频文件大数据的RDMA混合传输方法,包括:步骤1:RDMA初始化建立;步骤2:获取视频数据请求;步骤3:对视频数据请求进行识别分类;步骤4:对视频数据请求进行传输。本发明针对分布式文件系统下视频大数据传输的问题,提供了一种RDMA混合传输方法,所述的方法和装置能够很好的降低视频大数据传输延迟;同时能够适配分布式非易失性内核态文件系统,优化了分布式系统中视频流的传输过程,具有良好的市场前景和应用价值。
-
公开(公告)号:CN112367536B
公开(公告)日:2021-08-06
申请号:CN202011452878.0
申请日:2020-12-11
IPC分类号: H04N21/232 , H04N21/238 , H04N21/262
摘要: 本发明提供了一种面向视频文件大数据的RDMA混合传输方法、系统及介质,包括:步骤1:RDMA初始化建立;步骤2:获取视频数据请求;步骤3:对视频数据请求进行识别分类;步骤4:对视频数据请求进行传输。本发明针对分布式文件系统下视频大数据传输的问题,提供了一种RDMA混合传输方法,所述的方法和装置能够很好的降低视频大数据传输延迟;同时能够适配分布式非易失性内核态文件系统,优化了分布式系统中视频流的传输过程,具有良好的市场前景和应用价值。
-
公开(公告)号:CN111314731A
公开(公告)日:2020-06-19
申请号:CN202010106040.X
申请日:2020-02-20
IPC分类号: H04N21/232 , H04N21/238 , H04N21/262
摘要: 本发明提供了一种面向视频文件大数据的RDMA混合传输方法,包括:步骤1:RDMA初始化建立;步骤2:获取视频数据请求;步骤3:对视频数据请求进行识别分类;步骤4:对视频数据请求进行传输。本发明针对分布式文件系统下视频大数据传输的问题,提供了一种RDMA混合传输方法,所述的方法和装置能够很好的降低视频大数据传输延迟;同时能够适配分布式非易失性内核态文件系统,优化了分布式系统中视频流的传输过程,具有良好的市场前景和应用价值。
-
公开(公告)号:CN111414320A
公开(公告)日:2020-07-14
申请号:CN202010104313.7
申请日:2020-02-20
IPC分类号: G06F12/1045 , G06F3/06 , G06F11/14
摘要: 本发明提供了一种基于日志文件系统的非易失内存构建磁盘cache的方法及系统,包括:非易失内存cache包括非易失内存数据cache和非易失内存元数据cache;在非易失内存cache的初始化阶段,检查非易失内存中设置的关机标记,当检查到不是正常关机时,则非易失内存cache执行故障恢复操作保证系统一致性;在非易失内存cache的初始化完成后,在数据cache执行数据提交,在元数据cache执行元数据提交操作,在非易失内存cache的存储空间不足时,由数据cache执行数据回写操作,由元数据cache执行元数据回写操作;本发明避免数据的双重写,减少元数据的写放大,提高系统整体性能。
-
公开(公告)号:CN111414320B
公开(公告)日:2023-06-06
申请号:CN202010104313.7
申请日:2020-02-20
IPC分类号: G06F12/1045 , G06F3/06 , G06F11/14
摘要: 本发明提供了一种基于日志文件系统的非易失内存构建磁盘cache的方法及系统,包括:非易失内存cache包括非易失内存数据cache和非易失内存元数据cache;在非易失内存cache的初始化阶段,检查非易失内存中设置的关机标记,当检查到不是正常关机时,则非易失内存cache执行故障恢复操作保证系统一致性;在非易失内存cache的初始化完成后,在数据cache执行数据提交,在元数据cache执行元数据提交操作,在非易失内存cache的存储空间不足时,由数据cache执行数据回写操作,由元数据cache执行元数据回写操作;本发明避免数据的双重写,减少元数据的写放大,提高系统整体性能。
-
公开(公告)号:CN111400306A
公开(公告)日:2020-07-10
申请号:CN202010104445.X
申请日:2020-02-20
IPC分类号: G06F16/22 , G06F16/245
摘要: 本发明提供了一种基于RDMA与非易失性内存的基数树访问系统,包括:数据存储模块:采用非易失性持久内存作为基数树的存储介质;远程读写模块:建立服务端CPU与客户端的RDMA通信连接;后台处理模块:在客户端进行远程读写时进行后台处理,保证数据的一致性。S1:在基数树初始化阶段,构建一块数据块,以支持远端数据的插入、更新和删除;S2:在基数树初始数据块存满后,重构数据结构为基数树结构,其中包含前缀节点和数据节点,并将树结构的前缀节点写入到客户端;S3:定期检查基数树的数据节点。本发明树能够在有效保障数据一致性的前提下,极大减轻服务端CPU的压力,提高吞吐率,从而提高远程数据读写的整体性能。
-
公开(公告)号:CN111400306B
公开(公告)日:2023-03-28
申请号:CN202010104445.X
申请日:2020-02-20
IPC分类号: G06F16/22 , G06F16/245
摘要: 本发明提供了一种基于RDMA与非易失性内存的基数树访问系统,包括:数据存储模块:采用非易失性持久内存作为基数树的存储介质;远程读写模块:建立服务端CPU与客户端的RDMA通信连接;后台处理模块:在客户端进行远程读写时进行后台处理,保证数据的一致性。S1:在基数树初始化阶段,构建一块数据块,以支持远端数据的插入、更新和删除;S2:在基数树初始数据块存满后,重构数据结构为基数树结构,其中包含前缀节点和数据节点,并将树结构的前缀节点写入到客户端;S3:定期检查基数树的数据节点。本发明树能够在有效保障数据一致性的前提下,极大减轻服务端CPU的压力,提高吞吐率,从而提高远程数据读写的整体性能。
-
公开(公告)号:CN113010477A
公开(公告)日:2021-06-22
申请号:CN202110310068.X
申请日:2021-03-23
申请人: 中兴通讯股份有限公司 , 上海交通大学
摘要: 本申请提出一种持久内存文件系统元数据的检索方法和装置、存储结构,涉及数据处理技术领域。该方法包括:基于待检索路径确定待检索哈希值,待检索路径用于查找元数据的存储路径;依据待检索哈希值、指纹库和存储路径哈希值,确定待检索路径对应的存储地址,指纹库用于记录存储路径哈希值的特征,存储路径哈希值是元数据的存储路径对应的哈希值;从待检索路径对应的存储地址获得元数据。通过基于待检索路径确定待检索哈希值,方便对待检索路径进行处理;通过指纹库先对存储路径哈希值的特征进行筛选,能够加快检索速度,提高元数据的检索效率;从待检索路径对应的存储地址获得元数据,保证检索结果的准确性。
-
公开(公告)号:CN113010477B
公开(公告)日:2023-09-12
申请号:CN202110310068.X
申请日:2021-03-23
申请人: 中兴通讯股份有限公司 , 上海交通大学
摘要: 本申请提出一种持久内存文件系统元数据的检索方法和装置、存储结构,涉及数据处理技术领域。该方法包括:基于待检索路径确定待检索哈希值,待检索路径用于查找元数据的存储路径;依据待检索哈希值、指纹库和存储路径哈希值,确定待检索路径对应的存储地址,指纹库用于记录存储路径哈希值的特征,存储路径哈希值是元数据的存储路径对应的哈希值;从待检索路径对应的存储地址获得元数据。通过基于待检索路径确定待检索哈希值,方便对待检索路径进行处理;通过指纹库先对存储路径哈希值的特征进行筛选,能够加快检索速度,提高元数据的检索效率;从待检索路径对应的存储地址获得元数据,保证检索结果的准确性。
-
公开(公告)号:CN108427648B
公开(公告)日:2023-12-01
申请号:CN201710080651.X
申请日:2017-02-14
申请人: 中兴通讯股份有限公司 , 清华大学
IPC分类号: G06F12/0868 , G06F12/0882 , G06F16/22
摘要: 本发明公开了一种存储系统页内脏数据索引方法装置,该方法包括:获取存储页的存储点的点数量以及脏数据分布信息;根据点数量和脏数据分布信息创建位图;根据脏数据分布信息创建扩展段集合,并获取扩展段集合中扩展段的当前扩展段个数;根据点数量,获取目标存储页以位图索引脏数据的第一存储代价;根据当前扩展段个数和段容量,获取目标存储页以扩展段索引脏数据的第二存储代价;根据第一存储代价和第二存储代价,确定基于位图方式或扩展段方式索引目标存储页中的脏数据。本发明降低了写入数据量,降低了同步操作的延时,间接提高了系统的性能,同时也降低了闪存设备的磨损,提高了闪存设备的使用寿命。
-
-
-
-
-
-
-
-
-