数据处理方法、装置、设备及存储介质

    公开(公告)号:CN113687975B

    公开(公告)日:2023-08-29

    申请号:CN202110794110.X

    申请日:2021-07-14

    申请人: 重庆大学

    IPC分类号: G06F11/10

    摘要: 本发明公开一种数据处理方法,通过将原始数据均分成若干数据块并对所述数据块分组;采用Clay码对组内数据块编码,得到局部校验块;采用RS码对所有数据块编码,得到全局校验块;检测损毁数据块的数量;当检测到只有一个所述损毁数据块时,根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块,修复所述损毁数据块;当检测到至少两个所述损毁数据块时,根据除损毁数据块所在组外的其他数据块及所述全局校验块,修复所述损毁数据块。本发明还公开了数据处理装置、设备及存储介质,能够通过设计新的编码,组内采用Clay码进行编码,组间采用RS码进行编码,以在修复一个数据块时降低下载的数据量,在修复多个数据块时降低计算开销。

    基于半异步的联邦学习方法、系统、服务器及介质

    公开(公告)号:CN113516249B

    公开(公告)日:2023-04-07

    申请号:CN202110681063.8

    申请日:2021-06-18

    申请人: 重庆大学

    摘要: 本发明公开了一种基于半异步的联邦学习方法,其在中央服务器上根据每一个客户端的的本地模型更新方向和更新时间对所述客户端进行分组,得到多个客户端组,并创建多个以客户端组为单位的调度进程,以使得所述调度进程在每个通信轮中初始化所属组的组模型版本号,并在每个通信轮中根据客户端的本地模型的版本号与组模型版本号计算版本号之差,以用来衡量客户端的本地模型的过时程度,进而使得所述客户端根据版本号之差与预设模型过时阈值的比较结果选择同步更新或异步更新的方式更新本地模型,其能有效解决客户端的掉队效应,并能解决客户端的模型过时问题,进而提升模型的精确度。

    一种重复数据删除的元数据管理方法

    公开(公告)号:CN115098481A

    公开(公告)日:2022-09-23

    申请号:CN202210737553.X

    申请日:2022-06-27

    申请人: 重庆大学

    IPC分类号: G06F16/215

    摘要: 本申请涉及一种重复数据删除的元数据管理方法,接收I/O的请求,将数据切割成数据块,利用哈希算法建立唯一指纹;在指纹索引结构中,对数据块的指纹进行查询;以位图形式创建事务条目,元数据管理器扫描位图,获取处于自由状态的事务条目,分配全局唯一Trans‑i d;若接收到命中指纹索引的请求,则将上层访问的逻辑块号映射为指纹映射中的物理块号,引用计数加1;如果没有命中指纹索引的请求,则分配新的空闲物理块号,建立一个逻辑块号映射,将映射表和引用计数写入到PM的元数据区,对写入的数据块进行存储。本申请中引入与日志机制相结合的事务条目,确保事务条目内的原子性,保证崩溃时一致性的重复数据删除的元数据。

    一种基于FPGA的ORB_SLAM重定位特征点检索加速方法

    公开(公告)号:CN113536024B

    公开(公告)日:2022-09-09

    申请号:CN202110918561.X

    申请日:2021-08-11

    申请人: 重庆大学

    摘要: 本发明提出了一种基于FPGA的ORB_SLAM重定位特征点检索加速方法,包括:S1,将输入的图片缓冲,提取描述子;S2,然后进入工作空间Workspace,通过计算电路对结点的距离求解;S3,每个计算电路的结果会一起流向一个并行比较电路,求出最小值所在的点;S4,最后再判断是否是底层,若是则搜索结束,得出最终结点;S5,每个结点会有一个偏移值,用于寻找求子结点的地址,从而获得关键帧,然后根据关键帧集合进行重新定位。本发明对于电路资源的消耗情况,在计数器前加上近似单元AU形成累计并行计数器APC的电路结构,基于近似计算的原理,在bit流比较长并且需要复制多个相同结构的情况下可以减少硬件资源的消耗,并且提高电路计算速度。

    一种数据容错方法及分布式存储系统

    公开(公告)号:CN114896098A

    公开(公告)日:2022-08-12

    申请号:CN202210464602.7

    申请日:2022-04-29

    申请人: 重庆大学

    IPC分类号: G06F11/08 G06F11/07 G06F3/06

    摘要: 本发明公开了一种数据容错方法和分布式存储系统,其通过将文件经编码容错技术获得的多个原始数据块分发到对应的数据节点上,相比于现有的采用传统冗余机制对生成的原始数据块立即生成三副本的方法,本发明能减少文件初始上传时的网络传输压力,对数据的写放大问题有很好的优化效果;在数据节点随着文件操作过程中生成潜在副本时,向管理节点询问是否保留生成的潜在副本,并由管理节点设置的文件生命周期管理策略,对相应的潜在副本进行销毁。本发明的潜在副本随着系统的常规操作产生,只需要向管理节点询问是否保留副本资源,几乎不额外消耗网络带宽资源,从而能够在保证数据修复性能的同时,减少系统的存储开销。

    一种神经网络的剪枝方法、装置、设备及介质

    公开(公告)号:CN114662689A

    公开(公告)日:2022-06-24

    申请号:CN202210332430.8

    申请日:2022-03-31

    申请人: 重庆大学

    IPC分类号: G06N3/08 G06N3/04

    摘要: 本发明公开了一种神经网络的剪枝方法、装置、设备及介质,包括:根据预先配置的PE阵列的总行数和预设的筛选通道数,获取随机存取存储器的总数量;根据所述总数量配置若干随机存取存储器,并将每一通道的输入特征图数据分别存入每一所述随机存取存储器中;对若干所述随机存取存储器进行分组,得到若干小组随机存取存储器;当接收到剪枝信号时,根据通道选择信号,对输入特征图数据进行选择,将每一小组内的不同通道的输入特征图数据输入至PE阵列,以实现神经网络的剪枝操作。采用本发明实施例能够提高神经网络模型的处理效率。

    一种缓存分片的动态调整方法、装置以及存储介质

    公开(公告)号:CN113282523A

    公开(公告)日:2021-08-20

    申请号:CN202110500319.0

    申请日:2021-05-08

    申请人: 重庆大学

    IPC分类号: G06F12/0871

    摘要: 本发明公开了一种缓存分片的动态调整方法,所述方法通过在程序的每一个运行周期运行时,计算相邻的缓存分片的缓存缺失率之差的绝对值,并在缓存缺失率之差的绝对值大于预设缓存缺失精度时,在两个相邻缓存分片之间添加新的缓存分片,其能够在程序运行的周期内对已配置的缓存分片进行检测,并实时添加构建满足系统定义的精度内的MRC所缺失的缓存分片,保证应用程序在整个运行过程中构建的MRC都满足系统所需要的精确性。此外,本发明还相应提供一种缓存分片的动态调整装置以及计算机可读存储介质。

    内存页面管理方法、装置、设备及可读存储介质

    公开(公告)号:CN112181870A

    公开(公告)日:2021-01-05

    申请号:CN202010978998.8

    申请日:2020-09-17

    申请人: 重庆大学

    IPC分类号: G06F12/0871 G06F16/957

    摘要: 本发明公开了一种内存页面管理方法、装置、设备及可读存储介质,所述内存页面管理方法包括:当需要将页面从磁盘加载到内存时,根据预先得到的页面对混合内存系统的各种内存的模拟测试访问记录,得到所述页面的对各种所述内存的模拟访问热度信息;根据所述页面的所述模拟访问热度信息,分析所述页面的读写特征;根据对所述页面的读写特征的分析结果,将所述页面从磁盘加载到与所述页面的读写特征的分析结果对应的所述内存。本发明能有效解决现有技术的内存介质对页面初始化不合理且导致额外的内存页面迁移的问题。

    内存页面管理方法、装置、设备及可读存储介质

    公开(公告)号:CN112148486A

    公开(公告)日:2020-12-29

    申请号:CN202010978153.9

    申请日:2020-09-17

    申请人: 重庆大学

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种内存页面管理方法,其包括:当待加载页面需要进行内存加载时,根据预先得到的所述待加载页面的读写特征,为所述待加载页面申请内存空间的分配;查询所述待加载页面申请分配到的内存的类型;若所述待加载页面申请分配到的内存的类型是NVM内存,将所述待加载页面加载至所述NVM内存;若所述待加载页面申请分配到的内存的类型是DRAM内存,判断所述DRAM内存的容量是否已经不足以加载页面;若是,将所述DRAM内存中页面浏览热度达不到预设的浏览热度阈值的页面迁移至NVM内存,并将所述待加载页面加载至所述DRAM内存;若否,将所述待加载页面加载至所述DRAM内存。本发明能有效解决DRAM内存无空闲的内存空间而导致页面不能正常加载的问题。

    面向多应用程序的自适应闪存固态盘通道分配方法及装置

    公开(公告)号:CN111782136A

    公开(公告)日:2020-10-16

    申请号:CN202010433140.3

    申请日:2020-05-20

    申请人: 重庆大学

    IPC分类号: G06F3/06 G06N3/08 G06N20/00

    摘要: 本发明公开了一种面向多应用程序的自适应闪存固态盘通道分配方法及装置,该方法包括获取预设时间内接收到的访问请求;其中,每一条访问请求包括待存储应用程序的标识信息和读写特性信息;根据所有待存储应用程序的标识信息,从所有访问请求中提取每一个待存储应用程序对应的访问请求;根据每一个待存储应用程序对应的访问请求的数量、所有访问请求的数量和访问请求中的读写特性信息,获得每一个待存储应用程序对应的访问特征;将每一个待存储应用程序的访问特征输入到通道数量预测模型中,获得每一个待存储应用程序对应的通道数量;本发明能够准确预测应用程序对应的通道数量,提高闪存固态盘存储资源的利用率。