一种面向高密度存储服务器的快速磁盘修复方法和系统

    公开(公告)号:CN115237665A

    公开(公告)日:2022-10-25

    申请号:CN202210893252.6

    申请日:2022-07-27

    IPC分类号: G06F11/10 G06F3/06

    摘要: 本发明公开一种面向高密度存储服务器的快速磁盘修复方法和系统,属于计算机存储领域。包括:根据故障磁盘确定需要修复的所有条带;从正常磁盘中读取需要修复条带的所有幸存块;计算各幸存块从磁盘被读入内存所需要的时间;构建所有可能的[a,b]组合;根据各幸存块从磁盘被读入内存所需要的时间,计算各个[a,b]组合下磁盘修复时间T;采用磁盘修复时间最小对应的[a,b]组合,进行故障磁盘的修复;a表示条带内并行度,b表示条带间并行度,且a*b=内存中可容纳数据块的数量。本发明根据当前的服务器内所有磁盘的传输速度状况,选择合理的条带内并行度和条带间并行度,使得磁盘修复时间得以最小化,从而尽可能快地修复出丢失数据,提升修复性能与系统的可靠性。

    勒索病毒检测方法、装置、电子设备及可读存储介质

    公开(公告)号:CN117421733A

    公开(公告)日:2024-01-19

    申请号:CN202311745270.0

    申请日:2023-12-19

    摘要: 本发明公开了一种勒索病毒检测方法、装置、电子设备及可读存储介质,应用于信息安全技术领域,用于解决传统技术中基于SQL语句分析的勒索病毒检测方法无法直接应用于块存储系统中,导致无法对块存储系统进行勒索病毒检测的问题,其中,勒索病毒检测方法包括:对块存储系统进行监控,获得每一IO操作的IO信息;根据各IO信息进行特征计算,获得IO特征序列;利用预设神经网络模型对IO特征序列中的每一IO特征进行处理,获得各IO特征的隐藏状态;隐藏状态表示IO特征与IO特征序列中上一相邻IO特征的依赖关系;利用自注意力机制对各隐藏状态进行处理,获得所有IO特征的加权和;根据加权和确定块存储系统是否存在勒索病毒。

    支持富元数据管理的文件系统及其实现富元数据服务的方法

    公开(公告)号:CN118708549A

    公开(公告)日:2024-09-27

    申请号:CN202410804851.5

    申请日:2024-06-21

    IPC分类号: G06F16/14 G06F16/13

    摘要: 本发明公开了一种支持富元数据管理的文件系统,涉及电子数字数据处理领域,本发明的文件系统包括注册模块、命名空间查询模块、第一数据管理模块以及第二数据管理模块,其可作为FUSE框架的文件守护进程,借助FUSE框架为用户提供传统文件访问和新增的富元数据管理服务。富元数据管理服务一方面能够提供除POSIX语义以外的元数据的插入、读取、删除和展示操作;另一方面通过自动的包装器打包和挂载操作,将具有相同元数据属性值或内容相近元数据属性值的文件打包成包装器,以虚拟目录方式挂载在文件系统根目录下;随后,用户可通过访问虚拟目录,快速从海量文件中筛选感兴趣的数据。

    一种面向云数据分析场景的水平数据分区方法和系统

    公开(公告)号:CN118585585A

    公开(公告)日:2024-09-03

    申请号:CN202410726943.6

    申请日:2024-06-06

    摘要: 本发明公开了一种面向云数据分析场景的水平数据分区方法,其自适应识别历史查询负载在各属性的热点查询区间、具有局部性的查询模式和离群查询区间,由此对历史查询负载灵活泛化,兼顾未来查询负载与历史查询负载的相似性和差异性;设计了基于概率的成本模型,准确地评估泛化查询负载的开销,并考虑了数据属性间的相关性,以更精确地量化分区动作的收益,从而优化分区决策;设计了基于概率成本模型的两阶段水平分区方法,首先使用轴垂直超平面切割,使得分区方案尽可能细粒度地对齐泛化查询负载,保证数据跳过效率;针对轴垂直超平面切割面对倾斜数据失效的问题,设计了排序二分切割作为补充,增强分区方法鲁棒性的同时,进一步提升数据跳过效率。

    一种监测系统死锁的方法、装置以及介质

    公开(公告)号:CN115934371A

    公开(公告)日:2023-04-07

    申请号:CN202310092687.5

    申请日:2023-02-03

    IPC分类号: G06F9/52 G06F11/07

    摘要: 本申请公开了一种监测系统死锁的方法、装置以及介质,应用于服务器技术领域。本申请分别定义线程、操作系统以及内核三个级别各自对应的时间标签,在实际应用中,时间标签根据线程、操作系统以及内核的正常运行而更新自身的时间。因此,只需要获取时间标签表征的时间与当前时间的时间间隔,若时间间隔超过预设时长,则根据超过预设时长的时间标签判定对应的线程、操作系统或者内核中对应的级别发生死锁。若线程发生死锁,则只需要重新启动线程,若操作系统死锁,则重启操作系统即可。本申请通过三级监测技术实现监测软硬件死锁,相比于当前方案中粗暴的处理方式,本方案可分级监视系统,做到出现问题时,最小影响范围处理机制。

    一种IO处理方法、装置、设备及存储介质

    公开(公告)号:CN115858410A

    公开(公告)日:2023-03-28

    申请号:CN202310121093.2

    申请日:2023-02-16

    摘要: 本申请公开了一种IO处理方法、装置、设备及存储介质,涉及计算机技术领域。该方法包括:通过逻辑卷获取用户发送的IO数据,并利用所述逻辑卷通过第一控制器将所述IO数据下发到数据缓存;通过RAID为所述IO数据分配对应的第二控制器,并通过所述数据缓存将所述IO数据从所述第一控制器同步到所述第二控制器;若所述IO数据为写数据请求,通过所述第二控制器根据预先划分的RAID层地址空间确定出对应的目标地址空间,并基于所述IO数据对所述目标地址空间进行写数据操作;所述预先划分的RAID层地址空间为在RAID层为每个控制器划分对应的地址空间后生成的RAID层地址空间。能够隔绝逻辑卷的均衡性传导,提高系统性能。

    一种数据预取方法、系统、电子设备及计算机存储介质

    公开(公告)号:CN116955223A

    公开(公告)日:2023-10-27

    申请号:CN202311196670.0

    申请日:2023-09-18

    摘要: 本发明公开了一种数据预取方法、系统、电子设备及计算机存储介质,涉及缓存技术领域,获取记录的目标数据组;获取记录的目标数据组中各个数据的历史访问时间戳组;在目标数据组中,将符合预设时间相邻规则的每两个历史访问时间戳组对应的数据作为关联数据组,以基于关联数据组进行数据预取。本发明可以对数据的历史访问时间戳组进行记录,并只需对历史访问时间戳组进行分析,便可以确定出关联数据组,过程简便、内存开销小,适用性好。本发明提供的一种数据预取系统、电子设备及计算机可读存储介质也解决了相应技术问题。

    一种多线程的任务处理方法及相关装置

    公开(公告)号:CN116302391A

    公开(公告)日:2023-06-23

    申请号:CN202310076347.3

    申请日:2023-01-30

    发明人: 李辉 尤波

    IPC分类号: G06F9/48 G06F9/54

    摘要: 本申请公开了一种多线程的任务处理方法,包括:将接收的任务存放至线程对应的循环队列将循环队列中的任务按照先入先出的顺序进行出队;通过线程和线程对应的内存资源执行从循环队列出队的任务,得到执行结果。通过将接收到的任务存放至循环队列中,然后该循环队列按照顺序将任务继续进行出队,最后每出队一个任务,对应的线程和线程对应的内存资源执行该出队的任务,得到执行结果,实现了线程采用对应的内存资源按照顺序执行任务,避免出现任务抢占资源和线程的情况,使得不使用锁机制就实现了多线程的访问,提高多任务的处理效率。本申请还公开了一种多线程的任务处理装置、计算设备以及计算机可读存储介质,具有以上有益效果。

    一种数据传输方法、装置、电子设备及介质

    公开(公告)号:CN115658571A

    公开(公告)日:2023-01-31

    申请号:CN202211459291.1

    申请日:2022-11-16

    IPC分类号: G06F13/28 G06F13/30 H04L1/00

    摘要: 本申请公开了一种数据传输方法、装置、电子设备及介质,涉及数据传输领域。该方案中,接收传输请求,传输请求中包括目标数据块的源地址、目标地址及目标数据块长度;从源地址中获取目标数据块,并根据目标数据块长度将目标数据块划分为多个子数据块;将多个子数据块分发至多个DMA引擎,以使各个DMA引擎将与自身对应的子数据块传输至目标地址,以完成对目标数据块的传输。通过本申请中的方式,对目标数据块进行划分,并同时利用多个DMA引擎对同一目标数据块进行处理,提高了对目标数据块处理的速度,提高了服务器数据传输的能力。