一种文件合并方法、装置及计算可读存储介质

    公开(公告)号:CN114968939A

    公开(公告)日:2022-08-30

    申请号:CN202210611117.8

    申请日:2022-05-31

    Abstract: 本申请公开了一种文件合并方法、装置及计算可读存储介质,涉及分布式系统领域。通过接收客户端生成并发送的文件合并请求;其中,文件合并请求包含预设的目标文件的参数和源文件的参数,目标文件为大文件,源文件为小文件;解析文件合并请求中的目标文件的参数和源文件的参数;根据目标文件的参数和源文件的参数判断是否满足预设条件;若是,将源文件追加至目标文件中,以进行文件合并。由此可知,上述方案通过解析客户端发送的文件合并请求,对请求中的目标文件和源文件的参数进行判断,当满足预设条件时将源文件追加至目标文件中,实现了文件合并,提高了文件的读写性能。

    一种资源分配方法、计算机可读存储介质、系统及装置

    公开(公告)号:CN115391038A

    公开(公告)日:2022-11-25

    申请号:CN202211025813.7

    申请日:2022-08-25

    Abstract: 本发明公开了一种资源分配方法、计算机可读存储介质、系统及装置,涉及管理领域。服务端接收客户端发送的资源调用请求;根据资源调用请求获取存储节点的标识信息;判断标识信息是否存在于预先存储的映射关系中;若是,根据标识信息及映射关系确定用户业务;将用户业务的路径发送至客户端以使客户端应用用户业务而使用用户资源。本申请通过预先存储的映射关系确定根据客户端发送的资源调用请求获取的存储节点的标识信息是否存在于预先存储的映射关系中,如果存在,说明本次发送的资源调用请求具有权限,且有权限的用户不能访问到其他用户的数据,可以访问为每一个用户划分的自己特有的用户资源,提高了存储系统的安全性与可靠性。

    分布式文件系统的回收站清理方法、装置、设备和介质

    公开(公告)号:CN119248732A

    公开(公告)日:2025-01-03

    申请号:CN202411170684.X

    申请日:2024-08-23

    Abstract: 本发明实施例提供了一种分布式文件系统的回收站清理方法、装置、设备和介质,该方法包括服务器向客户端发送扫描任务;扫描任务用于指示客户端扫描服务器的回收站数据目录中对应的目标数据目录,确定目标数据目录中的待删除数据;接收客户端发送的待删除数据的目录,将待删除数据的目录放入待删除数据队列;根据待删除数据队列生成删除任务,向客户端发送删除任务;删除任务用于指示客户端删除指定的待删除数据的目录对应的数据。本发明实施例可以显著减少了在进行回收站清理工作时,网络中传输的数据量,从而节省了带宽资源并降低了网络拥塞的风险。

    一种Hadoop分布式文件系统的服务访问白名单的方法及装置

    公开(公告)号:CN116938589A

    公开(公告)日:2023-10-24

    申请号:CN202311090690.X

    申请日:2023-08-28

    Abstract: 本发明提供了一种Hadoop分布式文件系统的服务访问白名单的方法及装置,该方法通过链接注册器、白名单过滤器、链接检查器、链接拒绝器和链接创建器的协同作用,实现了对HDFS客户端访问的精细控制。在连接请求过程中,从客户端解析IP地址作为标识,白名单过滤器与服务端配置的IP白名单进行匹配,链接检查器根据预设规则判断是否允许连接。如果通过验证,链接创建器建立连接,允许客户端访问。这一方法及装置提高了系统安全性、精细管理、性能优化等,为HDFS系统带来多重益处。

    一种数据库数据传输方法、装置、设备及可读存储介质

    公开(公告)号:CN111814435A

    公开(公告)日:2020-10-23

    申请号:CN202010710074.X

    申请日:2020-07-22

    Inventor: 陶钰昕 孙俊逸

    Abstract: 本发明公开了一种数据库数据传输方法、装置、设备及计算机可读存储介质,该方法包括:获取用于执行数据库数据传输任务的第一任务文件;将第一任务文件转换为与内存计算系统相匹配的第二任务文件;将第二任务文件发送给内存计算系统,以便内存计算系统利用第二任务文件执行数据库数据传输任务;该方法在将第一任务文件转换为第二任务文件后,将第二任务文件发送给内存计算系统,以便内存计算系统利用第二任务文件执行数据库数据传输任务。通过采用计算效率更高的内存计算系统,可以提高数据库之间的数据传输速度,减少数据传输所需的时间。

    分布式存储系统的数据节点选择方法、装置、设备及介质

    公开(公告)号:CN118158239A

    公开(公告)日:2024-06-07

    申请号:CN202410340585.5

    申请日:2024-03-22

    Abstract: 本申请提供了一种分布式存储系统的数据节点选择方法、装置、设备及介质,涉及存储系统技术领域,包括:名称节点接收客户端发出的读写请求,从预先配置的多个数据节点选择策略中,确定与读写请求的用户业务场景所适配目标数据节点选择策略,并按照目标节点选择策略选择目标数据节点,得到目标数据节点列表,根据目标数据节点列表,向客户端发送客户端所需的数据节点列表,以使客户端请求所需的数据节点列表中的数据节点处理读写请求。通过在名称节点中配置多个与用户业务场景相适配的数据节点选择策略,针对不同的用户业务场景选择不同的数据节点选择策略,能够提升分布式存储系统的可用性、易用性和数据负载均衡能力。

    一种多节点租户的用户信息管理方法及相关组件

    公开(公告)号:CN116450662A

    公开(公告)日:2023-07-18

    申请号:CN202310418692.0

    申请日:2023-04-14

    Abstract: 本发明公开了一种多节点租户管理方法及相关组件,涉及计算机技术领域,令存储有目标租户的用户信息的存储节点监视目标租户,当有目标租户的用户对某一存储节点上的目标租户的用户信息进行更改时,该存储节点会将更改后的用户信息发送给分布式存储系统中所有监视目标租户的存储节点,进而实现当某一存储节点上的目标租户的用户信息进行更改时,所有包含目标租户的用户信息的存储节点都随着之进行相应的更改,使得同一租户的用户信息在不同存储节点上的同步变更,避免出现数据存储异常的情况,提高数据存储的准确性和可靠性。

    一种客户端的性能统计方法、系统、设备及存储介质

    公开(公告)号:CN115525520A

    公开(公告)日:2022-12-27

    申请号:CN202211000188.0

    申请日:2022-08-19

    Abstract: 本申请公开了一种客户端的性能统计方法、系统、设备及存储介质,应用于存储技术领域,该方法应用于HDFS的服务器中,包括:按照预设的第一时间间隔,周期性地读取缓存器中存储的目标客户端的数据操作总字节累加量;确定出当前读取的目标客户端的数据操作总字节累加量与上一次读取的目标客户端的数据操作总字节累加量之间的差值,并将差值除以第一时间间隔,得到目标客户端的带宽数据;在接收到用户发送的针对目标客户端的带宽查看指令时,将各次得到的目标客户端的带宽数据均反馈给用户。应用本申请的方案,可以有效地实现对于目标客户端的性能统计,方便地确定出目标客户端的带宽变化情况。

Patent Agency Ranking