-
公开(公告)号:CN117478692A
公开(公告)日:2024-01-30
申请号:CN202210873344.8
申请日:2022-07-21
申请人: 华为技术有限公司
IPC分类号: H04L67/1097 , G06F3/06
摘要: 本申请公开了一种数据存储方法、装置、设备、系统及计算机可读存储介质,涉及通信技术领域。该方法应用于分布式存储系统,该分布式存储系统包括第一设备和多个存储节点,该方法包括:第一设备获取由x个码字得到的n组第一数据;然后通过对n组第一数据中的y组第一数据进行数据变换,得到y组第二数据,使得存储该y组第二数据的存储节点中的任一个存储节点的最小修复带宽小于阈值;之后将y组第二数据和n‑y组第一数据分别存储在对应的存储节点上。在该y个存储节点中的某一个存储节点失效时,由于该存储节点的最小修复带宽较小,能够以较小的通信开销恢复出丢失的数据。
-
公开(公告)号:CN113452657B
公开(公告)日:2023-03-28
申请号:CN202010225423.9
申请日:2020-03-26
申请人: 华为技术有限公司
IPC分类号: H04L9/40 , H04L47/215 , H04L43/08
摘要: 本申请公开了一种大流量数据流的检测方法以及检测装置,该检测方法包括:控制设备获取多个数据采集设备中的二维数据结构,该二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息;该控制设备对该多个数据采集设备中的二维数据结构进行合并处理,得到合并处理后的二维数据结构;该控制设备根据该合并处理后的二维数据结构检测大流量数据流,该大流量数据流是指该网络中全网级别的大流量数据流。基于本申请的技术方案,能够检测出全网级别的大流量数据流,从而提高大流量数据检测的准确性。
-
公开(公告)号:CN113765848A
公开(公告)日:2021-12-07
申请号:CN202010490984.1
申请日:2020-06-02
申请人: 华为技术有限公司
IPC分类号: H04L29/06
摘要: 本申请提供了一种异常数据流的检测方法和装置,涉及计算机网络技术领域。该方法能够应用在部署有二维表数据结构且包括多个阶段的协议无关交换机架构PISA上,该方法包括:从第一数据流中提取数据包的键值;将该数据包的全部键值映射到二维表数据结构中每行的第一桶中;将数据包的全部键值与第一桶中当前记录的第二数据流的键值进行匹配;根据匹配结果,在PISA的多个阶段上对第一桶中当前的统计信息进行更新,当前的统计信息包括第二数据流的信息,更新后的统计信息包括第一数据流和第二数据流中频次或流量更多的数据流的信息;根据更新后的统计信息进行异常数据流的检测。从而能够实现异常数据流的检测。
-
公开(公告)号:CN118175017A
公开(公告)日:2024-06-11
申请号:CN202211575079.1
申请日:2022-12-08
申请人: 华为技术有限公司
IPC分类号: H04L41/0659 , H04L67/1097 , H04L67/1074
摘要: 本申请提供了一种节点修复方法、装置及系统,属于存储技术领域。本申请提供的方案中,修复节点在检测到失效节点后,能够基于目标源文件编码算法所对应的修复算法,确定该失效节点中存储的失效编码块的修复方案。并且,修复节点能够从新增节点和未失效的存储节点中确定用于修复该失效编码块的多个目标节点,并向该多个目标节点发送修复指令,以指示该多个目标节点修复该失效编码块。由于本申请提供的方案能够通过多个目标节点并行修复失效编码块,因此可以减少单个目标节点需发送或接收的数据量,进而有效降低修复负载,并缩短失效节点的修复时长,提高失效节点的修复效率。
-
公开(公告)号:CN112839018B
公开(公告)日:2022-11-18
申请号:CN201911168671.8
申请日:2019-11-25
申请人: 华为技术有限公司
摘要: 本申请实施例公开一种度数值生成方法以及相关设备,可用于源网络地址度数值统计领域中,仅对源网络地址的度数值大于或等于第一阈值的满足过滤条件的数据包进行分析,大大的降低了待分析数据包的数量,极大的提高了源网络地址的度数值的分析效率,方法包括:获取待检测数据包的源网络地址,在待检测数据包的源网络地址的度数值大于或等于第一阈值的情况下,将待检测数据包确定为满足过滤条件的数据包,进而生成与满足过滤条件的数据包对应的源网络地址的度数值。
-
-
公开(公告)号:CN104580322B
公开(公告)日:2019-02-12
申请号:CN201310513394.6
申请日:2013-10-25
申请人: 华为技术有限公司
IPC分类号: H04L29/08
摘要: 本发明涉及数据处理领域,尤其涉及一种分布式数据流处理方法及装置,用以解决分布式流处理技术无法对具有同一键值的数据流进行负载均衡处理的问题。本发明实施例的方法包括:第一节点根据需要分配给下一跳工作节点的数据流的键值,确定第二节点为处理所述键值对应的数据流的下一跳工作节点,在确定该第二节点满足设定的负载迁移条件后,将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理,并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息;采用上述方法,第一节点可以在确定下游的第二节点满足设定的负载迁移条件后,将第二节点负责处理的键值对应的数据流迁移至当前累计负载较小的第三节点进行处理,从而可以针对同一键值的数据流进行负载均衡处理。
-
公开(公告)号:CN105099732B
公开(公告)日:2018-11-20
申请号:CN201410175828.0
申请日:2014-04-28
申请人: 华为技术有限公司
IPC分类号: H04L12/24
摘要: 本发明实施例公开了一种识别异常IP数据流的方法、装置和系统,涉及通信领域,用以提高识别准确度。本发明实施例提供的方法包括:在当前时间区间内,接收数据收集节点发送的Y个元素;按照映射算法将Y个元素映射到N个桶中;获取N个桶中的、所映射的所有元素的总流量大于或者等于第一阈值的桶作为目标桶;获取当前时间区间内第一对象在所映射到的r个桶中的r个流量上界;其中,第一对象为映射到目标桶中的任一对象,r个桶中的每个桶中包含针对第一对象的1个流量上界;根据预设的异常对象的类型和当前时间区间内的r个流量上界识别第一对象是否为异常对象;预设的异常对象的类型为大流量对象或大变化对象。
-
公开(公告)号:CN107566206A
公开(公告)日:2018-01-09
申请号:CN201710662793.7
申请日:2017-08-04
申请人: 华为技术有限公司
IPC分类号: H04L12/26 , H04L12/741
摘要: 本申请实施例提供一种流量测量方法、设备及系统,涉及通信技术领域,能够降低资源开销,提高网络吞吐率。具体方案为:报文处理设备包括缓冲区,报文处理设备获得待测报文,若缓冲区中已占用的存储空间小于预设阈值,则将待测报文的待测信息写入缓冲区,待测信息包括待测报文的流标识和待测报文的流量,从缓冲区读取待测信息,根据待测信息和第一算法,修改第一测量数据中与待测报文对应的a个数据,a为正整数,若缓冲区中已占用的存储空间大于或者等于预设阈值,则根据待测信息和第二算法,修改第二测量数据中与待测报文对应的w个数据,其中,w为正整数,且w小于a。本申请实施例用于流量测量。
-
公开(公告)号:CN113452657A
公开(公告)日:2021-09-28
申请号:CN202010225423.9
申请日:2020-03-26
申请人: 华为技术有限公司
IPC分类号: H04L29/06 , H04L12/819 , H04L12/26
摘要: 本申请公开了一种大流量数据流的检测方法以及检测装置,该检测方法包括:控制设备获取多个数据采集设备中的二维数据结构,该二维数据结构用于存储相应的数据采集设备获取的网络中的数据流的信息;该控制设备对该多个数据采集设备中的二维数据结构进行合并处理,得到合并处理后的二维数据结构;该控制设备根据该合并处理后的二维数据结构检测大流量数据流,该大流量数据流是指该网络中全网级别的大流量数据流。基于本申请的技术方案,能够检测出全网级别的大流量数据流,从而提高大流量数据检测的准确性。
-
-
-
-
-
-
-
-
-