一种支持多任务的高并发离线数据包分析方法

    公开(公告)号:CN115225730B

    公开(公告)日:2024-05-31

    申请号:CN202210846646.6

    申请日:2022-07-05

    IPC分类号: H04L69/166 H04L67/133

    摘要: 本发明公开了一种支持多任务的高并发离线数据包分析方法,属于数据分析领域,具体为首先、将输入的pcap大文件分割成小文件,利用五元组信息将数据包存入对应的小文件,并保存小文件路径到ES数据库中;然后,任务节点对用户输入要匹配的五元组以及内容关键词生成任务id,并下发至主控节点写入redis数据库中;主控节点查询ES数据库,将与任务五元组匹配的结果传输给内容检索节点;内容检索节点通过小文件路径,采用线程池快速读取小文件内容,还原成IP数据包与用户输入的关键词进行匹配;最后,将匹配成功的数据包五元组以及小文件路径,写入redis数据库对应任务id的键值中,读取对应的pcap文件内容,展现给用户;本发明支持多任务的快速分析。

    毫米波的数据流分片处理方法、装置及设备

    公开(公告)号:CN118018629A

    公开(公告)日:2024-05-10

    申请号:CN202410405335.5

    申请日:2024-04-07

    摘要: 本申请提供一种毫米波的数据流分片处理方法、装置以及设备,当需要在一些点对多点的私有协议的网桥系统中实现科学调度主站和从站之间的数据流时,本申请实施例提供的方法可以分别依据控制帧队列、管理帧队列、重传队列以及新传数据队列的状态,确定对这几个队列的数据的处理策略,并依据每一个队列的数据处理策略依次对各个队列的数据依次进行组包分片处理,最终将这几个队列的数据聚合成待传输的数据包,以便进行数据传输,通过本申请提供的方法可以有效地实现主站和从站之间的数据流的科学调度,以使得主站和从站之间可以更好地实现各自的业务功能和分片功能的数据流处理。

    一种智能网卡的数据传输方法和装置

    公开(公告)号:CN116886651A

    公开(公告)日:2023-10-13

    申请号:CN202310845169.6

    申请日:2023-07-11

    摘要: 本公开提供一种智能网卡的数据传输方法和装置,涉及数据传输技术领域。智能网卡包括分片重组开关,该方法的具体实施方式包括:检测数据传输请求的传输流量,根据所述传输流量设置所述分片重组开关的启闭状态;接收多个数据传输请求;其中,数据传输请求包括数据包;对数据包进行逐层解析,提取各个数据包中的IP头部;根据IP头部,判断数据包是否存在IP分片,在IP分片存在且分片重组开关关闭的情况下,将数据包向与智能网卡配合的物理服务器透传,使得物理服务器对数据包进行分片重组。该实施方式能够满足应用程序在UDP大流量场景下的用户需求,保证流畅的用户使用体验,避免依赖升级成本,提升智能网卡的吞吐性能,提高数据传输效率。

    数据传输方法及相关设备
    9.
    发明公开

    公开(公告)号:CN116266846A

    公开(公告)日:2023-06-20

    申请号:CN202210023919.7

    申请日:2022-01-10

    摘要: 本申请实施例公开了一种数据传输方法及相关设备。该方法包括:对待发送数据进行分片处理,以得到S个数据片段;根据数据片段的数量S确定目标字典,目标字典包括多个函数及所述多个函数对应的多个函数索引,数量S越大,目标字典中包括的函数的数量越大;根据第一确认号、第二确认号及目标同步序列号确定第i个数据片段的数字等效项;根据第i个数据片段及其数字等效项从目标字典中确定第i个数据片段对应的函数索引,向接收端设备发送第i个数据片段对应的函数索引,以使接收端设备根据第i个数据片段对应的函数索引所指示的函数及第i个数据片段的数字等效项确定出第i个数据片段。采用本申请实施例提供的数据传输方法,有利于提高传输速度。

    一种IPv6网络中数据报文的发送方法及装置

    公开(公告)号:CN113411260B

    公开(公告)日:2023-04-18

    申请号:CN202110543462.8

    申请日:2015-08-31

    发明人: 薛万

    摘要: 本发明涉及通信技术领域,尤其涉及互联网协议IP版本v6网络中数据报文的发送方法及装置,用以解决目前IPv6网络中未探测到路径的PMTU之前数据报文可能一直被丢弃的问题。本发明实施例提供的一种方法包括:在未探测到路径的PMTU之前,按照IPv6协议规定的最小MTU发送数据报文;在探测到所述路径的PMTU后,按照探测到所述路径的PMTU在所述路径上发送后续数据报文。由于在探测到路径PMTU之前,使用IPv6协议规定的最小MTU发送后续数据报文,保证数据报文能通过路径上的具有任意MTU的网络设备,保证数据报文可被目的接收端收到。