一种网卡的线程级动态均衡调度方法

    公开(公告)号:CN107317759A

    公开(公告)日:2017-11-03

    申请号:CN201710442620.4

    申请日:2017-06-13

    IPC分类号: H04L12/801 H04L12/863

    CPC分类号: H04L47/10 H04L47/50

    摘要: 本发明公开了一种网卡的线程级动态均衡调度方法。本方法为:1)在网卡中设置一流表;流表中的每个条目包括键值和结果两部分,其中键值为业务流中业务报文的五元组,结果为缓存队列号;2)网卡定时去检测各业务处理线程的缓存队列利用率,将线程的缓存队列利用率超过设定阈值的线程的状态设置为已满,否则设置为可用;3)将状态为可用的线程构建一线程队列;4)网卡对收到的每一业务流,根据该业务流的键值查找流表,如果有匹配条目,则将该业务流的业务报文发送到对应的缓存队列;如果没有则从线程队列中选取一线程生成一条目保存到流表中然后发送;5)当一业务流结束或者超时时,网卡删除所述流表中该业务流对应的条目。

    一种针对隧道流量的关联方法和装置

    公开(公告)号:CN117768343A

    公开(公告)日:2024-03-26

    申请号:CN202311587718.0

    申请日:2023-11-24

    摘要: 本发明提供一种针对隧道流量的关联方法和装置,其中所述方法包括:获取预建立的网络隧道的多个入口节点流和多个出口节点流;确定与每个出口节点流对应的候选入口节点流,分别计算多个候选入口节点流的累计传输量距离;将每个出口节点流输入至自编码网络,输出对应的映射入口节点流,分别计算映射入口节点流和多个候选入口节点流的降噪距离;将多个候选入口节点流输入至优化表示生成器,分别输出多个候选入口节点流之间的优化表示距离;根据多个候选入口节点流的累计传输量距离、和映射入口节点流的降噪距离以及多个候选入口节点流之间的优化表示距离,对候选入口节点流进行筛选,确定每个出口节点流对应的目标入口节点流。

    基于多通道代理的数据获取方法、系统及装置

    公开(公告)号:CN112528118A

    公开(公告)日:2021-03-19

    申请号:CN202011491957.2

    申请日:2020-12-17

    摘要: 本申请提供了一种基于多通道代理的数据获取方法、系统及装置,数据获取方法包括以下步骤:获取所需数据中的关键词;根据获取的关键词调用分布式爬虫框架;所述分布式爬虫框架中设置有多个爬虫节点;改变所述爬虫节点的IP;接收不同IP的爬虫节点爬取的网页数据;对接收到的网页数据进行数据抽取、转换、装载处理,得到有效数据;对有效数据进行存储。本申请通过分布式爬虫框架中的多个爬虫节点形成多通道代理,通过在每次爬取信息前改变分布式爬虫框架中爬虫节点的IP,能够绕过数据提供网站的反爬虫检测手段,用爬虫节点达到多通道代理、发现情报以及清洗、转换等操作,保证数据的精准可靠。