公开(公告)号：CN118075209A

公开(公告)日：2024-05-24

申请号：CN202410184150.6

申请日：2024-02-19

Applicant: 广州大学

Inventor： 刘外喜 ,  唐润华 ,  尹瑞鹏 ,  尙文利 ,  陈孔阳 ,  罗桂华 ,  蔡君 ,  陈庆春

IPC: H04L47/2441 ,  H04L41/16

Abstract: 本发明公开了一种基于可编程数据平面分布式集成学习的流量分类方法及装置，该方法包括：通过网络中多个不同位置的可编程交换机，从时间维度和空间维度追踪网络数据流，构建多个不同的数据集；对数据集的特征重要性进行排序，选出最优的特征；确定参与集成学习合作的可编程交换机及其相应的投票权重；训练机器学习模型，并确定机器学习模型关键参数的最优值；将训练好的模型映射到可编程交换机的匹配动作表，并部署到相应位置的参与集成学习合作的可编程交换机内，各个可编程交换机对网络流量进行实时推理，并通过投票最终确定网络流量分类。本发明通过网络中多个可编程交换机部署机器学习模型对网络流量时空联合观察，合作实现对网络流量的分类。

公开(公告)号：CN117273120A

公开(公告)日：2023-12-22

申请号：CN202311119841.X

申请日：2023-09-01

Applicant: 广州大学

Inventor： 刘外喜 ,  陈庆春 ,  罗桂华 ,  蔡君 ,  任晓军 ,  范立生 ,  谭淼泉

IPC: G06N3/098 ,  G06N3/092 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开一种基于模型预测的加速AI大模型分布式训练的方法及装置，方法包括，构建分层参数数据集；利用基于预测结果的评估方法，训练用于预测目标模型的模型参数的预测模型；计算节点更新目标模型的前面一些层的模型参数，然后将它们推送给参数服务器；在参数服务器，对所接收到的模型参数进行聚合，通过预测模型预测得到目标模型的剩余其他层的模型参数；预测出来和聚合后的模型参数被拼接成一个完整模型参数，并被推送给所有计算节点；计算节点使用接收到的完整模型参数替换本地的模型参数；所述预测模型采用“卷积+通道注意力机制+池化”结构，本发明能够保持目标模型的准确率不变的情况下，大量减少通信量同时不会引入大量计算开销。

公开(公告)号：CN117371516A

公开(公告)日：2024-01-09

申请号：CN202311119840.5

申请日：2023-09-01

Applicant: 广州大学

Inventor： 刘外喜 ,  范立生 ,  罗桂华 ,  尙文利 ,  陈孔阳 ,  蔡君 ,  谭淼泉

IPC: G06N3/098 ,  G06N3/084 ,  G06N3/0455

Abstract: 本发明公开了一种基于网内计算的加速AI大模型分布式训练方法及装置，方法包括：本发明在“PS架构+数据并行”的模式下，参数服务器PS利用梯度路由机制发现梯度分组和模型分组的最优转发路径，并构建以PS为树根的模型聚合树；每个计算节点worker本地训练得到梯度并形成梯度分组，再多次采用基于随机线性网络编码的分时梯度聚合机制将梯度分组发到参数服务器PS；参数服务器PS将接收到的梯度转换为浮点数，进行模型更新，获得最新的全局模型参数；通过网内克隆操作将更新后的全局模型参数推送到所有计算节点worker；各个worker更新自己的模型参数；上述过程多次迭代后，完成分布式训练。本发明可在不损害模型精度且无需大量增加计算的前提下，显著减少通信量。