一种基于混合神经网络结构的大语言模型的推理加速方法

    公开(公告)号:CN117787410A

    公开(公告)日:2024-03-29

    申请号:CN202311786108.3

    申请日:2023-12-22

    摘要: 本发明涉及大语言模型技术领域,尤其涉及一种基于混合神经网络结构的大语言模型的推理加速方法,包括以下步骤:S1:对采集数据通过数据预处理得到预处理数据,对预处理数据进行数据处理以生成处理数据;S2:打包处理数据的训练部分的输入向量输入到保留网络进行训练得到预训练模型,保留网络包括并行保留网络、循环保留网络;S3:将处理数据的测试部分的输入向量输入预训练模型得到对话结果,预训练模型即自适应多尺度保留网络。本发明通过在残差连接中引入可学习的缩放因子,模型可自适应不同序列长度,引入自适应衰减率和可学习的残差连接缩放因子,使模型更精准地处理多尺度序列依赖,同时增强了对长短序列的适应性和深层网络的训练稳定性。

    基于联邦学习和架构搜索的AIGC模型的建立方法

    公开(公告)号:CN117077767A

    公开(公告)日:2023-11-17

    申请号:CN202311114585.5

    申请日:2023-08-31

    摘要: 本发明公开了一种基于联邦学习和架构搜索的AIGC模型的建立方法,包括:S1,建立AIGC模型训练系统,中心服务器设有基于有向无环图构成的搜索空间;有向无环图节点间设有网络层集合;S2,初始化迭代轮次t=1,设置总训练次数T;S3,基于架构搜索方法搜索,基于搜索路径和训练集得到AIGC网络模型,利用验证集优化得到AIGC初始模型;S4,边缘设备基于本地样本训练得到AIGC本地模型并上传;S5,中心服务器通过聚合更新得到AIGC全局模型;S6,判断t<T,若是,t=t+1,返回S4并基于AIGC全局模型对AIGC初始模型更新,否则训练结束。本发明可以实现自动搜索模型,提升模型设计和训练效率。

    一种报文级的自适应网络发包队列控制方法、电子设备和存储介质

    公开(公告)号:CN116760775A

    公开(公告)日:2023-09-15

    申请号:CN202310799987.7

    申请日:2023-06-30

    发明人: 梁彬 王闻宇

    IPC分类号: H04L47/24 H04L47/32

    摘要: 本申请公开了一种报文级的自适应网络发包队列控制方法、电子设备和存储介质,通过在一定的报文传输次数之后,得到报文传输成功的次数,以该值作为优先级调整的依据,并依据调整后的优先级进行后续报文的发送。其中,某类报文的传输成功次数多,则需要调低该类报文的优先级;某类报文的传输成功次数少,则需要调高该类报文的优先级。从而实现根据网络和业务负载的具体情况来动态调整报文的传输优先级。上调等待时间过长的低优先级报文的优先级,尽量避免低优先级报文一直被高优先级报文抢占网络。同时可以合理的分配有限的带宽资源,并且有助于网络拥塞的及时恢复。

    一种网络服务质量预测方法及装置

    公开(公告)号:CN116743605A

    公开(公告)日:2023-09-12

    申请号:CN202310787386.4

    申请日:2023-06-29

    发明人: 姚欣 张恒 王晓飞

    摘要: 本发明公开了一种网络服务质量预测方法及装置,包括:根据地理位置构建服务器分布图,利用密度聚类的方法搜索核心点;收集核心点所对应的边缘云服务器的QoS数据,基于Pre‑Trained Transformer模型生成语言描述集;基于语言描述集和节点特征生成每个边缘云服务器的特征文字序列,采用滑动窗口的方式生成对应的语义嵌入向量;基于QoS数据构建图结构,利用图卷积神经网络进行特征提取得到拓扑特征向量;将拓扑特征向量和语义嵌入向量进行拼接,利用多层感知机对边缘云服务器的网络服务质量进行预测。本发明将语义信息与时空信息综合共同完成了服务质量预测的任务,提高了预测的准确率。

    一种扩展边缘存储能力的方法及系统

    公开(公告)号:CN116319799A

    公开(公告)日:2023-06-23

    申请号:CN202310094290.X

    申请日:2023-02-03

    发明人: 刘峰

    IPC分类号: H04L67/1008 H04L69/16

    摘要: 本发明涉及边缘存储技术领域,提供了一种扩展边缘存储能力的方法,包括:S1:获取距离边缘节点最近一跳的接入网,在所述接入网上部署存储服务器;S2:当所述边缘节点需要使用存储服务时,向所述接入网发起存储请求,所述接入网为所述边缘节点分配所述存储服务器上的存储空间并返回给所述边缘节点;S3:所述边缘节点在所述边缘节点和所述接入网之间进行数据传输,访问并使用所述接入网分配的所述存储服务器上的所述存储空间。通过将存储服务器部署在离边缘节点最近一跳的接入网,再通过一套通用存储配置协议,使边缘节点获取统一的存储资源,而且性能不比本地存储的性能差。

    一种边缘云设备负载波形预测方法及系统

    公开(公告)号:CN116225710A

    公开(公告)日:2023-06-06

    申请号:CN202310229665.9

    申请日:2023-03-10

    摘要: 本发明涉及边缘云设备技术领域,提供了一种边缘云设备负载波形预测方法,包括以下步骤:S1:搭建负载波形预测模型中输入的信息池;S2:以包括编码器输入、解码器输入和所述信息池输入作为所述负载波形预测模型的输入,预测的工作负载作为在所述负载波形预测模型结束时的输出,搭建端到端框架的所述负载波形预测模型;S3:对所述负载波形预测模型进行端到端训练。上述技术方案,实现对应用程序负载变化的精确感知和预测,通过主动预测这些性能指标,可以主动而有效地执行边缘云上的应用程序部署和补救任务。

    边缘场景下的节点标识纳管方法、装置及电子设备

    公开(公告)号:CN116150633A

    公开(公告)日:2023-05-23

    申请号:CN202310159931.5

    申请日:2023-02-23

    发明人: 赵昱 尚俊 蒋鑫

    摘要: 本发明公开了一种边缘场景下的节点标识纳管方法装置及电子设备,包括:采集边缘节点的硬件设备特征信息,构建特征树模型;利用哈希算法将边缘节点的特征与该边缘节点预生成的ID标识相关联,并存储在云端数据库;需要对边缘节点识别时,根据特征树模型利用模糊匹配算法分别计算该边缘节点与其它边缘节点之间的匹配度;将得到的匹配度与预设的匹配度阈值比较,如果大于匹配度阈值,则这两个边缘节点为同一节点,根据识别边缘节点的特征在云端数据库中对边缘节点的关联特征进行更新,否则在云端数据库中创建新的边缘节点。本发明在节点硬件发生变更时,通过特征树和匹配算法方便了对节点的特征进行管理和识别,保证了对节点的识别准确度。

    基于因果推断的边缘云设备配置优化方法及系统

    公开(公告)号:CN116126544A

    公开(公告)日:2023-05-16

    申请号:CN202310254386.8

    申请日:2023-03-16

    摘要: 本发明公开了一种基于因果推断的边缘云设备配置优化方法及系统,包括如下步骤:收集所有边缘云设备的设备状态特征,所述设备状态特征包括设备属性特征、历史带宽和历史收益;基于设备属性特征中的任一特征构建设备集,利用卷积神经网络和X‑Learner方法对构建设备集所采用特征之外的其它特征进行训练获取收益预估模型;基于收益预估模型以最大化收益为目标构建优化目标函数;利用单纯形法对优化目标函数进行求解得到最优化的边缘云设备配置方案。本发明可以给出边缘云设备最优的资源配置,最终实现最优化成本投入与产出,实现边缘云商家利益最大化。

    一种非侵入式的动态流量均衡方法

    公开(公告)号:CN116016348A

    公开(公告)日:2023-04-25

    申请号:CN202211712059.4

    申请日:2022-12-29

    发明人: 蒲威 杨健

    摘要: 本发明公开了一种非侵入式的动态流量均衡方法,包括:S1,在链路层为每个网卡分别配置负责超载报文拦截和转发的过滤转发器;S2,采集每个网卡的出口流量;S3,构建超载网卡列表、未超载网卡列表及每个超载网卡的转发配置表,启动超载网卡的过滤转发器;S4,超载网卡接到报文时,过滤转发器根据转发配置表和未超载网卡列表对报文进行拦截转发,计算超载网卡和未超载网卡的负载流量;S5,根据负载流量和超载阈值更新超载网卡列表、未超载网卡列表及转发配置表;S6,根据更新后的超载网卡列表和未超载网卡列表更新过滤转发器的工作状态,每隔流量监控间隔后返回S4。本发明可实现整体机器线路上的流量均衡,提高整体的服务质量。

    一种降低网络成本的带宽分配方法及系统

    公开(公告)号:CN115242650A

    公开(公告)日:2022-10-25

    申请号:CN202210929703.7

    申请日:2022-08-03

    IPC分类号: H04L41/0896 H04L41/0826

    摘要: 本发明提供了一种降低网络成本的带宽分配方法及系统,其中方法步骤包括:S100为用户节点与边缘服务器节点之间构建有向边;建立有向边、;为所有有向边赋予权重及流量,以构成当前时刻下的网络带宽分配拓扑模型;S200计算的带宽总额排序以赋予权重,计算每个选出带宽总额最大的某段时刻,并设定处于时,打上第一标记;步骤S300将模型G中的的容量设置为当前时刻的带宽需求,当判断时,将设置为,更新模型G;S400计算残差值,搜索连通路径,更新模型G的有向边的属性,并搜索连通路径,直至模型G中不存在连通路径后,将与所有之间的的流量值与的流量值相减,获得向卸载带宽需求的调度结果。