公开(公告)号：CN116225387A

公开(公告)日：2023-06-06

申请号：CN202310132331.X

申请日：2023-02-07

申请人： 鹏城实验室

发明人： 杨博 ,  相洋 ,  徐睿峰 ,  梁绎天 ,  孙洋 ,  侯永帅

IPC分类号： G06F8/20 ,  G06F8/41 ,  G06F8/71 ,  G06N5/04

摘要： 本发明公开了一种基于昇思框架的低耦合情感分析算法库，所述低耦合情感分析算法库包括：算法模块，与算法模块耦合连接的暴露接口，以及与暴露接口耦合连接的统一调用接口；其中，算法模块用于构建和训练所述低耦合情感分析算法库中的算法；算法模块包括数据模块、模型模块和训练模块；暴露接口用于为所述统一调用接口提供每个算法的调用接口；统一调用接口包括超参数配置信息和调用逻辑。本发明基于国产昇思框架来构建算法库，通过保留每个算法的完整性来降低不同算法之间的耦合度，让每个算法自成一体的同时通过暴露一个接口来实现统一调度，从而实现算法库跨平台、统一架构、统一调用接口和易扩展的特性。

公开(公告)号：CN116341652A

公开(公告)日：2023-06-27

申请号：CN202310133976.5

申请日：2023-02-08

申请人： 鹏城实验室

发明人： 侯永帅 ,  相洋 ,  莫羡杰 ,  杨卿 ,  王晖 ,  余跃

IPC分类号： G06N3/098 ,  G06N3/045 ,  G06N3/084 ,  G06F9/50

摘要： 本发明针对使用跨地域算力中心算力进行深度模型训练的场景需求，设计了一种面向云际环境的深度模型训练方法，采用按照网络层次拆分模型参数到不同算力中心、跨域算力节点间采用压缩通信、算力中心内和算力中心间采用混合并行等策略，实现利用跨域算力协同完成深度模型训练。本发明可以使大模型训练不再受单算力中心算力资源的限制，能够高效利用跨域算力中心的算力，在低带宽环境下利用跨域算力协同完成大规模模型的训练任务。

公开(公告)号：CN116489678A

公开(公告)日：2023-07-25

申请号：CN202310389923.X

申请日：2023-04-04

申请人： 鹏城实验室

发明人： 杨卿 ,  相洋 ,  侯永帅 ,  余跃 ,  王晖

IPC分类号： H04W24/02 ,  G06F17/16 ,  G06N3/08

摘要： 本申请实施例提供了一种深度学习模型的通信优化方法及装置、存储介质，方法包括：对深度学习模型进行切分，得到位于第一通信节点下的第一子模型和位于第二通信节点下的第二子模型；在第一通信节点下，根据稀疏化比例参数和第一子模型传输的前向数据，计算前向数据的稀疏化阈值，并且根据稀疏化阈值和稀疏化比例参数对前向数据进行压缩，得到中间数据；在第二通信节点下，根据量化参数对中间数据进行解压缩，得到后向数据；向第二子模型传输后向数据以进行训练。本申请实施例中，两个子模型所处的两个通信节点之间采用低带宽网络连接，整个通信过程的负载消耗能够得到限制，从而能够在保持深度学习模型的训练精度的前提下，有效地降低通信负载。