公开(公告)号：CN117195983A

公开(公告)日：2023-12-08

申请号：CN202310986571.6

申请日：2023-08-07

申请人： 中国科学院计算技术研究所

发明人： 胡杏 ,  韩虎生 ,  党朴成 ,  宋新开

IPC分类号： G06N3/063 ,  G06F9/50 ,  G06F21/60

摘要： 一种基于数据并行可信分布式神经网络加速器架构构建方法、加速器架构、加速器和服务器，包括以下步骤：构建主机节点步骤，用于对多个神经网络加速器节点进行远程认证、控制和数据分发；构建动态随机存取内存步骤；构建所述多个神经网络加速器节点步骤，进一步包括：构建控制处理器步骤；构建计算单元步骤；构建内存控制器步骤，用于提供数据可信保护，其中，又包括：在片上构建分布式大模型的全局版本号结构；利用不使用数据地址的方式对数据进行加密、解密、完整性保护生成和完整性保护验证；所述加密、解密、完整性保护生成和完整性保护验证以神经网络层的张量为粒度进行通信。

公开(公告)号：CN117332831A

公开(公告)日：2024-01-02

申请号：CN202311271771.X

申请日：2023-09-28

申请人： 中国科学院计算技术研究所

发明人： 胡杏 ,  韩虎生 ,  党朴成 ,  宋新开

IPC分类号： G06N3/063 ,  G06F21/57

摘要： 本发明提出一种分布式神经网络加速器系统，主机节点配置为：向每一加速器节点进行远程认证，利用神经网络编译器对模型进行编译，生成数据流图，并确定各个加速器节点间子图的依赖关系；对编译后的模型进行切分，将各个子图分配到各加速器节点。每一子图的计算层包含：一接口层，以可转移张量表示，包含转移张量数据、第一辅助数据；转移张量数据保存在片外存储器，第一辅助数据保存在片上存储器；一内部层，以普通张量表示，包含普通张量数据、第二辅助数据；普通张量数据保存在片外存储器，第二辅助数据包含第二张量版本号、第二张量MAC，第二张量版本号保存在片上存储器，第二张量MAC保存在片外存储器。其减少了VN的内存访问开销和存储开销。

公开(公告)号：CN117475254A

公开(公告)日：2024-01-30

申请号：CN202311329374.3

申请日：2023-10-13

申请人： 中国科学院计算技术研究所

发明人： 胡杏 ,  党朴成 ,  韩虎生 ,  黄迪 ,  张蕊 ,  杜子东 ,  郭崎 ,  陈云霁

IPC分类号： G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06V10/762

摘要： 本发明提出一种破除图像数据不可学习噪声的深度学习训练方法，包括：获取训练图像样本，构建为分类数据集；对所有该训练图像样本进行聚类，获取各聚类簇的聚类信息，根据该聚类信息，生成该分类数据集的过拟合指标；以该分类数据集对目标图像分类模型进行训练，基于该过拟合指标判断每个训练轮是否出现过拟合，并对每个训练轮的学习率进行动态调整。本发明还提出一种破除图像数据不可学习噪声的深度学习训练系统，以及一种用于实现破除图像数据不可学习噪声的深度学习训练的数据处理装置。