公开(公告)号：CN118917367A

公开(公告)日：2024-11-08

申请号：CN202410955218.6

申请日：2024-07-16

Applicant: 南京大学

Inventor： 王欣然 ,  宁宏凯 ,  于志浩 ,  温恒迪 ,  罗夕艾

IPC: G06N3/0495 ,  G06N3/08

Abstract: 本申请公开了一种支撑无索引稀疏训练的铁电晶体管单元及存算一体硬件，铁电晶体管单元包括：第一非易失晶体管，包括第一源极、第一漏极和第一栅极；第二非易失晶体管，包括第二源极、第二漏极和第二栅极；稀疏线，与第一栅极连接；位线，与第一源极连接；数据输入线，与第二源极连接；数据输出线，与第二漏极连接；其中，第一漏极和第二栅极连接，第一非易失晶体管用于基于稀疏线的信号控制第二非易失晶体管的开关，第二非易失晶体管用于权重更新和数据处理存储。本申请实现了稀疏性信息的原位存储，使其与权重信息一同参与稀疏训练过程，免除了外部索引过程，支持任何非结构化的、任何粗细粒度剪枝的稀疏训练，实现了理论上的能耗和时延优势。

公开(公告)号：CN118917368A

公开(公告)日：2024-11-08

申请号：CN202410956818.4

申请日：2024-07-16

Applicant: 南京大学

Inventor： 王欣然 ,  宁宏凯 ,  孟苑 ,  于志浩 ,  傅玉祥 ,  温恒迪 ,  罗夕艾

IPC: G06N3/0495 ,  G06N3/084

Abstract: 本申请公开了一种稀疏神经网络的矢量近似更新方法及应用，方法包括获取神经网络中待更新的权重参数的精确梯度参数，得到精确梯度信息；为矩阵结构中同行的多个权重参数以及同列的多个权重参数构建相同的更新脉冲；构建操作矩阵变量；基于操作矩阵变量构建梯度矩阵变量；以精确梯度矩阵为梯度矩阵变量的目标，拟合求解操作矩阵变量，得到最优操作矩阵；基于所述最优操作矩阵，更新所述权重矩阵的权重参数。本申请的矢量近似更新方法全程无需对稀疏信息进行外部索引，大大降低了稀疏训练过程中的时间开销和能耗开销；在稀疏神经网络更新过程中具有媲美传统的逐个单元更新的精确更新算法的更新精度和训练效果。