公开(公告)号：CN115759197A

公开(公告)日：2023-03-07

申请号：CN202211423554.3

申请日：2022-11-15

申请人： 清华大学

发明人： 尹首一 ,  韩振华 ,  韩慧明 ,  魏少军

IPC分类号： G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06F18/24 ,  G06V10/82 ,  G06V10/764

摘要： 本申请涉及一种神经网络搜索方法、装置和计算机设备。所述方法包括：确定目标网络层数；根据目标网络层数确定多个初始化神经网络模型，对各初始化神经网络模型进行表达能力判断，得到对应的判断结果；针对任一初始化神经网络模型，在判断结果表征初始化神经网络模型的表达能力满足预设条件的情况下，确定初始化神经网络模型的片内存储信息和片外存储信息，在初始化神经网络模型的片内存储信息和片外存储信息满足存储条件的情况下，根据目标带宽利用率确定初始化神经网络模型的性能数据；根据各初始化神经网络模型的性能数据，确定目标神经网络模型。采用本方法能够快速的获取到在部署芯片性能较好、精度较高的目标神经网络模型。

公开(公告)号：CN114912591A

公开(公告)日：2022-08-16

申请号：CN202210323791.6

申请日：2022-03-30

申请人： 清华大学

发明人： 尹首一 ,  韩振华 ,  韩慧明 ,  刘雷波 ,  魏少军

IPC分类号： G06N3/063 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提出了一种基于硬件信息的神经网络结构搜索方法及系统，涉及神经网络模型处理技术领域，包括：根据应用场景任务选择符合设定要求的目标网络，计算表达力；按照目标网络的层数，根据搜索模型空间构建第一网络，并计算第一网络的表达力；其中，如果第一网络的表达力小于目标网络，增加深度，直至第一网络的表达力大于目标网络；构建第二网络，并计算表达力；将第二网络的表达力与目标网络进行比较；若大于则减少层数并重新构建网络，若小于则增加层数并重新构建网络，直至第二网络的表达力与目标网络的差值在设定阈值范围内，得到第二网络；设定搜索范围，按照搜索范围，基于演化算法并结合硬件信息进行网络的搜索，得到性能最佳的网络。

公开(公告)号：CN115879532A

公开(公告)日：2023-03-31

申请号：CN202210111314.3

申请日：2022-01-29

申请人： 清华大学

发明人： 尹首一 ,  韩振华 ,  韩慧明 ,  刘雷波 ,  魏少军

IPC分类号： G06N3/082 ,  G06N3/0464

摘要： 本发明提出了一种神经网络模型的混合量化处理方法及系统，涉及神经网络模型技术领域，该方法包括：对神经网络模型的各层算子进行识别分类，根据分类结果将网络划分为多个块；在划分的多个块中，选取一个未固定的块采用多种位宽进行量化，其它未固定的块采用预设位宽进行量化；评估量化后的量化组合模型，得到评估数据；根据所述评估数据选出最优的量化模型，对模型中相应的块量化结果进行固定；判断当前网络模型相较于前一次选出的网络模型的提升是否达到预设阈值；其中，若未达到预设阈值则停止处理；若达到预设阈值，则根据以上步骤进行迭代处理，直至当前网络模型相较于前一次选出的网络模型的提升未达到预设阈值。