一种基于正交勒让德小波的可学习激活函数方法
摘要:
本发明公开了一种基于正交勒让德小波的可学习激活函数方法,涉及人工智能技术领域。本发明步骤如下:S1:针对特定任务数据,划分数据集为训练集、测试集;设定最大计算量MaxCal;S2:选定网络模型,初始化网络参数、激活函数结构参数K、M,数值参数C;S3:根据参数K、M、C生成勒让德(Legendre)小波,替换网络中激活函数;S4:确定结构参数K;S5:使用训练集训练模型,确定结构参数M;S6:再次使用训练集训练模型,确定数值参数C,得到最优激活函数和网络权重W。本发明通过方法的改进,能够实现自动确定激活函数的结构和参数,以此来一进步避免梯度消失、神经元死亡现象,并保留函数的非线性和可微性,提高网络准确率和收敛效果。
0/0