Invention Publication
- Patent Title: 一种基于正交勒让德小波的可学习激活函数方法
-
Application No.: CN202211485315.0Application Date: 2022-11-24
-
Publication No.: CN115906951APublication Date: 2023-04-04
- Inventor: 刘智 , 颜野 , 郑小洋
- Applicant: 重庆理工大学
- Applicant Address: 重庆市巴南区红光大道69号
- Assignee: 重庆理工大学
- Current Assignee: 重庆理工大学
- Current Assignee Address: 重庆市巴南区红光大道69号
- Agency: 成都东唐智宏专利代理事务所
- Agent 晏辉
- Main IPC: G06N3/048
- IPC: G06N3/048

Abstract:
本发明公开了一种基于正交勒让德小波的可学习激活函数方法,涉及人工智能技术领域。本发明步骤如下:S1:针对特定任务数据,划分数据集为训练集、测试集;设定最大计算量MaxCal;S2:选定网络模型,初始化网络参数、激活函数结构参数K、M,数值参数C;S3:根据参数K、M、C生成勒让德(Legendre)小波,替换网络中激活函数;S4:确定结构参数K;S5:使用训练集训练模型,确定结构参数M;S6:再次使用训练集训练模型,确定数值参数C,得到最优激活函数和网络权重W。本发明通过方法的改进,能够实现自动确定激活函数的结构和参数,以此来一进步避免梯度消失、神经元死亡现象,并保留函数的非线性和可微性,提高网络准确率和收敛效果。
Information query