Invention Publication
- Patent Title: 视觉变换器中GELU非线性激活函数近似计算电路
-
Application No.: CN202410614274.3Application Date: 2024-05-17
-
Publication No.: CN118446266APublication Date: 2024-08-06
- Inventor: 刘波 , 寇辉 , 邹子涵 , 章晨 , 陈诗旷 , 蔡浩
- Applicant: 东南大学
- Applicant Address: 江苏省南京市玄武区四牌楼2号
- Assignee: 东南大学
- Current Assignee: 东南大学
- Current Assignee Address: 江苏省南京市玄武区四牌楼2号
- Agency: 南京经纬专利商标代理有限公司
- Agent 熊玉玮
- Main IPC: G06N3/063
- IPC: G06N3/063 ; G06N3/048

Abstract:
本发明公开视觉变换器中GELU非线性激活函数近似计算电路,属于计算、推算或计数的技术领域,其功能是用于视觉变换器模型的高斯误差线性单元非线性激活函数的硬件友好优化。该方法以硬件友好为目标对激活值进行GELU计算,通过检测激活值的大小,对小和极大的激活值使用线性函数或分段线性函数近似,而对其它值应用更精确的多项式近似函数以确保模型精度。以硬件友好为原则,整个计算过程以全整型计算的方式进行,在提高能效和面积效率的情况下,以极低的精度损失代价达到较高的硬件收益,适合于在硬件环境上进行部署。
Information query