Invention Publication
- Patent Title: 模型运算优化方法、产品、设备及介质
-
Application No.: CN202410704399.5Application Date: 2024-06-03
-
Publication No.: CN118277133APublication Date: 2024-07-02
- Inventor: 陈奎丞 , 何也 , 孙畅 , 吴韶华
- Applicant: 浪潮电子信息产业股份有限公司
- Applicant Address: 山东省济南市高新区草山岭南路801号9层东侧
- Assignee: 浪潮电子信息产业股份有限公司
- Current Assignee: 浪潮电子信息产业股份有限公司
- Current Assignee Address: 山东省济南市高新区草山岭南路801号9层东侧
- Agency: 北京集佳知识产权代理有限公司
- Agent 侯珊
- Main IPC: G06F9/54
- IPC: G06F9/54 ; G06F9/48 ; G06F9/50 ; G06N3/08 ; G06N3/045 ; G06N5/04

Abstract:
本申请公开了模型运算优化方法、产品、设备及介质,涉及数据处理技术领域,包括:监测针对用户自定义算子的目标广播请求;所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量;通过调用智能问答模型或深度学习网络模型的深度学习框架完成对CUDA设备的调用,以分别对各输入张量进行遍历,并确定与遍历结果对应的用于通过乘法及减法进行偏移量余数计算的目标参数;根据利用目标参数分别确定的各输入张量的偏移量从对应的张量存储空间中提取相应的元素值,并基于计算逻辑关系式对提取到的元素值进行相应的广播,得到对应的张量广播结果。本申请能够降低对除法和取余操作的依赖,提高偏移量计算的速度以及张量广播的效率。
Public/Granted literature
- CN118277133B 模型运算优化方法、产品、设备及介质 Public/Granted day:2024-07-30
Information query