发明公开
- 专利标题: 模型运算优化方法、产品、设备及介质
-
申请号: CN202410704399.5申请日: 2024-06-03
-
公开(公告)号: CN118277133A公开(公告)日: 2024-07-02
- 发明人: 陈奎丞 , 何也 , 孙畅 , 吴韶华
- 申请人: 浪潮电子信息产业股份有限公司
- 申请人地址: 山东省济南市高新区草山岭南路801号9层东侧
- 专利权人: 浪潮电子信息产业股份有限公司
- 当前专利权人: 浪潮电子信息产业股份有限公司
- 当前专利权人地址: 山东省济南市高新区草山岭南路801号9层东侧
- 代理机构: 北京集佳知识产权代理有限公司
- 代理商 侯珊
- 主分类号: G06F9/54
- IPC分类号: G06F9/54 ; G06F9/48 ; G06F9/50 ; G06N3/08 ; G06N3/045 ; G06N5/04
摘要:
本申请公开了模型运算优化方法、产品、设备及介质,涉及数据处理技术领域,包括:监测针对用户自定义算子的目标广播请求;所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量;通过调用智能问答模型或深度学习网络模型的深度学习框架完成对CUDA设备的调用,以分别对各输入张量进行遍历,并确定与遍历结果对应的用于通过乘法及减法进行偏移量余数计算的目标参数;根据利用目标参数分别确定的各输入张量的偏移量从对应的张量存储空间中提取相应的元素值,并基于计算逻辑关系式对提取到的元素值进行相应的广播,得到对应的张量广播结果。本申请能够降低对除法和取余操作的依赖,提高偏移量计算的速度以及张量广播的效率。
公开/授权文献
- CN118277133B 模型运算优化方法、产品、设备及介质 公开/授权日:2024-07-30