模型运算优化方法、产品、设备及介质
摘要:
本申请公开了模型运算优化方法、产品、设备及介质,涉及数据处理技术领域,包括:监测针对用户自定义算子的目标广播请求;所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量;通过调用智能问答模型或深度学习网络模型的深度学习框架完成对CUDA设备的调用,以分别对各输入张量进行遍历,并确定与遍历结果对应的用于通过乘法及减法进行偏移量余数计算的目标参数;根据利用目标参数分别确定的各输入张量的偏移量从对应的张量存储空间中提取相应的元素值,并基于计算逻辑关系式对提取到的元素值进行相应的广播,得到对应的张量广播结果。本申请能够降低对除法和取余操作的依赖,提高偏移量计算的速度以及张量广播的效率。
公开/授权文献
0/0