公开(公告)号：CN118277133B

公开(公告)日：2024-07-30

申请号：CN202410704399.5

申请日：2024-06-03

申请人： 浪潮电子信息产业股份有限公司

发明人： 陈奎丞 ,  何也 ,  孙畅 ,  吴韶华

IPC分类号： G06F9/54 ,  G06F9/48 ,  G06F9/50 ,  G06N3/08 ,  G06N3/045 ,  G06N5/04

摘要： 本申请公开了模型运算优化方法、产品、设备及介质，涉及数据处理技术领域，包括：监测针对用户自定义算子的目标广播请求；所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量；通过调用智能问答模型或深度学习网络模型的深度学习框架完成对CUDA设备的调用，以分别对各输入张量进行遍历，并确定与遍历结果对应的用于通过乘法及减法进行偏移量余数计算的目标参数；根据利用目标参数分别确定的各输入张量的偏移量从对应的张量存储空间中提取相应的元素值，并基于计算逻辑关系式对提取到的元素值进行相应的广播，得到对应的张量广播结果。本申请能够降低对除法和取余操作的依赖，提高偏移量计算的速度以及张量广播的效率。

公开(公告)号：CN118445072A

公开(公告)日：2024-08-06

申请号：CN202410546280.X

申请日：2024-04-30

申请人： 浪潮电子信息产业股份有限公司

发明人： 孙畅 ,  何也 ,  陈奎丞 ,  吴韶华

IPC分类号： G06F9/50

摘要： 本发明公开了一种数据处理方法、系统、装置及介质，涉及数据处理领域，用于解决统一转换数据格式时创建新的张量导致的内存占用问题。该方案通获取待处理数组的包括待处理数组的维度大小、维度数和每个维度上的步长的数组信息；根据待处理数组的数组信息确定待处理数组中每个元素的存储地址；按照预设数据格式的顺序对各个存储地址中的元素进行预设处理，预设处理为写入或者读出。可见，本发明通过了解待处理数组的存储方式和结构以及在内存中定位每个元素，可以直接对存储地址中的元素进行预设处理，无需复制到新的内存位置，也不需要创建新的张量来存储调整后的数据，避免了复制数据和额外的内存占用，能够更高效地处理数据格式不一致的问题。

公开(公告)号：CN118277133A

公开(公告)日：2024-07-02

申请号：CN202410704399.5

申请日：2024-06-03

申请人： 浪潮电子信息产业股份有限公司

发明人： 陈奎丞 ,  何也 ,  孙畅 ,  吴韶华

IPC分类号： G06F9/54 ,  G06F9/48 ,  G06F9/50 ,  G06N3/08 ,  G06N3/045 ,  G06N5/04

摘要： 本申请公开了模型运算优化方法、产品、设备及介质，涉及数据处理技术领域，包括：监测针对用户自定义算子的目标广播请求；所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量；通过调用智能问答模型或深度学习网络模型的深度学习框架完成对CUDA设备的调用，以分别对各输入张量进行遍历，并确定与遍历结果对应的用于通过乘法及减法进行偏移量余数计算的目标参数；根据利用目标参数分别确定的各输入张量的偏移量从对应的张量存储空间中提取相应的元素值，并基于计算逻辑关系式对提取到的元素值进行相应的广播，得到对应的张量广播结果。本申请能够降低对除法和取余操作的依赖，提高偏移量计算的速度以及张量广播的效率。