深度学习模型的内存管理方法、装置、设备及存储介质

    公开(公告)号:CN115794400A

    公开(公告)日:2023-03-14

    申请号:CN202211530327.0

    申请日:2022-11-30

    Abstract: 本发明提供一种深度学习模型的内存管理方法、装置、设备及存储介质。方法包括:在待部署设备上获取多个存储空间;使用预设的存储函数,建立各存储空间之间的通信接口连接,以实现不同存储空间之间的数据传输;在各存储空间中,添加与所述深度学习模型相关联的张量数据的算法,配置所述深度学习模型的个性化拓展选项;根据所述个性化拓展选项和通信接口,在所述待部署设备上部署所述深度学习模型。通过个性化的设置模型所需的张量信息,从而降低了内存占用。大大降低了部署人员的工作量,使得部署工作更加的方便和快捷。

    神经网络量化精度评估方法、装置、电子设备及存储介质

    公开(公告)号:CN115481725A

    公开(公告)日:2022-12-16

    申请号:CN202210970388.2

    申请日:2022-08-12

    Abstract: 本申请涉及一种神经网络量化精度评估方法、装置、电子设备及存储介质,其中,方法包括:获取原始onnx模型,并调用onnx_graphsurgeon的应用程序编程接口API,将原始onnx模型中所有onnx算子设置为输出节点,生成各onnx算子的量化用阈值,并将各onnx算子的量化用阈值与未量化用阈值分别转化为第一目标trt文件和第二目标trt文件,并基于预设的TensorRT环境和输出节点,得到量化模型中各onnx算子的第一输出tensor和未量化模型中各onnx算子的第二输出tensor,并得到各onnx算子的量化精度,并生成最终评估结果。由此,可以快速准确地确定各算子量化后的精度损失。

    点云数据的部署方法、装置、电子设备及存储介质

    公开(公告)号:CN115470897A

    公开(公告)日:2022-12-13

    申请号:CN202210968930.0

    申请日:2022-08-12

    Abstract: 本申请涉及智能驾驶技术领域,特别涉及一种点云数据的部署方法、装置、电子设备及存储介质,其中,方法包括:获取目标的点云数据,并基于预设点云格式对点云数据进行预处理,得到张量数据;按照预设网格对张量数据执行体素划分操作,得到点云体素化数据;将点云体素化数据输入至预设的trt模型,输出目标的初始部署数据,并剔除初始部署数据中不满足预设部署条件的数据,得到最终部署数据,且按照最终部署数据完成点云数据的部署,其中,预设的trt模型由onnx模型转换得到。由此,解决了相关技术中对模型部署的适用范围有限,耦合性要求较高的问题,统一点云部署框架,减小耦合度,达到多种模型的归一化,提高工作效率,减少查错成本。

    一种模型部署方法、装置、电子设备及存储介质

    公开(公告)号:CN115719089A

    公开(公告)日:2023-02-28

    申请号:CN202211510797.0

    申请日:2022-11-29

    Abstract: 本发明提供一种模型部署方法、装置、电子设备及储存介质,其特征在于,所述方法包括:对训练后的初始模型进行量化,得到量化模型;获取量化模型的各模块的onnx模型及量化校准文件;修正各模块的onnx模型及量化校准文件;合并各模块的onnx模型及量化校准文件,得到第一onnx模型和量化校准文件集;将量化校准文件集转码为可读取文件;基于第一onnx模型和可读取文件,由平台生成模型;对平台生成的模型进行部署。本发明中获取量化后模型的onnx模型,提高tensorRT对算子的融合,提高运行效率,并转化为特定平台的模型,使模型和平台的兼容性更好,其中各个模块相互独立,可快速完成模型的部署,为工程项目节省时间。

    一种基于内存池的模型部署数据存储管理方法及装置

    公开(公告)号:CN117271112A

    公开(公告)日:2023-12-22

    申请号:CN202311064559.6

    申请日:2023-08-22

    Abstract: 本申请涉及智能驾驶技术领域,特别涉及一种基于内存池的模型部署数据存储管理方法及装置,方法包括:当在模型部署运行过程中接收到内存申请指令时,获取当前内存需求信息,对预设的哈希表进行搜索,哈希表中封装有预设的内存池中各个内存单元对应的内存块信息、起始地址和空闲标识;确定目标内存块信息对应的目标内存单元;若目标内存单元的空闲标识为空闲状态,则将目标内存单元的空闲标识调整为占用状态,根据目标内存单元的起始地址调用目标内存单元,以存储模型部署数据。本申请将内存池的内存块信息、起始地址和空闲标识封装到哈希表中,搜索哈希表得到起始地址,提高了内存池的响应速度,减少了向操作系统申请内存的次数。

    模型推理方法、装置、设备及存储介质

    公开(公告)号:CN117592569A

    公开(公告)日:2024-02-23

    申请号:CN202311609735.X

    申请日:2023-11-28

    Abstract: 本申请涉及一种模型推理方法、装置、设备及存储介质,涉及汽车技术领域。该方法包括:获取多个原始点云数据,并对多个原始点云数据进行预处理,得到多个第一点云数据;对多个第一点云数据进行体素化处理,得到体数据集;对体数据集进行特征处理,得到特征数据;基于预设推理引擎,对特征数据进行处理,得到多个物体对应的模型推理结果,并对多个物体对应的模型推理结果进行解析,确定多个物体中的每个物体的类型。由此,可以对点云数据进行模型推理,并对模型推理结果进行解析,确定多个物体中的每个物体的类型,解决只能针对单个任务进行推理,造成资源浪费,且推理结果不准确的问题。

    点云栅格化特征提取的GPU算子加速方法、系统及介质

    公开(公告)号:CN116778173A

    公开(公告)日:2023-09-19

    申请号:CN202310747649.9

    申请日:2023-06-21

    Abstract: 本发明涉及一种点云栅格化特征提取的GPU算子加速方法、系统及介质,包括:获取数据;点云栅格化:根据设定的可视范围和栅格大小将所有点划分到二维栅格图中的每个栅格,计算每个点的栅格坐标,保存每个点的栅格坐标以及每个栅格中点的数量;非空栅格映射:将二维栅格图转换成一维的栅格列表,剔除没有点的空栅格;栅格特征提取:针对每个非空栅格,计算每个非空栅格中每个点的多维特征;特征升维池化:针对每个非空栅格,将深度学习模型训练时习得的矩阵参数与每个点的特征进行矩阵乘法,对每个非空栅格的每一维度特征的所有点进行最大池化操作并映射回二维栅格图中。本发明使得只要特征提取网络相同的不同任务的深度学习模型均能共用这套算子。

Patent Agency Ranking