一种基于查询自举增强的端到端多目标跟踪方法及相关装置

    公开(公告)号:CN118247312A

    公开(公告)日:2024-06-25

    申请号:CN202410463529.0

    申请日:2024-04-17

    摘要: 本发明公开了一种基于查询自举增强的端到端多目标跟踪方法及相关装置,方法包括:在不同分辨率尺度下当前帧图像对进行特征提取,得到特征图像;通过特征编码对特征图像进行编码,得到特征编码向量;利用特征编码向量以及前一帧图像的预测结果对可学习的解释查询向量进行增强,得到增强查询向量;将增强查询向量与联合查询向量相加得到最终查询向量;将特征编码向量和最终查询向量通过特征解码得到输出向量;利用跟踪头将输出向量解译为分类及回归结果,得到当前帧图像的预测结果。本发明能够在相对较少增加计算复杂度及参数量的同时多目标跟踪结果上达到了目前最好的效果。

    一种基于激光点云语义信息增强的三维目标检测方法及相关装置

    公开(公告)号:CN116524448A

    公开(公告)日:2023-08-01

    申请号:CN202310514287.9

    申请日:2023-05-08

    摘要: 本发明公开了一种基于激光点云语义信息增强的三维目标检测方法及相关装置。该方法首先将三维空间划分为若干柱状体素。然后,对每个体素进行特征提取,转化为鸟瞰视角下的伪图片。接着,将伪图片送入区域建议网络进行多尺度深层次特征提取。最后,将多尺度特征图以及原始尺寸特征图分别输入三维语义分割头和三维目标检测头,得到三维语义分割和三维目标检测结果。本发明能够提升三维目标检测的精度,尤其是小目标的精度。本发明能够基本保持已有实时三维目标检测框架的速度。同时,本发明还能够输出三维语义分割结果,提供自动驾驶系统进行进一步环境感知。

    一种基于通道共享的深度神经网络加速器

    公开(公告)号:CN111723924B

    公开(公告)日:2022-07-12

    申请号:CN202010470820.2

    申请日:2020-05-28

    IPC分类号: G06N3/063

    摘要: 本发明公开了一种基于通道共享的深度神经网络加速器,包括激活值输入缓存,权重缓存,激活值输出缓存,排序模块,通道共享编码模块,激活函数和通道共享实用内积单元阵列。激活值输入缓存用于存储激活值非0位偏移量,排序索引和共享切换信号。激活值输出缓存用于存储中间结果和激活值输出。排序模块根据激活值非0位数量对激活值排序,排序结果将在通道共享编码模块中进行共享检测编码。激活值非0位偏移量,排序索引,切换信号及权重作为输入在通道共享实用内积单元中进行移位及求和计算。和现有技术相比,本发明有效解决了激活值位串行计算结构的深度神经网络处理器存在的同步问题,具有资源利用率高,性能高,能耗少和面积效率高的优点。

    PS与PL协同架构的同态加密神经网络框架与推理方法

    公开(公告)号:CN113255881A

    公开(公告)日:2021-08-13

    申请号:CN202110461086.8

    申请日:2021-04-27

    摘要: PS与PL协同架构的同态加密神经网络框架与推理方法,包括PL侧和PS侧;PL侧包括结构参数解析单元、明文×密文单元以及结构参数调度单元;结构参数解析单元,用于接收并解析PS侧发送的DNN模型结构参数;数据参数调度单元,用于对接收到的PS侧的权重参数以及密文域下的多项式的阶数进行缓存后,进行拼接后输出到明文×密文单元;明文×密文单元,用于对接收到的数据在密文域下进行多项式的乘法操作,并将结果发送给PS;PS侧包括卷积求和单元、部分和累加单元、BN单元、数据更新单元、全局平均池化单元以及全连接单元。本发明利用PS侧和PL侧协同工作,提高图片分类任务的执行效率,减少推理时间。

    基于拆分-融合策略的分布式深度神经网络结构转换方法

    公开(公告)号:CN113255730A

    公开(公告)日:2021-08-13

    申请号:CN202110462461.0

    申请日:2021-04-27

    摘要: 基于拆分‑融合策略的分布式深度神经网络结构转换方法,采集图片,组成数据集,并将数据集分为训练集和测试集,对训练集和测试集中的图片进行预处理;对网络模型进行通道拆分,扩充网络模型宽度,然后再添加融合层,得到改进后的网络模型;采用训练集中的图片对改进后的网络模型进行训练后,将预处理之后的测试集中的图片输入到训练后的网络模型中,得到图片分类结果。本发明针对分布式推理的场景对已有的用于图片分类任务的网络模型进行改进,转换之后的网络模型可以在资源受限的分布式系统中实现较快的推理速度,即可以在资源受限的分布式系统中执行图片分类任务,并较快地得到分类结果,并且图片具有更高的分类精度。

    一种深度可分离卷积神经网络加速器架构

    公开(公告)号:CN111898733A

    公开(公告)日:2020-11-06

    申请号:CN202010628683.0

    申请日:2020-07-02

    IPC分类号: G06N3/04 G06N3/08 G06N3/063

    摘要: 本发明公开了一种深度可分离卷积神经网络加速器架构,包括:外部存储器,用于存储输入的待处理图片的像素数据和深度可分离卷积神经网络的权重数据;特征图缓存,用于暂存从所述外部存储器读取的待处理图片像素数据以及神经网络计算的特征图结果;权重缓存,用于暂存从所述外部存储器读取的深度可分离卷积神经网络的权重数据;计算引擎模块,用于对从所述特征图缓存与权重缓存分别读取特征图数据与权重数据进行卷积计算;控制配置模块,用于配置所述计算引擎模块的计算模式以及控制所述特征图缓存与权重缓存的读写。本发明优化了深度可分离卷积的计算顺序,在提高并行性的同时减少了访存成本。

    一种稀疏卷积神经网络加速器及实现方法

    公开(公告)号:CN109635944B

    公开(公告)日:2020-10-27

    申请号:CN201811582530.6

    申请日:2018-12-24

    IPC分类号: G06N3/063 G06N3/04

    摘要: 一种稀疏卷积神经网络加速器及实现方法,将片外DRAM中的稀疏网络的连接权重读入权值输入缓冲区,通过权值解码单元进行解码后存储在权值片上全局缓冲区;将神经元读入神经元输入缓冲区,然后将读入的神经元通过神经元解码单元进行解码后存储在神经元片上全局缓冲区;按照神经网络当前层的配置参数确定PE计算单元阵列的计算模式,将解码后排列好的神经元和连接权重发送给PE计算单元;计算神经元和连接权重的乘积;在本发明加速器中,PE单元中的乘法器全部被移位器代替,所有的基本模块都可以根据网络计算和硬件资源进行配置,因此具有速度快、功耗低、资源占用小以及数据利用率高的优点。

    基于数据压缩与搜索范围预测的运动估计存储架构设计方法

    公开(公告)号:CN109040520B

    公开(公告)日:2020-06-19

    申请号:CN201810804558.3

    申请日:2018-07-20

    IPC分类号: H04N5/14 H04N19/433

    摘要: 本发明公开了一种基于数据压缩与搜索范围预测的运动估计存储架构设计方法,包括步骤:1)主存储器视频数据加载;2)主存储器视频数据压缩;3)主存储器存储压缩后的视频数据;4)主存储器数据解压缩;5)利用主存储器中解压缩的数据进行运动估计;6)判断最优运动估计结果是否超出垂直向搜索范围PSRV;7)副存储器数据加载;8)副存储器数据压缩;9)副存储器存储压缩后的视频数据;10)副存储器数据解压缩;11)利用副存储器中解压缩的数据进行运动估计;12)判断最优运动估计结果是否出现在从副存储器中读取的数据之中。本发明在片上存储架构中采用两层次的结构,从而进一步的减小为实现最小的仿存带宽导致的片上存储器耗费。

    一种车辆的车道保持控制方法

    公开(公告)号:CN108297866B

    公开(公告)日:2019-10-15

    申请号:CN201810004757.6

    申请日:2018-01-03

    IPC分类号: B60W30/12 B60W40/00 B60W10/20

    摘要: 本发明提供了一种车辆的车道保持控制方法。首先利用车载摄像机捕获的图片进行车道线检测。然后将检测到的车道线从图像坐标系转换到车体坐标系下。本专利提出“虚拟车道线”和“真实车道线”这两个概念,结合真实车道线位置信息和虚拟车道线位置信息计算车辆偏离车道的角度和偏离程度。最后根据偏离量计算转向控制量,实现车道保持。

    一种基于稀疏二维激光雷达的目标检测与姿态估计方法

    公开(公告)号:CN108549084A

    公开(公告)日:2018-09-18

    申请号:CN201810092043.5

    申请日:2018-01-30

    IPC分类号: G01S17/06 G01S17/42

    摘要: 一种基于稀疏二维激光雷达的目标检测与姿态估计方法,包括利用点云中点之间的距离统计对激光雷达数据的离群点去除、基于密度扩充的点云数据目标聚类、点云凹形判断和利用姿态判据的目标姿态搜索方法。上述的各个部分依次连接,最终输出当前帧的目标的姿态信息。本发明设计最优包围盒贴合判据,并以此进行关于朝向角θ的最优搜索,从而得到目标的朝向角信息(即二维姿态),实施方便,操作简单,满足自主车的实时性要求,具有较强的实时性。