基于扩散模型的三维点云目标检测方法与装置

    公开(公告)号:CN116863426A

    公开(公告)日:2023-10-10

    申请号:CN202310843628.7

    申请日:2023-07-10

    摘要: 本发明涉及一种基于扩散模型的三维点云目标检测方法:获取点云数据并进行体素化和数据增强;将体素化后的数据送入体素编码器,转换为稠密鸟瞰图视角的二维稠密特征;在鸟瞰图视角下的标注框送入基于扩散模型的候选框生成器中返回产生的噪声框和时间步水平;在二维特征上裁剪对应特征并送入检测解码器进行预测;优化损失函数,进行迭代训练直至模型收敛;利用训练好的模型进行三维目标检测。本发明通过利用扩散模型生成候选框,在推理时能直接使用从高斯分布中采用的随机框作为候选,避免手工经验式设计锚框尺寸,让检测解码器更加鲁棒,能够适应不同噪声水平的输入并得到检测结果。本发明还提供了相应的基于扩散模型的三维点云目标检测装置。

    一种无监督人群计数方法、装置及存储介质

    公开(公告)号:CN116363595A

    公开(公告)日:2023-06-30

    申请号:CN202310387316.X

    申请日:2023-04-07

    摘要: 本发明公开了一种无监督人群计数方法、装置及存储介质,方法包括将第一输入图像裁剪为图像块,并获取图像块的粗粒度文本;将图像块输入第一图像编码器,将粗粒度文本输入第一文本编码器,生成第一相似度矩阵,根据第一相似度矩阵和第一区分度类别相似度,筛选出第一目标类别的图像块;获取第二目标类别的图像块的细粒度文本,并输入第二文本编码器,生成第二相似度矩阵,并根据第二相似度矩阵和第二区分度类别相似度,筛选出第二目标类别的图像块,并输入第二图像编码器,将计数文本输入第三文本编码器,生成目标相似矩阵,根据目标相似矩阵和计数文本的相似度,获取图像的人群数量。本发明不需要任何人工标签,极大减少了标注成本。

    基于视觉Transformer的弱-半监督三维点云目标检测方法与装置

    公开(公告)号:CN117115804A

    公开(公告)日:2023-11-24

    申请号:CN202311078304.5

    申请日:2023-08-23

    摘要: 本发明涉及一种基于视觉Transformer的弱‑半监督三维点云目标检测方法:获取数据集的物体级标注数据,并在标注框内选取伪标注点;训练一个点到框的转换器,将点云场景和所选取的伪标注点编码为tokens,使用一个视觉Transformer的编码器将场景tokens和标注tokens进行交互,训练并优化生成伪标注框的质量;获取点级别标注数据,使用上一步骤训练的视觉Transformer推理并得到伪标注框数据;在物体级标注和由点级标注生成的伪标注框上训练已有的室外或室内三维点云目标检测方法;利用训练好的模型进行三维目标检测。本发明通过减少数据集的标注量,只标注少量物体级标注和剩余点级别标注,得到与100%全标注数据相近的性能。本发明还提供相应的基于视觉Transformer的弱‑半监督三维点云目标检测装置。

    一种多任务三维点云分割方法及装置

    公开(公告)号:CN118710652A

    公开(公告)日:2024-09-27

    申请号:CN202410877442.8

    申请日:2024-07-02

    摘要: 本发明涉及三维点云分割技术领域,提供了一种多任务三维点云分割方法及装置。方法包括将输入点云划分为超点,对超点内的点云进行特征池化,将池化后的特征作为超点特征;对于交互式分割任务,依据用户输入的视觉提示信息,从超点特征中采样获得编码视觉提示信息的视觉提示特征;对于参考分割任务,采用文本编码器提取用户输入的文本提示信息的文本提示特征;将超点特征、视觉提示特征、文本提示特征输入掩膜解码器,获得多任务掩膜,实现多任务三维点云分割。本发明通过利用三维点云的边缘纹理信息,理解用户输入的视觉提示与文本提示,从而实现了多任务三维点云分割,减少在多任务情况下的算力资源和存储资源占用。

    基于差异感知的鲁棒异常检测方法与装置

    公开(公告)号:CN117274187A

    公开(公告)日:2023-12-22

    申请号:CN202311211768.9

    申请日:2023-09-19

    摘要: 本发明公开了一种基于差异感知的鲁棒异常检测方法。所述方法包括以下步骤:本发明由教师网络、学生网络、特征融合模块、分割模块及辅助分割模块组成。在训练阶段,将正常图像及合成异常图像分别输入至教师网络和学生网络,一方面,约束学生网络在正常区域回归教师网络,另一方面,计算两者特征之间的距离,得出差异图,融合差异图与学生网络特征,输入分割模块,约束分割模块准确定位异常。此外,本发明还将学生网络特征输入辅助分割模块中,以提升学生网络对异常的感知能力。在测试阶段,输入异常图像,结合教师‑学生网络的差异图和分割模块输出的分割概率图定位异常。本发明结合知识蒸馏与自监督,实现了高性能和较强鲁棒性的异常检测。

    一种半监督旋转目标检测模型的训练方法及相应的装置

    公开(公告)号:CN116630791A

    公开(公告)日:2023-08-22

    申请号:CN202310370868.X

    申请日:2023-04-07

    摘要: 本发明公开了一种半监督旋转目标检测模型的训练方法及相应的装置,包括:通过标注样本对第二模型进行训练,根据第二模型的预测结果和样本标签计算得到有监督损失LS;分别对无标注样本不同程度的增强,以得到第一增强样本Iw和第二增强样本Is,通过第一增强样本IW对第一模型进行训练,将第二增强样本Is对第二模型进行训练;根据第一模型的预测结果以及第二模型的预测结果,分别得到旋转感知的自适应加权损失LR和全局一致性损失LG;根据有监督损失LS、自适应加权损失LR和全局一致性损失LG对第一模型和第二模型进行迭代训练,直至模型收敛。

    一种基于距离变换标签的密集群体计数及定位方法

    公开(公告)号:CN111062280B

    公开(公告)日:2022-04-26

    申请号:CN201911232008.X

    申请日:2019-12-05

    摘要: 本发明公开了一种基于距离变换标签的密集群体计数及定位方法。本发明提出了一种新颖的真实标签生成方式,将该真实标签称为Distance label map,通过Distance label map,只需要统计出局部最小值区域个数即可获得估算人数,除此之外,计算局部最小值区域的中心坐标即可获得预测人头的具体位置信息。特征提取采用特征金字塔网络,将图片输入网络中得到多个不同的融合特征,并与真实标签计算损失并求和,本发明提出了一种新的计算损失的函数,称之为自适应交叉熵,能够利用像素点的标签表示了该像素点离它最近像素点的距离信息对传统的交叉熵进行加权改进。本发明相较于之前的群体计数的相关工作,能在确保计数准确性的同时提供每个人头的定位信息。

    一种基于距离变换标签的密集群体计数及定位方法

    公开(公告)号:CN111062280A

    公开(公告)日:2020-04-24

    申请号:CN201911232008.X

    申请日:2019-12-05

    IPC分类号: G06K9/00 G06K9/62

    摘要: 本发明公开了一种基于距离变换标签的密集群体计数及定位方法。本发明提出了一种新颖的真实标签生成方式,将该真实标签称为Distance label map,通过Distance label map,只需要统计出局部最小值区域个数即可获得估算人数,除此之外,计算局部最小值区域的中心坐标即可获得预测人头的具体位置信息。特征提取采用特征金字塔网络,将图片输入网络中得到多个不同的融合特征,并与真实标签计算损失并求和,本发明提出了一种新的计算损失的函数,称之为自适应交叉熵,能够利用像素点的标签表示了该像素点离它最近像素点的距离信息对传统的交叉熵进行加权改进。本发明相较于之前的群体计数的相关工作,能在确保计数准确性的同时提供每个人头的定位信息。