-
公开(公告)号：CN110738241A
公开(公告)日：2020-01-31
申请号：CN201910907166.4
申请日：2019-09-24
申请人： 中山大学
摘要： 本发明涉及一种基于神经网络的双目立体视觉匹配方法及其运算框架，匹配方法包括如下步骤，构建神经网络运算框架、构建二值神经网络并进行训练；初始化神经网络运算框架；步骤三：将左图像和右图像输入二值神经网络进行图像特征提取，得到一串二值序列作为图像像素点的特征描述；使用二值神经网络代理卷积神经网络用于图像的特征提取，并设计专门针对二值神经网络的神经网络训练方式和运算的运算框架，使得双目立体视觉的匹配不仅有更高的精度，同时有更快的运算速度。
-
公开(公告)号：CN114742875A
公开(公告)日：2022-07-12
申请号：CN202210375366.1
申请日：2022-04-11
申请人： 中山大学
摘要： 本发明公开了基于多尺度特征提取和自适应聚合的双目立体匹配方法，包括：获取双目相机的左图和右图；对所述左图和所述右图进行多尺度特征提取，得到所述左图和所述右图在多个分辨率上的特征矩阵；计算所述特征矩阵对应的代价矩阵；将不同的所述代价矩阵进行代价聚合，融合不同尺度下和局部区域内的信息得到代价聚合值；根据所述相邻像素的代价聚合值，获取粗视差图；对所述粗视差图进行优化，得到双目立体匹配的目标视差图。本发明提高了效率和精度，可广泛应用于图像处理技术领域。
-
公开(公告)号：CN113281779A
公开(公告)日：2021-08-20
申请号：CN202110553663.6
申请日：2021-05-20
申请人： 中山大学
摘要： 本发明公开了一种3D物体快速检测方法、装置、设备及介质，方法包括：获取左右视图以及相机标定参数；通过神经网络框架对数据库图片以及真实距离深度图进行处理，训练得到二值神经网络模型；根据二值神经网络模型，结合二值数据通道打包技术以及网络计算层流技术，确定二值神经网络；将左右视图输入到二值神经网络中，对左右视图进行特征提取，确定视差图；根据视差图，结合相机标定参数构建点云数据坐标点，确定视觉雷达信号；对视觉雷达信号进行离散化处理，并输入到基于深度残差和特征金字塔的网络中，确定预测结果。本发明降低了三维物体检测的成本，提高了检测的速度以及准确度，能够广泛应用于三维物体检测技术领域。
-
公开(公告)号：CN111553296A
公开(公告)日：2020-08-18
申请号：CN202010370995.6
申请日：2020-04-30
申请人： 中山大学
摘要： 本发明涉及一种基于FPGA实现的二值神经网络立体视觉匹配方法，包括以下步骤：步骤一：获取双目匹配灰度图像中的像素的周期性输入流；步骤二：从像素中获取图像块；步骤三：将步骤二中的图像块输入预设权值与参数的二值神经网络获取二值的特征向量；步骤四：将特征向量在最大搜索视差内进行代价计算，获得匹配代价；步骤五：将代价输入半全局代价聚合进行代价聚合，得到聚合后的代价；步骤六：在聚合后的代价中选择代价最小的位置作为视差；步骤七：对选择的视差进行一致性检测和视差细致化计算，得到视差图，并且按周期逐个输出像素的视差值。通过二值化的方法可以有效的降低网络的计算和存储资源，从而可以将高精度的立体匹配网络部署到FPGA中。
-
公开(公告)号：CN113281779B
公开(公告)日：2022-07-12
申请号：CN202110553663.6
申请日：2021-05-20
申请人： 中山大学
IPC分类号： G01S17/894 , G01S17/86 , G06N3/08 , G06T7/80
摘要： 本发明公开了一种3D物体快速检测方法、装置、设备及介质，方法包括：获取左右视图以及相机标定参数；通过神经网络框架对数据库图片以及真实距离深度图进行处理，训练得到二值神经网络模型；根据二值神经网络模型，结合二值数据通道打包技术以及网络计算层流技术，确定二值神经网络；将左右视图输入到二值神经网络中，对左右视图进行特征提取，确定视差图；根据视差图，结合相机标定参数构建点云数据坐标点，确定视觉雷达信号；对视觉雷达信号进行离散化处理，并输入到基于深度残差和特征金字塔的网络中，确定预测结果。本发明降低了三维物体检测的成本，提高了检测的速度以及准确度，能够广泛应用于三维物体检测技术领域。
-
公开(公告)号：CN112233163B
公开(公告)日：2021-03-30
申请号：CN202011464746.X
申请日：2020-12-14
申请人： 中山大学
摘要： 本发明公开了一种激光雷达立体相机融合的深度估计方法、装置及其介质，该方法包括：获取立体相机的当前帧左图像和当前帧右图像；获取雷达左图像和雷达右图像；将当前帧左图像与雷达左图像融合得到第一左图像；将当前帧右图像与雷达右图像融合得到第一右图像；将第一左图像输入二值神经网络中进行特征提取，并聚合得到第一特征左图像；将第一右图像输入二值神经网络中进行特征提取，并聚合得到第一特征右图像；获取第一特征左图像和第一特征右图像之间的初始匹配代价；基于交叉的雷达信任聚合和半全局立体匹配算法优化所述初始匹配代价并提取视差图；根据所述视差图进行深度估计。本发明能够获得准确可靠的深度预测，广泛应用于图像处理技术领域。
-
公开(公告)号：CN112233163A
公开(公告)日：2021-01-15
申请号：CN202011464746.X
申请日：2020-12-14
申请人： 中山大学
摘要： 本发明公开了一种激光雷达立体相机融合的深度估计方法、装置及其介质，该方法包括：获取立体相机的当前帧左图像和当前帧右图像；获取雷达左图像和雷达右图像；将当前帧左图像与雷达左图像融合得到第一左图像；将当前帧右图像与雷达右图像融合得到第一右图像；将第一左图像输入二值神经网络中进行特征提取，并聚合得到第一特征左图像；将第一右图像输入二值神经网络中进行特征提取，并聚合得到第一特征右图像；获取第一特征左图像和第一特征右图像之间的初始匹配代价；基于交叉的雷达信任聚合和半全局立体匹配算法优化所述初始匹配代价并提取视差图；根据所述视差图进行深度估计。本发明能够获得准确可靠的深度预测，广泛应用于图像处理技术领域。
-
公开(公告)号：CN111553296B
公开(公告)日：2021-08-03
申请号：CN202010370995.6
申请日：2020-04-30
申请人： 中山大学
摘要： 本发明涉及一种基于FPGA实现的二值神经网络立体视觉匹配方法，包括以下步骤：步骤一：获取双目匹配灰度图像中的像素的周期性输入流；步骤二：从像素中获取图像块；步骤三：将步骤二中的图像块输入预设权值与参数的二值神经网络获取二值的特征向量；步骤四：将特征向量在最大搜索视差内进行代价计算，获得匹配代价；步骤五：将代价输入半全局代价聚合进行代价聚合，得到聚合后的代价；步骤六：在聚合后的代价中选择代价最小的位置作为视差；步骤七：对选择的视差进行一致性检测和视差细致化计算，得到视差图，并且按周期逐个输出像素的视差值。通过二值化的方法可以有效的降低网络的计算和存储资源，从而可以将高精度的立体匹配网络部署到FPGA中。
-
-
-
-
-
-
-
搜索结果
8 条记录 (耗时 0.029 秒)