公开(公告)号：CN115205560A

公开(公告)日：2022-10-18

申请号：CN202210846173.X

申请日：2022-07-19

Applicant: 东南大学

Inventor： 张小国 ,  鲁添祎 ,  蒋琬琪 ,  王慧青 ,  邓奎刚

IPC: G06V10/75 ,  G06V10/44 ,  G06V10/26

Abstract: 本发明提供了一种基于单目相机的先验地图辅助室内定位方法。该方法包括：S1获取无闭环室内场景的先验点云地图；S2将已知的先验地图进行语义分割，提取保留具有环境语义信息的局部点云，形成精简的语义线特征定位地图；S3从相机图像中提取二维线特征，同时添加语义检测进程，对二维直线添加语义标签。S4对于单帧图像，判断语义定位地图中线段的可见性，将二维线特征与在视野范围内且语义标签一致的三维线段匹配；S5构建实时与先验地图匹配的优化模型，提高系统定位精度；本方法解决了大范围室内场景中难以依赖闭环修正累计误差作为位姿优化依据的问题，有效地提高了单目视觉定位系统大范围室内定位结果的准确性。

公开(公告)号：CN115170931A

公开(公告)日：2022-10-11

申请号：CN202210852735.1

申请日：2022-07-20

Applicant: 东南大学

Inventor： 张小国 ,  滕浩 ,  丁立早 ,  杜文俊 ,  王琦

IPC: G06V20/00 ,  G06V10/25 ,  G06V10/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明设计了一种基于混合空洞卷积的CA‑YOLO目标检测算法，主要包括以下几个步骤：搭建YOLOv4模型；在SPP模块之前加入CA注意力模块，在主干网络backbone的残差模块中添加注意力模块；设计混合空洞卷积模块，将其添加到主干网络CSPDarkNet‑53中；在主干网络输出的卷积层和空间金字塔结构SPP上下两侧的卷积层中改变卷积次数，同时在PANet结构中的P3、P4头部输出端前侧和从特征金字塔提取后的P5位置加入空洞卷积，至此，CA‑YOLO模型搭建完毕；采用预训练好的模型对CA‑YOLO模型进行初始化，对模型进行训练，引入类平滑标签改进损失函数对模型进行优化，使用训练好的CA‑YOLO模型和YOLOv4模型对测试集进行图像检测，对比性能。

公开(公告)号：CN108648240B

公开(公告)日：2022-09-23

申请号：CN201810447021.6

申请日：2018-05-11

Applicant: 东南大学

Inventor： 张小国 ,  郑冰清 ,  刘启汉 ,  邵俊杰

IPC: G06T7/80 ,  G06T7/33

Abstract: 本发明公开了一种基于点云特征地图配准的无重叠视场相机姿态标定方法，包括如下步骤：(1)对无重叠视场的多个相机进行基础标定，获得内参；(2)利用多个相机对环境进行检测并同步定位与建图，构建点云地图并提取关键帧解算相机的位姿矩阵；(3)从一个相机的关键帧中抽取图像帧，与其他相机关键帧进行相似性检测，构建匹配帧对集合和匹配点对集合，对点云地图点在图像帧上的投影与实际像素坐标进行最小化投影误差；(4)通过对匹配帧附近的帧进行特征匹配，融合所有特征点，进行全局优化，迭代求解相对位姿矩阵；根据实际情况选取修正参数，对相机进行最终姿态标定；本发明解决了传统标定方法标定工作强度大，工作效率低且精度不高的问题。

公开(公告)号：CN109165680B

公开(公告)日：2022-07-26

申请号：CN201810860165.4

申请日：2018-08-01

Applicant: 东南大学

Inventor： 张小国 ,  刘启汉 ,  郑冰清 ,  王慧青

IPC: G06K9/62 ,  G06T7/80 ,  G06V10/772 ,  G06V10/762

Abstract: 本发明公开了一种基于视觉SLAM的室内场景下单一目标物体字典模型改进方法：对于进行视觉SLAM的单目或双目相机进行基础标定，获得内参信息后对环境进行检测和前端同步定位与建图，得到点云地图；根据周边环境与单一目标物体相关特征制作图片数据集，利用DBoW2库k‑means++算法生成数据集对应的单词；进行TF‑IDF相似度计算划分单词权值，设定阈值，进行归零化处理，得到单一目标物体字典改进模型；将该改进模型结合到SLAM系统的后端优化中，通过对点云地图点在图像帧上的投影与实际像素坐标进行最小化投影误差。本发明优化了在室内场景下对于单一目标物体的回环检测的发现与点云地图的闭环融合，为一些类别环境下特定单一目标物体的同步定位与建图提供了较大的便利。

公开(公告)号：CN108510441B

公开(公告)日：2022-03-08

申请号：CN201810224544.4

申请日：2018-03-19

Applicant: 东南大学

Inventor： 张小国 ,  邵俊杰 ,  郑冰清 ,  丁丁 ,  王宇

IPC: G06T3/40 ,  G06T7/11 ,  G06T1/20

Abstract: 本发明公开了一种基于交错网格的影像多分辨率显示方法，利用交错网格的方式，在传统影像瓦片金字塔的基础上建立了三类交错网格影像瓦片金字塔，并根据实际显示情况选择相应的影像瓦片金字塔进行加载显示；主要包括以下几个步骤：设计影像金字塔层级和瓦片尺寸；制作原始影像的高斯金字塔；建立传统影像瓦片金字塔；使用交错网格法建立交错网格影像瓦片金字塔；计算选择影像金字塔类型索引及瓦片行列号；根据瓦片类型索引和行列号加载相应瓦片进行显示。相比于现有的显示方法，本方法减少了系统的内存开销，提高了影像加载速度，而且控制屏幕加载的瓦片数不超过四张，保证了内存使用量的稳定。

公开(公告)号：CN109345557B

公开(公告)日：2021-07-09

申请号：CN201811093550.7

申请日：2018-09-19

Applicant: 东南大学

Inventor： 张小国

IPC: G06T7/194 ,  G06T7/80 ,  G06T17/30

Abstract: 本发明公开了一种基于三维重建成果的前背景分离方法，对目标物体用相机每隔10°‑20°拍摄一张照片，相机运动轨迹是一个圆；使用二维限定Delaunay三角剖分算法构建初始空间三角网格，网格进行扩散加密后使用三维立体重建算法(PMVS)进行面片优化、滤波后得到稠密点云，然后构建稠密三角网格；对目标物体三角面片包围的像素依据纹理赋值，并通过凹凸映射得到目标物体的表面形状信息；将重建出的目标物体重投影到空白照片上，设置照片的深度缓冲矩阵，通过对比像素点的深度缓冲值与目标物体上三角面片深度值，保留或舍弃深度信息，最终得到干净的前景照片。本发明可以分离出自然背景下的静止前景物体。

公开(公告)号：CN110296687B

公开(公告)日：2021-03-16

申请号：CN201910495518.X

申请日：2019-06-10

Applicant: 东南大学

Inventor： 张小国 ,  王宇 ,  高烨 ,  刘启汉 ,  张开心 ,  王慧青

IPC: G01C11/00 ,  H04N7/18

Abstract: 本发明公开了一种基于定点视频监控中预置点最优布设的目标定位方法，包括如下步骤：S1：确定出监控场地中监控设备在每个监控圈中所对应的垂直倾角；S2：根据监控圈的垂直视场角和水平视场角，获取每个监控圈视场所对应的地面面积，确定出监控场地中每个监控圈中所有的监控预置点；S3：将每个监控预置点对应的垂直视场角、水平视场角和垂直倾角进行编号，并存储在预置点信息库中；S4：通过预置点信息库，确定出监控目标在监控场地中的具体位置。本发明解决了利用定点监控系统获取待测图像时预置点人工布设复杂、困难的问题，确定了目标相对摄像机的位置，提高了在检测后人工核对目标的效率，实现了定点视频监控的闭环检测。

公开(公告)号：CN107038731B

公开(公告)日：2020-04-21

申请号：CN201710211256.0

申请日：2017-04-01

Applicant: 东南大学

Inventor： 王慧青 ,  李玲 ,  张小国

IPC: G06T11/00

Abstract: 本发明公开了一种解决交点退化问题的复杂多边形裁剪方法，首先，对实体多边形的外环边界构成的多边形与裁剪多边形进行求交；然后，若实体多边形含有孔洞，则对结果多边形与孔洞构成的多边形进行求差；得到的裁剪结果再与下一个孔洞多边形进行求差，直至所有孔洞多边形处理完毕，整个裁剪过程结束，最终得到一般多边形的裁剪结果。本发明适用于任意凸的、凹的或带孔洞的多边形裁剪，可实现实体多边形与裁剪多边形的求交、求差以及求并，在交点退化情况下也能够得到正确的裁剪结果；减少了多边形的求交次数和生成裁剪结果时顶点遍历次数，加快了裁剪算法运行速度；在空间消耗和时间消耗上的性能要优于Greiner‑Hormann算法。

公开(公告)号：CN110490899A

公开(公告)日：2019-11-22

申请号：CN201910624338.7

申请日：2019-07-11

Applicant: 东南大学

Inventor： 张小国 ,  叶绯 ,  贾友彬 ,  王宇 ,  丁丁

IPC: G06T7/246 ,  G06K9/62

Abstract: 本发明提供一种结合目标跟踪的可变形施工机械的实时检测方法，首先通过目标检测将KCF手动框选变成自动框选。采用SSD模型进行施工机械的实时检测，一旦检测到施工机械，将其作为KCF跟踪器初始帧的目标位置。训练相关滤波器，捕获下一帧后进入目标跟踪预测阶段，获得预测样本进行响应值计算，找到响应最大的位置，如果响应值大于阈值则表明跟踪到目标，更新模型，重新训练权重参数，进行下一帧的预测。如果响应值小于阈值，则重新进行目标检测，更新目标位置状态，进行跟踪。本发明提出了一种结合目标跟踪的可变形施工机械的实时检测技术，适用于视频图像序列中场景复杂的情况下对可变形施工机械进行准确检测、跟踪并预警，具有广阔的应用前景。

公开(公告)号：CN110298822A

公开(公告)日：2019-10-01

申请号：CN201910468250.0

申请日：2019-05-31

Applicant: 东南大学

Inventor： 何荣开 ,  朱亚旋 ,  张小国 ,  燕松 ,  王慧青

IPC: G06T7/00 ,  G06T7/10 ,  G06T7/33 ,  G01N21/84

Abstract: 本发明提供一种基于图像分割配准和残差网络的转子绕线检测方法，针对转子绕线缠绕形态合格性判断，通过对待测部位形态学分析，结合控制系统与传动系统精确配准，对旋转件转子绕线图像进行挂钩模板定位分割，得到受偏转角影响较小的转子绕线部分，利用深度学习检测算法实现在一个旋转周期内对整个转子合格性的完整检测。本发明解决了转子旋转件检测时偏转角的干扰影响，结合设计的残差网络深度学习检测算法，提高了检测的精度，满足工业生产中的检测需求。