一种基于彩色相机与红外热成像仪特征融合的目标检测方法

    公开(公告)号:CN111382683B

    公开(公告)日:2023-05-23

    申请号:CN202010135485.0

    申请日:2020-03-02

    申请人: 东南大学

    IPC分类号: G06V20/56 G06V10/20 G06V10/80

    摘要: 本发明公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法,包括以下步骤:a、通过彩色相机获得彩色数据集,通过红外热成像仪获得热红外数据集;b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中,提取目标的颜色特征与温度特征;在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合,然后选取融合后的特征图继续进行主干网络的特征提取,得到融合后的提取特征图;c、融合后的提取特征图输入到后续的卷积层中进行目标的分类,输出训练完成的双模态神经网络的算法模型。本发明融合温度与颜色信息,在双模态神经主干网络算法进行融合,输入分类层中进行目标的预测,增加目标的多种特征信息,提高目标识别准确性。

    一种工业双目摄像头与红外热成像仪联合标定的装置和方法

    公开(公告)号:CN109741400B

    公开(公告)日:2020-08-18

    申请号:CN201811508271.2

    申请日:2018-12-11

    申请人: 东南大学

    IPC分类号: G06T7/80

    摘要: 本发明涉及一种工业双目摄像头与红外热成像仪联合标定的装置和方法,以标准格式的张正友标定板内角点为圆心,开设小孔,小孔的半径小于黑白格边长的一半;在小孔内安装白炽灯泡,白炽灯泡的底座通过调节装置与电源连通;在张正友标定板上方架设传感器支架,传感器支架上安装工业双目摄像头和红外线热成像仪,两者对标定的装置拍摄时视角重合;本发明不仅设计简单、操作简单、成本低廉,能够同时标定两摄像头。

    一种可精确控制的无人驾驶拖拉机自动换挡通用装置

    公开(公告)号:CN108999966B

    公开(公告)日:2020-06-30

    申请号:CN201810817782.6

    申请日:2018-07-24

    申请人: 东南大学

    IPC分类号: F16H63/24 F16H63/30 F16H63/40

    摘要: 本发明涉及一种可精确控制的无人驾驶拖拉机自动换挡通用装置,包括横向驱动装置,其一端与拖拉机右侧挡泥板固联,在拖拉机座椅表面安装导轨,横向驱动装置的另一端通过滑块可移动连接在导轨上,还包括与横向驱动装置垂直布设的纵向驱动装置,在滑块表面开设安装槽,纵向驱动装置的一端可滑动连接在安装槽内,纵向驱动装置的另一端通过旋转接头与换挡套筒铰接,换挡套筒可移动套设在档杆上;本发明不需要改变原车的换挡结构,只需在原换挡结构上加装附属设备,提高了改装效率,降低了加工成本,适用于不同型号的拖拉机,具有一定的通用性。

    一种无人驾驶方程式赛车通用转向系统及控制方法

    公开(公告)号:CN109229200B

    公开(公告)日:2021-03-02

    申请号:CN201811048354.8

    申请日:2018-09-10

    申请人: 东南大学

    IPC分类号: B62D1/28 B62D5/04

    摘要: 本发明涉及一种无人驾驶方程式赛车通用转向系统及控制方法,包括动力装置、与赛车前轮连接的用于监测转向角的转向角监测装置和与方向盘连接的用于监测方向盘转角的方向盘转角监测装置,其中,转向角监测装置通过第二转向传动杆与方向盘转角监测装置连接,动力装置与转向角监测装置联通,动力装置为整个转向系统提供动力;本发明可实现赛车自动转向的精准控制,而且无需加装齿轮分离装置以消除转向舵机的巨大转向阻力,便可实现有人驾驶无人驾驶状态切换,结构简单,降低了无人驾驶方程式赛车的设计加工成本,具有一定的通用性。

    一种工业双目摄像头与红外热成像仪联合标定的装置和方法

    公开(公告)号:CN109741400A

    公开(公告)日:2019-05-10

    申请号:CN201811508271.2

    申请日:2018-12-11

    申请人: 东南大学

    IPC分类号: G06T7/80

    摘要: 本发明涉及一种工业双目摄像头与红外热成像仪联合标定的装置和方法,以标准格式的张正友标定板内角点为圆心,开设小孔,小孔的半径小于黑白格边长的一半;在小孔内安装白炽灯泡,白炽灯泡的底座通过调节装置与电源连通;在张正友标定板上方架设传感器支架,传感器支架上安装工业双目摄像头和红外线热成像仪,两者对标定的装置拍摄时视角重合;本发明不仅设计简单、操作简单、成本低廉,能够同时标定两摄像头。

    一种可精确控制的无人驾驶拖拉机自动换挡通用装置

    公开(公告)号:CN108999966A

    公开(公告)日:2018-12-14

    申请号:CN201810817782.6

    申请日:2018-07-24

    申请人: 东南大学

    IPC分类号: F16H63/24 F16H63/30 F16H63/40

    摘要: 本发明涉及一种可精确控制的无人驾驶拖拉机自动换挡通用装置,包括横向驱动装置,其一端与拖拉机右侧挡泥板固联,在拖拉机座椅表面安装导轨,横向驱动装置的另一端通过滑块可移动连接在导轨上,还包括与横向驱动装置垂直布设的纵向驱动装置,在滑块表面开设安装槽,纵向驱动装置的一端可滑动连接在安装槽内,纵向驱动装置的另一端通过旋转接头与换挡套筒铰接,换挡套筒可移动套设在档杆上;本发明不需要改变原车的换挡结构,只需在原换挡结构上加装附属设备,提高了改装效率,降低了加工成本,适用于不同型号的拖拉机,具有一定的通用性。

    一种基于彩色相机与红外热成像仪特征融合的目标检测方法

    公开(公告)号:CN111382683A

    公开(公告)日:2020-07-07

    申请号:CN202010135485.0

    申请日:2020-03-02

    申请人: 东南大学

    IPC分类号: G06K9/00 G06K9/36 G06K9/62

    摘要: 本发明公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法,包括以下步骤:a、通过彩色相机获得彩色数据集,通过红外热成像仪获得热红外数据集;b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中,提取目标的颜色特征与温度特征;在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合,然后选取融合后的特征图继续进行主干网络的特征提取,得到融合后的提取特征图;c、融合后的提取特征图输入到后续的卷积层中进行目标的分类,输出训练完成的双模态神经网络的算法模型。本发明融合温度与颜色信息,在双模态神经主干网络算法进行融合,输入分类层中进行目标的预测,增加目标的多种特征信息,提高目标识别准确性。