-
公开(公告)号:CN119359778A
公开(公告)日:2025-01-24
申请号:CN202411944424.3
申请日:2024-12-27
Applicant: 湖南大学
IPC: G06T7/33 , G06T7/00 , G06T5/80 , G06V10/774
Abstract: 本发明公开了一种基于特征分离的大基线图像配准方法及系统,以预设的重叠率对电路板进行图像采集,得到若干张电路板局部图像,对若干张电路板局部图像进行畸变矫正,将畸变矫正后的电路板局部图像组成图像对并构建训练集,搭建图像配准网络,使用训练集对图像配准网络进行训练并计算重构损失,得到训练后的图像配准网络,获取真实场景下待配准的大基线图像,将待配准的大基线图像进行畸变矫正后组成图像对输入至训练后的图像配准网络处理,输出真实场景下待配准的大基线图像对的图像变换矩阵,根据图像变换矩阵实现真实场景下待配准大基线图像对的配准。该方法能够在实际的工业应用中显著提高图像配准的精度、效率和稳定性。
-
公开(公告)号:CN119205748A
公开(公告)日:2024-12-27
申请号:CN202411697688.3
申请日:2024-11-26
Applicant: 湖南大学
IPC: G06T7/00 , G06N3/0464 , G06V10/44 , G06V10/58 , G06V10/764 , G06V10/774 , G06V10/82 , G06F15/78
Abstract: 一种光谱图像检测模型、检测方法和片上计算的相机处理器,其中光谱图像检测模型包括N个串联的KAM块以及连在N个KAM块之后的分类器块;KAM块包括依次连接的深度可分离卷积层、批归一化层、改进的三重注意力层以及ReLU激活函数层;深度可分离卷积层用于提取图像特征,改进的三重注意力层用于增强特征图内和特征图之间的信息交互;分类器块包括依次连接的深度可分离卷积层、批归一化层、普通卷积层和Sigmoid激活函数层。本发明中的光谱图像检测模型具有轻量化、计算量小等特点,可部署在相机中的相机处理器中,以满足移动端、边缘端高光谱图像处理需求。
-
公开(公告)号:CN119169606A
公开(公告)日:2024-12-20
申请号:CN202411241486.8
申请日:2024-09-05
Applicant: 湖南大学
IPC: G06V20/64 , G06V10/80 , G06V10/25 , G06V10/44 , G06N3/0464 , G06N3/0495 , G06N3/08
Abstract: 本发明属于大范围制造场景机器人协同三维感知领域,具体涉及一种基于视觉状态空间模型的多机器人协同三维目标检测方法,包括:搭建多机器人激光雷达三维感知平台,采集飞机制造与装配大范围场景中的三维点云数据;对所采集的三维点云数据进行数据标注,制作三维点云检测数据集,并将三维点云检测数据集进行划分;构建基于视觉状态空间模型的点云三维目标检测模型;将训练集代入到点云三维目标检测模型中进行迭代训练,并采用验证集进行模型验证,得到最优点云三维目标检测模型;将测试集代入到最优点云三维目标检测模型中进行预测,得到三维点云检测结果,实现多机器人在大范围场景中的协同三维目标检测。
-
公开(公告)号:CN118799369B
公开(公告)日:2024-11-15
申请号:CN202411288067.X
申请日:2024-09-14
Applicant: 湖南大学
IPC: G06T7/33 , G06N3/0464 , G06T5/50
Abstract: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。
-
公开(公告)号:CN118864827A
公开(公告)日:2024-10-29
申请号:CN202411345989.X
申请日:2024-09-26
Applicant: 湖南大学
IPC: G06V10/25 , G06N3/0464 , G06N3/084 , G06V10/764 , G06V10/80 , G06V10/82 , G06V20/64
Abstract: 一种针对大型装配过程全场景的统一化三维目标检测方法,包括:1、构建全场景激光雷达感知平台,采集三维点云数据;2、制作装配制造场景的检测数据集;3、构建三维目标检测模型;4、将训练集中的数据输入到三维目标检测模型中,得到目标分类结果和目标边界框回归结果;5、构建总损失函数,计算目标分类结果与目标边界框回归结果的损失值,循环4至5,直至总损失函数收敛,更新权重,得到训练后的三维目标检测模型;6、对训练后的三维目标检测模型进行测试,得到检测结果。本发明增加了装配效率,提高了装配质量,能及时发现和处理装配过程中的问题,避免了制造业中传统人工装配过程的安全隐患,有助于推动工业智能制造快速且高质量的发展。
-
公开(公告)号:CN114637404B
公开(公告)日:2024-09-06
申请号:CN202210312681.X
申请日:2022-03-28
Applicant: 湖南大学
Abstract: 本发明公开了一种多模态分层融合的人机交互方法和系统,包括使用单目相机和麦克风对人体交互动作和语音进行视频采集,从得到的视频中提取得到视频数据和语音数据;将语音数据送入语音识别模块得到语音识别结果;将视频数据送入已训练好的骨骼提取网络得到人体骨骼序列图像和手部骨骼序列图像;将人体骨骼序列图像送入动作识别模块得到动作识别结果;将手部骨骼序列图像送入手势识别模块得到手势识别结果;将语音识别结果、动作识别结果和手势识别结果送入融合决策模块,得到综合控制指令,将综合控制指令发送至无人系统终端进行运动控制。系统硬件平台简易、交互效果好并且实时性高稳定性强。系统硬件平台简易、交互效果好并且实时性高稳定性强。
-
公开(公告)号:CN114529703B
公开(公告)日:2024-09-06
申请号:CN202210192372.3
申请日:2022-02-28
Applicant: 湖南大学
IPC: G06T19/20
Abstract: 本发明公开了一种基于熵增优化的大型复杂构件点云全局匹配方法,包括获取相邻视角场景的三维点云坐标,获得源点云X与目标点云Y,对其下采样分别得到采样点云x与采样点云y;基于采样点云x与采样点云y构建物理能量模型;基于熵增定律,根据物理能量模型计算对采样点云x的当前运动的扭矩T和拉力S,根据扭矩T和拉力S计算当前施加的旋转及平移(Rk,tk),获得变换后的点集;计算当前采样点云x在引力场中的势能并记录当前迭代次数;根据势能或迭代次数确定满足预设的结束条件时,累计所有变换后的点集,对源点云X进行旋转平移,实现源点云X与目标点云Y之间的配准。提高了配准精度与鲁棒性,降低方法的失败率。
-
公开(公告)号:CN118219260A
公开(公告)日:2024-06-21
申请号:CN202410357010.4
申请日:2024-03-27
Applicant: 湖南大学
Abstract: 本发明公开了一种动态场景下移动机械臂的运动控制方法及其应用,采用模型预测控制,对未来一段时间内的状态与控制输入量进行预测,将机械臂末端位姿与目标位姿之间的偏差作为一个二次代价项添加到代价函数,并且在移动机械臂的突出位置设置若干个碰撞点,将这些碰撞点与空间中障碍物的距离作为一个惩罚项添加到代价函数,同时将机器人的运动速度、运动加速度、机械臂关节角度运动范围、关节角加速度以及机器人自碰撞避免作为约束添加到模型预测控制器,求解出最优的一组控制输入队列作用在机器人的控制器,解决了现有移动机械臂在面对动态复杂场景下的适应力差,稳定性不足等缺陷,提高了移动机械臂机器人工作稳定性。
-
公开(公告)号:CN114004960B
公开(公告)日:2024-06-18
申请号:CN202111360605.8
申请日:2021-11-17
Applicant: 湖南大学
IPC: G06V10/147 , G02B27/00 , G02B7/182 , G02B17/00 , G06V10/58
Abstract: 本发明公开了一种医药检测的高光谱双模成像系统及方法,包括第一光源、第二光源、高光谱相机、样品台、滑行组件、平面反射镜、匀光面板和控制装置,第一光源、匀光面板和高光谱相机从左至右依次设置,且三者的中心点在一条直线上,第一光源、匀光面板均位于样品台的左侧,高光谱相机位于样品台的右侧,第一光源、匀光面板和高光谱相机组成透射成像装置,平面反射镜和第二光源均按预设角度设置于样品台的上方,第二光源、平面反射镜和高光谱相机组成反射成像装置,高光谱相机可滑行地安装于滑行组件上,高光谱相机与控制装置连接,高光谱相机上设置有压缩感知模块,压缩感知模块采用预设的正则化正交匹配追踪重构算法。其结构简单且检测精准。
-
公开(公告)号:CN118134858A
公开(公告)日:2024-06-04
申请号:CN202410210528.5
申请日:2024-02-26
Applicant: 湖南大学 , 三一汽车制造有限公司 , 江西省通讯终端产业技术研究院有限公司
Abstract: 本发明公开了一种基于随机采样与模板匹配的工件平面检测方法及系统,该方法包括:采集待检测工件的点云图像数据;基于随机采样对点云图像数据进行平面拟合,分割出面积最大的平面并保存其平面点云;将平面点云的最长宽度、最长高度作为二值图像的宽度、高度,再建立二值图像的像素坐标系完成平面点云与图像像素的转换;基于自适应窗口扫描二值图像,将与窗口匹配的平面窗口保存,最后计算平面窗口的中心点云位置实现平面位置定位。本发明通过上述技术方案克服现有平面检查技术中存在检查效率低、实时性差、接触式检查的技术问题,有效提升检测效率、实时性,且本发明该方法还能解决对不同形状、姿态与距离的工件泛化能力差的问题。
-
-
-
-
-
-
-
-
-