公开(公告)号：CN118376259B

公开(公告)日：2024-09-13

申请号：CN202410830963.8

申请日：2024-06-26

申请人： 山东大学

发明人： 程吉禹 ,  丁俊锋 ,  张伟 ,  宋然 ,  李晓磊

IPC分类号： G01C21/34 ,  G05B11/42 ,  G01C21/28

摘要： 本发明属于无人车导航技术领域，提供了一种无人车及基于多模态融合的无人车导航方法、装置，为了保证无人车导航模型多模态融合性能的同时提高融合的效率，本发明使用了一种高效的多模态特征融合网络，该模型可以使各模态的数据首先提取出模态内最关键的信息再进行跨模态数据融合，融合过程中只传递该部分少量关键信息，提升无人车感知环境的能力，同时避免了模态间数据的完全访问，可以有效去除数据冗余，减少模型运算量，对模型运算速度有明显提升，有效增强了无人车导航的实时性和安全性。

公开(公告)号：CN115709331B

公开(公告)日：2024-08-27

申请号：CN202211475125.0

申请日：2022-11-23

申请人： 山东大学 ,  山东奥太电气有限公司

发明人： 张伟 ,  程吉禹 ,  魏鹏坤 ,  宋然 ,  张光先 ,  杨硕 ,  张一鹏 ,  王军峰 ,  李昊 ,  张秀珊

IPC分类号： B23K26/044 ,  B23K26/08 ,  B23K26/70 ,  B25J9/16 ,  B25J11/00

摘要： 本发明公开了一种基于目标检测的焊接机器人全自主视觉引导方法及系统，包括：获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。本发明基于图像识别方法识别所有焊缝的位置，识别准确度提高，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。

公开(公告)号：CN114581684B

公开(公告)日：2024-06-18

申请号：CN202210044291.9

申请日：2022-01-14

申请人： 山东大学

发明人： 张伟 ,  张钰荻 ,  钟方威 ,  宋然 ,  王亦洲

IPC分类号： G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明提供一种基于语义时空表示学习的主动目标跟踪方法、系统及设备，属于计算机视觉技术领域，获取目标者的二维位置图像，并对深度图像进行全局非线性映射；提取目标者的二维位置图像的语义知识，提取全局非线性映射后的深度图像的空间知识；将语义知识和空间知识进行融合，得到目标者当前状态的估计；根据目标者当前状态的估计，获取目标者跟踪控制策略。本发明可以对三维场景的语义、空间和时间知识实现共同理解；将目标者图像和深度图像的二维位置作为输入，增强和融合了多模态知识，不同模态的特征被增强并集成，生成了用于相机控制的可靠的控制策略，提高了模型的感知能力，有利于避障，当遮挡目标和被遮挡的对象具有相似的RGB外观时，保证了可靠的跟踪性能。

公开(公告)号：CN118134981A

公开(公告)日：2024-06-04

申请号：CN202410557541.8

申请日：2024-05-08

申请人： 山东大学

发明人： 丛润民 ,  宋玮煜 ,  吴春雷 ,  宋然 ,  张伟

IPC分类号： G06T7/50 ,  G06N3/0455 ,  G06N3/09

摘要： 本公开提出基于跨域交互的全天时场景自监督深度估计方法及系统，涉及深度估计技术领域。方法包括：将待估计全天时图像输入至深度估计模型，得到深度估计结果；其中，深度估计模型中，跨域交互模块用于将全天时图像样本解耦为日间私有特征和共享特征，夜间私有特征和共享特征；利用正交损失约束两个私有特征的互补性，基于共享特征交换私有特征重建图像；跨域耦合投影模块用于将两个共享特征分别解码为深度图，基于全天时图像样本、深度图、位姿矩阵，采用场景损失监督训练，得到自监督单目深度估计结果。充分考虑昼夜图像中包含的共享信息，并深化夜间图像的纹理信息，提高了深度估计模型对全天时场景进行深度估计的适应能力及结果准确性。

公开(公告)号：CN118133930A

公开(公告)日：2024-06-04

申请号：CN202311371957.2

申请日：2023-10-20

申请人： 山东大学

发明人： 杨硕 ,  张伟 ,  宋然 ,  李大猷 ,  赵晨琨 ,  李腾 ,  巨浩

IPC分类号： G06N3/092 ,  G06N3/006 ,  G06F18/25 ,  G06V20/50 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0499

摘要： 本发明公开了一种基于多模态自适应融合的机器人技能连续学习方法及系统，涉及机器人学习技术领域。该方法包括步骤：获取机器人操作环境和操作任务的多种模态数据；利用深度学习将多种模态数据特征进行自适应融合；利用强化学习算法将融合后的数据特征对机器人进行操作技能的实际训练；其中，训练过程为连续学习，包括新策略的学习和旧策略的经验重访；根据训练结果更新机器人的操作技能。本发明旨在融合多模态传感器数据，通过连续学习方式实现机器人在多样化任务和环境中的高效学习和自适应操作，显著提升机器人面向动态复杂场景的连续学习能力，增强其在多种任务上的泛化性。

公开(公告)号：CN117373020A

公开(公告)日：2024-01-09

申请号：CN202311345265.0

申请日：2023-10-17

申请人： 山东大学

发明人： 丛润民 ,  陈锦芃 ,  张伟 ,  孙豪言 ,  宋然

IPC分类号： G06V20/70 ,  G06V10/25 ,  G06V10/26 ,  G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0464

摘要： 本发明公开了基于几何约束动态卷积的实例分割方法及系统，对待分割图像进行多层级特征提取，得到多层级特征；将多层级特征，进行实例感知，得到所有预测实例的中心、相应的类别置信度和边界框；基于边界框进行抑制得到保留的实例中心；将多层级特征进行底部特征提取得到底部特征；基于多层级特征和每个保留的实例中心进行中心特征提取，生成用于外围点定位的动态卷积核；基于用于外围点定位的动态卷积核对底部特征进行动态卷积操作，进行外围点图预测生成外围点图；基于多层级特征、保留的实例中心和外围点图，进行特征提取和差异化特征融合，生成用于分割的动态卷积核；基于用于分割的动态卷积核对底部特征进行动态卷积操作，得到分割掩码。

公开(公告)号：CN116452512A

公开(公告)日：2023-07-18

申请号：CN202310273768.5

申请日：2023-03-16

申请人： 山东大学

发明人： 张伟 ,  马端蔚 ,  李晓磊 ,  宋然 ,  程吉禹 ,  田天 ,  冯世庆 ,  周恒星

IPC分类号： G06T7/00 ,  G06V10/24 ,  G06V10/44 ,  G06V10/764 ,  G06V10/28 ,  G06V10/25 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明涉及脊椎韧带骨化图像识别方法及系统，包括以下步骤：获取脊椎设定区域的CT图像，定位脊椎设定区域中的关键点，确定韧带所在的区域；根据定位的关键点确定韧带所在区域中基准线的位置，并截取包含基准线的感兴趣区域，经预处理后得到二值化图像；基于得到的二值化图像，根据基准线及两侧的像素值分布情况，剔除基准线穿过脊椎骨骼部分的情况，识别图像中的韧带骨化区域。

公开(公告)号：CN116243725A

公开(公告)日：2023-06-09

申请号：CN202310162565.9

申请日：2023-02-23

申请人： 山东大学

发明人： 李晓磊 ,  刘深蓝 ,  张伟 ,  宋然 ,  程吉禹 ,  王阳

IPC分类号： G05D1/10

摘要： 本发明公开了一种基于视觉导航的变电站无人机巡检方法及系统，包括：基于无人机采集的视频流数据，获取多张连续的视频帧图像；将视频帧图像输入特征提取网络，提取变电站道路环境特征，将提取的特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；根据输出的参数信息，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令以及生成无人机平移控制指令；根据控制指令，控制无人机飞行，进行巡检。本发明通过变电站的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，摆脱对GPS导航信号的依赖，实现变电站无人机自动巡检。

公开(公告)号：CN116188441A

公开(公告)日：2023-05-30

申请号：CN202310208799.2

申请日：2023-03-01

申请人： 山东大学

发明人： 张伟 ,  刘学锋 ,  李晓磊 ,  宋然 ,  程吉禹 ,  田天 ,  冯世庆 ,  周恒星

IPC分类号： G06T7/00 ,  G06T7/73 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明属于深度学习与医学影像处理领域，提供了一种基于矢状位医学影像的椎间盘突出退变评估系统，包括图像获取模块，用于获取腰椎矢状位医学图像；初步定位模块，用于基于腰椎矢状位医学图像和训练好的ResNet残差神经网络对椎体与椎间盘进行初步定位得到所有帧图像的初步定位中心点坐标；中心点修正模块，用于遍历所有帧图像的初步定位中心点坐标，判断是否符合腰椎与椎间盘中心点约束条件，若均符合则定位正确，输出椎体与椎间盘中心点坐标；否则基于腰间盘锥体定位中心点迭代修正算法进行修正得到正确的椎体与椎间盘中心点坐标；评估模块，用于根据定位正确的中心点坐标提取椎间盘图像，基于椎间盘图像和分级模型进行分级得到腰椎间盘退变的评估结果。

公开(公告)号：CN115759199A

公开(公告)日：2023-03-07

申请号：CN202211454807.3

申请日：2022-11-21

申请人： 山东大学

发明人： 程吉禹 ,  张浩 ,  张伟 ,  张林 ,  宋然 ,  李晓磊

IPC分类号： G06N3/0464 ,  G06N3/08

摘要： 本发明提出了基于层次化图神经网络的多机器人环境探索方法及系统，涉及多机器人未知环境探索领域。包括：基于拓扑图的环境建模方法把连续的环境地图表示为拓扑图；基于层次化图神经网络对拓扑图进行特征提取，将拓扑图中不同跳数的特征信息进行聚合，并利用多头注意力机制对拓扑图中结点和边的特征进行融合，得到最终输出拓扑图；将最终输出拓扑图中单个机器人节点对应的结点特征作为强化学习中对应智能体的状态，利用多头注意力机制对来自多个机器人的结点特征进行信息融合，得到机器人系统总状态价值。本发明有注意性地提取环境拓扑图中的特征信息，利用多智能体强化学习框架进行策略学习，提升多机器人系统整体的协同性和任务执行效率。