-
公开(公告)号：CN118657216A
公开(公告)日：2024-09-17
申请号：CN202410699295.X
申请日：2024-05-31
Applicant: 山东大学 , 山东国数发展股份有限公司
Abstract: 本发明公开一种融合多模态信息和本体知识的机器人任务推理方法及系统，包括：构建本体知识库；获取语音信息、视觉信息和场景知识信息；根据视觉信息识别得到用户行为信息和用户与环境间的场景关系信息，并以此经信息筛选得到文本形式的视觉模态信息；根据语音信息识别得到文本形式的语音模态信息；根据场景知识信息通过查询本体知识库得到文本形式的场景知识模态信息；根据文本形式的语音模态信息、视觉模态信息和场景知识模态信息得到场景多模态融合信息，采用训练后的大语言模型生成服务任务，控制服务机器人执行相应动作，提高服务机器人的决策能力、执行能力与服务水平。
-
公开(公告)号：CN117011271A
公开(公告)日：2023-11-07
申请号：CN202310982807.9
申请日：2023-08-04
Applicant: 山东大学
Abstract: 本发明公开一种激光雷达点云物体检测方法及系统，包括：获取激光雷达三维点云，并进行干扰点云的滤除和缺失点云的补偿后，得到待分割点云，将待分割点云生成二维距离图像；设定角度约束；所述角度约束为二维距离图像中相邻两点的连线与雷达中心和相邻两点中距离雷达中心较远的点的连线所成的夹角不小于夹角阈值；设定距离约束；所述距离约束为二维距离图像中相邻两点间的距离不大于距离阈值；遍历二维距离图像中的点，判断相邻两点是否满足角度约束或距离约束，若满足任一约束，则将该相邻两点标记为同物体，否则为不同物体，由此得到物体分割结果。实现在稀疏点云数据下快速检测物体。
-
公开(公告)号：CN114973216A
公开(公告)日：2022-08-30
申请号：CN202210641240.4
申请日：2022-06-08
Applicant: 山东大学
Abstract: 本公开涉及异物检测技术领域，提出了一种多通道视觉信息融合的FOD检测方法及系统，方法包括：获取待检测图像，所述待检测图像包括灰度图像、激光散射亮度图像和深度图像；对激光散射亮度图像进行异物边缘提取，得到处理后的激光散射亮度图像；对深度图像进行边缘提取处理，得到深度图像的边缘图；将灰度图像、处理后的激光散射亮度图像和深度图像的边缘图分别作为三种颜色通道融合，得到多通道融合的异物图像；针对多通道融合的异物图像进行异物检测，得到异物的种类和位置。通过多通道融合，融合后的图像同时具有三个通道特征，异物边缘更加明显，克服了人眼目视检测的困难，提高了检测效率和可靠性。
-
公开(公告)号：CN114966742A
公开(公告)日：2022-08-30
申请号：CN202210535181.2
申请日：2022-05-17
Applicant: 山东大学
IPC: G01S17/931
Abstract: 本发明提供了一种面向酿造环境的天车三维障碍物检测方法，在适应酿酒厂天车的同时构建了大范围感知视野，对双激光雷达点云数据进行融合和预处理操作，并提出了一种基于分区多段动态阈值的径向有界最近邻聚类算法，用于酿造环境三维障碍物检测，解决了传统方法存在的过分割、欠分割和不适用于双激光雷达场景的问题，最终实现了酿造环境中三维障碍物的实时检测。
-
公开(公告)号：CN112454358A
公开(公告)日：2021-03-09
申请号：CN202011288651.7
申请日：2020-11-17
Applicant: 山东大学
Abstract: 本发明公开了一种结合心理安全以及运动预测的机械臂运动规划方法及系统，包括步骤：实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；根据得到头部和眼神的图像，预测人的手臂运动距离；根据预测的手臂运动优化机械臂运动轨迹；根据脸部表情调整机械臂运动速度和步长。本发明实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。
-
Patent Agency Ranking
公开(公告)号：CN108092859B
公开(公告)日：2021-02-02
申请号：CN201711241827.1
申请日：2017-11-30
Applicant: 山东大学
Abstract: 本发明公开了一种智能环境下家庭服务机器人系统及工作方法，所述智能环境包括公有云、私有云和智能设备。其中：所述公有云实现共享信息的交互与处理；所述私有云储存和处理用户的隐私信息；所述智能设备分布在家庭环境中，为用户和机器人提供服务和相关信息。所述家庭服务机器人系统包括等待模式、调度模式、执行模式和评估模式，所述家庭服务机器人的多种模式可以在工作时进行协同合作和自行转换。本发明的智能环境下家庭服务机器人系统在机器人“轻装上阵”的同时，还可以最大化降低自身的能量消耗，另外，本发明不仅具有强大的计算能力，还可以保证用户个人信息的安全性，可对用户实现提供更优质的服务。
-
公开(公告)号：CN110782483A
公开(公告)日：2020-02-11
申请号：CN201911012807.6
申请日：2019-10-23
Applicant: 山东大学
Abstract: 本公开公开了基于分布式相机网络的多视图多目标跟踪方法及系统，包括：获取分布式相机网络中的每台相机采集的当前帧视图；从所述当前帧视图中提取被检测目标的矩形边界框；利用预先训练好的卷积神经网络，从矩形边界框内部图像中提取被检测目标的视觉外观信息；将被检测目标在当前帧视图中的图像坐标转换为地面坐标；输出步骤：基于被检测目标的视觉外观信息和地面坐标构建数据关联矩阵；采用匈牙利算法对数据关联矩阵进行处理，输出当前帧视图内被检测目标与已知轨迹的匹配成功或匹配失败的结果。
-
公开(公告)号：CN106658023B
公开(公告)日：2019-12-03
申请号：CN201611191845.9
申请日：2016-12-21
Applicant: 山东大学
IPC: H04N19/503 , G01C22/00
Abstract: 本发明公开了一种基于深度学习的端到端视觉里程计及方法，包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。本发明采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联构成端到端的视觉里程计模块，再进一步深层次训练，优化参数。该层级化训练方法可以大幅降低训练时间，提高训练效率。
-
公开(公告)号：CN106127125B
公开(公告)日：2019-04-02
申请号：CN201610436818.7
申请日：2016-06-16
Applicant: 山东大学
Abstract: 本发明公开了基于人体行为特征的分布式DTW人体行为识别方法，基于人体行为特征的分布式DTW人体行为识别方法，包括以下步骤：获取当前帧人体行为特征并将其添加到人体行为特征时间序列中；利用动态时间规整算法DTW对当前观测人体行为特征序列与数据库模板中已学习的特定行为序列进行匹配，计算两者之间基于卡方距离的最佳匹配相似度；对该相似度取逆，经归一化后得到匹配概率；将每个传感器的动作模式匹配概率信息作为一致性信息量与相邻传感器数据交换，经过一致性迭代运算，最终相邻传感器节点的识别结果达成一致。本发明以实现精确的人体特定行为识别。
-
公开(公告)号：CN106780631A
公开(公告)日：2017-05-31
申请号：CN201710018162.1
申请日：2017-01-11
Applicant: 山东大学
Abstract: 本发明涉及一种基于深度学习的机器人闭环检测方法，包括(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1
-
-
-
-
-
-
-
-
-
Search Results
68
records
(took 0.063 seconds)
