-
公开(公告)号：CN112651326A
公开(公告)日：2021-04-13
申请号：CN202011530576.0
申请日：2020-12-22
Applicant: 济南大学
Abstract: 本发明公开一种基于深度学习的驾驶员手部检测方法及系统，包括：获取手部标注图像；在深度学习网络模型的主干网络中每个特征层上添加注意力机制，在注意力机制后连接由空间金字塔池化层和金字塔注意力网络组成的残差单元；对手部标注图像依次经主干网络和残差单元进行自下而上和自上而下的特征提取，根据得到的特征图对深度学习网络模型进行训练；对待测手部图像根据训练后的深度学习网络模型得到驾驶员手部的位置。通过将注意力机制模块添加到YOLOv4中主干网络CSPDarknet53中，优化深度学习网络，降低复杂驾驶环境中光照、遮挡与自遮挡等对驾驶员手部检测的影响，提高驾驶员手部检测的准确性。
-
公开(公告)号：CN112099632A
公开(公告)日：2020-12-18
申请号：CN202010974163.5
申请日：2020-09-16
Applicant: 济南大学
Abstract: 本发明提供了一种面向助老陪护的人‑机器人协同交互方法，本发明通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。
-
公开(公告)号：CN112099630A
公开(公告)日：2020-12-18
申请号：CN202010958262.4
申请日：2020-09-11
Applicant: 济南大学
Abstract: 本发明公开一种多模态意图逆向主动融合的人机交互方法，包括：获取环境数据、用户的手势数据以及用户的语音数据；对所述环境数据进行场景感知获取环境信息，对所述手势数据进行手势信息提取获取手势意图，对所述语音数据进行语音信息提取获取语音意图；进行对环境信息、手势意图以及语音意图进行多模态意图提取获取融合意图；对所述融合意图进行信任度评价获取目标融合意图；按所述目标融合意图进行交互反馈。本发明融合意图结合环境时刻、手势数据、语音数据多模态提取而获得，使得意图识别更加准确；能够避免老年人因健忘而重复某一意图；通过主动问询的方式确认发生概率较低的融合意图是否用户本意，获取反映用户本意的目标融合意图。
-
Patent Agency Ranking
公开(公告)号：CN110077416B
公开(公告)日：2020-12-11
申请号：CN201910376543.6
申请日：2019-05-07
Applicant: 济南大学
IPC: B60W40/09
Abstract: 本公开提供了一种基于决策树的驾驶员意图分析方法及系统，本公开利用车载传感器采集驾驶员在实际驾驶过程中，车速、加速踏板的位移、制动踏板的位移、方向盘的转向角度以及距离路口的实时距离；然后，利用多流卷积神经网络检测驾驶员注视位置，并通过RGB摄像头获取驾驶员头部姿态信息；其次，对以上数据做相应标记后利用SVD降维筛选出关键特征；最后，使用决策树算法对以上采集到的数据进行分析得出驾驶员意图类型，以对汽车进行更好的控制。
-
公开(公告)号：CN110362210A
公开(公告)日：2019-10-22
申请号：CN201910670994.0
申请日：2019-07-24
Applicant: 济南大学
Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置，根据获取到眼动数据，进行注视点跟踪；根据获取的手势信息，进行手势的识别，对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络-长短期记忆网络模型，所述网络模型利用训练集进行自我学习；将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题，并利用深度学习算法的优势，以较高的准确率识别视频中操作人员的行为，完成虚拟装配任务，实现人机交互。
-
公开(公告)号：CN110286765A
公开(公告)日：2019-09-27
申请号：CN201910544619.1
申请日：2019-06-21
Applicant: 济南大学
Abstract: 本发明公开了一种智能实验容器及其使用方法，所述智能实验容器包括容器本体和控制模块，所述容器本体包括杯体，所述杯体外壁设置触摸传感器，所述杯体内侧设置摄像头、光源和流体物，所述摄像头和光源设置在杯体顶部，流体物设置在杯体底部；所述控制模块包括视觉模块、听觉模块、触觉模块和信息融合模块。通过信息融合模块处理获取的视觉、听觉或触觉信息，构建并执行完整的用户行为。本发明通过信息互补和信息独立两种融合策略，更加准确理解用户意图，实现自然的人机交互，可以及时纠正用户的错误操作，并通过语音合成模块引导其进行正确的实验操作。
-
公开(公告)号：CN110110662A
公开(公告)日：2019-08-09
申请号：CN201910375979.3
申请日：2019-05-07
Applicant: 济南大学
Abstract: 本公开提供了一种驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备，采集驾驶员驾驶视频；对视频进行分帧，识别出包括脸部和眼部的目标区域，截取目标区域并以图片的形式保存；构建双通道卷积神经网络，将眼部图片作为其中一个通道的输入，提取眼部特征；脸部图片作为另一个通道的输入，提取脸部特征；两个通道提取的特征经过两层全连接层进行融合并通过softmax函数得到最终识别结果，投入成本低且不需要复杂的模型参数，具有非常好的应用前景。
-
公开(公告)号：CN110077416A
公开(公告)日：2019-08-02
申请号：CN201910376543.6
申请日：2019-05-07
Applicant: 济南大学
IPC: B60W40/09
Abstract: 本公开提供了一种基于决策树的驾驶员意图分析方法及系统，本公开利用车载传感器采集驾驶员在实际驾驶过程中，车速、加速踏板的位移、制动踏板的位移、方向盘的转向角度以及距离路口的实时距离；然后，利用多流卷积神经网络检测驾驶员注视位置，并通过RGB摄像头获取驾驶员头部姿态信息；其次，对以上数据做相应标记后利用SVD降维筛选出关键特征；最后，使用决策树算法对以上采集到的数据进行分析得出驾驶员意图类型，以对汽车进行更好的控制。
-
-
-
-
-
-
-
Search Results
78
records
(took 0.023 seconds)
