-
公开(公告)号:CN110597382B
公开(公告)日:2023-03-17
申请号:CN201910729952.X
申请日:2019-08-08
Applicant: 中广核工程有限公司 , 深圳中广核工程设计有限公司 , 中国科学院深圳先进技术研究院
IPC: G06F3/01
Abstract: 本发明提供了一种核电站控制室多通道融合人机交互方法以及系统,该方法包括步骤:S1、选取核电站控制室典型的交互任务构建多种单一模态的交互方式;S2、根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数;S3、接收所述多通道交互参数进行数据融合处理,并从融合后的所述多通道交互参数中推理出用户表达意图;S4、将所述用户表达意图输出到应用程序以执行相应控制。该系统包括交互设备模块、数据采集模块、交互控制模块和输出模块。本发明提供的核电站控制室多通道融合人机交互方法以及系统,能够为用户提供安全、自然、高效的交互操作体验,降低了人因失效概率,提高了人机交互的可靠性。
-
公开(公告)号:CN110597382A
公开(公告)日:2019-12-20
申请号:CN201910729952.X
申请日:2019-08-08
Applicant: 中广核工程有限公司 , 深圳中广核工程设计有限公司 , 中国科学院深圳先进技术研究院
IPC: G06F3/01
Abstract: 本发明提供了一种核电站控制室多通道融合人机交互方法以及系统,该方法包括步骤:S1、选取核电站控制室典型的交互任务构建多种单一模态的交互方式;S2、根据用户当前状态选取适用的交互方式采集用户的交互操作获取多通道交互参数;S3、接收所述多通道交互参数进行数据融合处理,并从融合后的所述多通道交互参数中推理出用户表达意图;S4、将所述用户表达意图输出到应用程序以执行相应控制。该系统包括交互设备模块、数据采集模块、交互控制模块和输出模块。本发明提供的核电站控制室多通道融合人机交互方法以及系统,能够为用户提供安全、自然、高效的交互操作体验,降低了人因失效概率,提高了人机交互的可靠性。
-
公开(公告)号:CN112596603A
公开(公告)日:2021-04-02
申请号:CN202011260724.1
申请日:2020-11-12
Applicant: 中广核工程有限公司 , 深圳中广核工程设计有限公司 , 中国科学院深圳先进技术研究院
Abstract: 本发明公开了一种核电站控制系统的手势操控方法、装置、设备及存储介质,方法包括:获取包含待识别手势的深度图像以及待识别手势的深度范围;基于所述深度图像以及所述深度范围,得到待识别手势的轮廓曲线;根据所述轮廓曲线,提取所述待识别手势的特征;基于所述特征以及预设的手势识别算法进行计算,获取与所述待识别手势对应的控制指令;根据所述控制指令控制核电站控制系统的运行。本发明能够在核电站实现准确便捷的手势控制。
-
公开(公告)号:CN111192312B
公开(公告)日:2023-12-26
申请号:CN201911225113.0
申请日:2019-12-04
Applicant: 中广核工程有限公司 , 中国科学院深圳先进技术研究院
Abstract: 本发明属于图像处理领域,涉及一种基于深度学习的深度图像获取方法、装置、计算机设备及存储介质,所述方法包括:获取前后帧图像对,通过第一神经网络模型,对前后帧图像对进行光流特征提取,得到光流特征,再将光流特征和前后帧图像对输入到第二神经网络模型,进而采用第二神经网络模型,基于光流特征,从前后帧图像对中进行深度特征提取,并根据得到的深度特征,生成深度图像。本发明基于深度学习的深度图像获取方法实现了结合双帧图像的运动视差进行深度学习,来准确获取深度特征,提高了生成深度图像的精准度。
-
公开(公告)号:CN111192312A
公开(公告)日:2020-05-22
申请号:CN201911225113.0
申请日:2019-12-04
Applicant: 中广核工程有限公司 , 中国科学院深圳先进技术研究院
Abstract: 本发明属于图像处理领域,涉及一种基于深度学习的深度图像获取方法、装置、计算机设备及存储介质,所述方法包括:获取前后帧图像对,通过第一神经网络模型,对前后帧图像对进行光流特征提取,得到光流特征,再将光流特征和前后帧图像对输入到第二神经网络模型,进而采用第二神经网络模型,基于光流特征,从前后帧图像对中进行深度特征提取,并根据得到的深度特征,生成深度图像。本发明基于深度学习的深度图像获取方法实现了结合双帧图像的运动视差进行深度学习,来准确获取深度特征,提高了生成深度图像的精准度。
-
公开(公告)号:CN112116657B
公开(公告)日:2023-12-19
申请号:CN202010787859.7
申请日:2020-08-07
Applicant: 中国科学院深圳先进技术研究院
IPC: G06T7/73 , G06V20/56 , G06V20/70 , G06V10/82 , G06V10/26 , G06V10/44 , G06F16/583 , G06F16/51 , G06F16/29
Abstract: 本申请提供一种基于表检索的同时定位与建图方法和装置,方法通过获取用于进行同时定位与建图的关键图像帧,并对关键图像帧进行特征提取处理,获取第一特征;对第一特征进行语义检测,获取关键图像帧中各第一特征的语义信息;基于动态构建的语义表对关键图像帧中各第一特征的语义信息进行检索匹配,识别出关键图像帧中拍摄到的视为静态对象物体的第二特征;通过动态构建的语义表检索对第二特征进行数据关联/回环检测处理,基于关键图像帧生成对应的实时环境地图,动态构建的语义表用于记载在构建实时环境地图过程中从历史拍摄的关键图像帧中获得的所有第一特征的语义信息。该方法通过语义表检索快速获得建图地标,计算成本低,耗时少,实时性好。
-
公开(公告)号:CN117213515A
公开(公告)日:2023-12-12
申请号:CN202311170257.7
申请日:2023-09-11
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本申请涉及一种视觉SLAM路径规划方法、装置、电子设备以及存储介质。所述方法包括:获取当前场景的离线地图,所述当前场景的离线地图由SLAM算法预先构建;通过相机获取当前图像帧,对当前图像帧进行ORB特征点提取,并将ORB特征点与当前场景的离线地图进行匹配,得到所述相机的位姿信息;通过深度学习模型对所述当前图像帧进行目标点检测,并利用位姿变换计算得到目标点的位置坐标;以所述相机的位姿信息作为路径规划的起始点,以所述目标点的位置坐标作为路径规划的终点,使用路径规划算法在所述离线地图上进行路径规划。本申请实施例充分利用了离线地图的信息,能够较为准确地匹配特征点与地图点,得到较为准确的位姿信息。
-
公开(公告)号:CN114332573A
公开(公告)日:2022-04-12
申请号:CN202111557072.2
申请日:2021-12-18
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本发明涉及一种基于注意力机制的多模态信息融合识别方法及系统。该方法及系统首先对人体动作的RGB和depth视频帧序列进行压缩表示,生成整个视频的时空信息表示图;然后分别将RGB和depth的时空表示图输入双流深度卷积网络提取其高层语义特征;之后将这两种模态的特征输入注意力信息融合模块得到两个不同的多模态融合特征表示;最后将这两个多模态特征向量相加或拼接操作整合成一个特征向量,通过全连接层和softmax函数分类,得到待测视频中的所属动作类,能够有效地利用RGB和depth数据的互补信息,产生语义丰富的多模态特征表示,极大地提高人体动作识别的准确率和抗干扰能力。
-
公开(公告)号:CN116137072A
公开(公告)日:2023-05-19
申请号:CN202310191382.X
申请日:2023-02-22
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本发明公开了一种视频动作检测方法、终端及存储介质,采用深度优先遍历算法对待检测视频中待检测个体的骨架节点进行深度优先遍历,得到深度优先序列;选取待检测个体的其中一个骨架节点作为节点参考点,并基于节点参考点以及该待检测视频的骨架序列,确定在待检测视频的每帧图像中各骨架节点所对应的RGB值;将深度优先序列作为沿伪图像的高度方向各骨架节点的排序顺序,将骨架序列的时序方向作为伪图像的宽度方向,以及将每帧图像中各骨架节点所对应的RGB值作为伪图像的深度方向,以构建待检测视频中待检测个体的伪图像;基于伪图像,确定待检测视频中待检测个体的动作信息,以提高视频动作检测的准确度。
-
公开(公告)号:CN110866956A
公开(公告)日:2020-03-06
申请号:CN201911028907.8
申请日:2019-10-28
Applicant: 中国科学院深圳先进技术研究院
IPC: G06T7/80
Abstract: 本申请适用于计算机技术领域,提供了一种机器人标定方法及终端,包括:获取待标定机器人拍摄的第一图像;基于每个所述第一标定图像中的角点坐标、第一目标角点坐标、每个所述第一图像对应的相机内参,计算每个所述第一图像对应的相机外参;基于每个所述第一图像对应的相机外参,确定每个所述待标定机器人的标定数据。上述方式,终端获取待标定机器人拍摄标定设备得到的图像,并基于该图像中的角点坐标、目标角点坐标、相机内参,计算得到待标定机器人对应的相机外参,从而得到待标定机器人的标定数据。这种标定方法标定成本低、灵活性好、效率高、步骤简单,利于机器人标定。
-
-
-
-
-
-
-
-
-