基于立体视觉和手势控制的高空作业遥操作方法及系统

    公开(公告)号:CN111438673B

    公开(公告)日:2022-04-22

    申请号:CN202010213978.1

    申请日:2020-03-24

    IPC分类号: B25J3/00 B25J9/16 G06F3/01

    摘要: 本发明公开了一种基于立体视觉和手势控制的高空作业遥操作方法及系统,PC端接收双目立体相机采集的高空作业区域实景信息,并实时显示到可穿戴式立体显示器中;根据可穿戴式立体显示器显示的立体实景工况,进行手部操作并实时追踪手和手指的运动信息,将追踪的手和手指运动信息发送至PC端,经处理后转换成仿生机械手的运动指令;仿生机械手接收处理转换后的运动指令,进行相应随动以完成高空作业的遥操作。本发明通过立体视觉和手势控制相结合的遥操作方法和系统,可以保障高空作业人员的人身安全,提高遥操作时操作人员对现场实景的三维感知,同时增强遥操作的交互自然性和沉浸感。

    基于立体视觉和手势控制的高空作业遥操作方法及系统

    公开(公告)号:CN111438673A

    公开(公告)日:2020-07-24

    申请号:CN202010213978.1

    申请日:2020-03-24

    IPC分类号: B25J3/00 B25J9/16 G06F3/01

    摘要: 本发明公开了一种基于立体视觉和手势控制的高空作业遥操作方法及系统,PC端接收双目立体相机采集的高空作业区域实景信息,并实时显示到可穿戴式立体显示器中;根据可穿戴式立体显示器显示的立体实景工况,进行手部操作并实时追踪手和手指的运动信息,将追踪的手和手指运动信息发送至PC端,经处理后转换成仿生机械手的运动指令;仿生机械手接收处理转换后的运动指令,进行相应随动以完成高空作业的遥操作。本发明通过立体视觉和手势控制相结合的遥操作方法和系统,可以保障高空作业人员的人身安全,提高遥操作时操作人员对现场实景的三维感知,同时增强遥操作的交互自然性和沉浸感。

    一种辅助盲人感知的超声波触觉反馈系统及其方法

    公开(公告)号:CN110515459B

    公开(公告)日:2020-08-18

    申请号:CN201910775496.2

    申请日:2019-08-21

    IPC分类号: G06F3/01

    摘要: 本发明公开了一种辅助盲人感知的超声波触觉反馈系统及其方法,包括生成焦点时间序列的PC端;微控制器储存焦点信息;FPGA控制器完成焦点在不同单元坐标系下的转换;超声波相控阵控制由超声相控阵包围的腔中的声压分布,通过驱动信号对各单元超声波换能器的作用在空间形成多个触觉点或立体图形,实现静止且可自由触摸的空中虚拟盲文点;根据焦点坐标通过相位延迟的方式将发射调制的超声波聚焦在焦点处,使人获得触觉感知以表明当前手势任务已顺利完成;手部位置捕捉传感器捕捉到识别位置信息,PC端即发送下一组控制信号,完成信息的实时更新显示。本发明能够在空间形成静止的盲文信息,可快速改变,实时切换,盲人可以非接触式触摸感知。

    一种融合视触觉感知的超声波阵列交互方法及系统

    公开(公告)号:CN112214111B

    公开(公告)日:2021-11-19

    申请号:CN202011105839.3

    申请日:2020-10-15

    IPC分类号: G06F3/01

    摘要: 本发明公开了一种融合视触觉感知的超声波阵列交互方法及系统,采集手部位姿信息,对于手指,计算指尖坐标形成位置数组;对于手掌,计算掌心坐标及掌面法向量参数形成向量数组;若检测到手指,根据位置数组,基于距离选择激活超声波阵列;若检测到手掌,根据手指位置数组及手掌向量数组,基于方向性选择启动运动平台,当平台与手掌平行后激活相应的超声波阵列,并返回角度信息;采用经齐次坐标变换后的焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈,实时显示聚焦点、虚拟手及周围场景信息,完成视触觉融合感知。本发明针对手指和手掌提供多角度不同形式的触觉反馈,感受更加精细逼真,融合视觉感知,丰富交互体验,提高交互准确性。

    一种融合视触觉感知的超声波阵列交互方法及系统

    公开(公告)号:CN112214111A

    公开(公告)日:2021-01-12

    申请号:CN202011105839.3

    申请日:2020-10-15

    IPC分类号: G06F3/01

    摘要: 本发明公开了一种融合视触觉感知的超声波阵列交互方法及系统,采集手部位姿信息,对于手指,计算指尖坐标形成位置数组;对于手掌,计算掌心坐标及掌面法向量参数形成向量数组;若检测到手指,根据位置数组,基于距离选择激活超声波阵列;若检测到手掌,根据手指位置数组及手掌向量数组,基于方向性选择启动运动平台,当平台与手掌平行后激活相应的超声波阵列,并返回角度信息;采用经齐次坐标变换后的焦点信息驱动换能器发射超声波产生聚焦点形成触觉反馈,实时显示聚焦点、虚拟手及周围场景信息,完成视触觉融合感知。本发明针对手指和手掌提供多角度不同形式的触觉反馈,感受更加精细逼真,融合视觉感知,丰富交互体验,提高交互准确性。

    一种辅助盲人感知的超声波触觉反馈系统及其方法

    公开(公告)号:CN110515459A

    公开(公告)日:2019-11-29

    申请号:CN201910775496.2

    申请日:2019-08-21

    IPC分类号: G06F3/01

    摘要: 本发明公开了一种辅助盲人感知的超声波触觉反馈系统及其方法,包括生成焦点时间序列的PC端;微控制器储存焦点信息;FPGA控制器完成焦点在不同单元坐标系下的转换;超声波相控阵控制由超声相控阵包围的腔中的声压分布,通过驱动信号对各单元超声波换能器的作用在空间形成多个触觉点或立体图形,实现静止且可自由触摸的空中虚拟盲文点;根据焦点坐标通过相位延迟的方式将发射调制的超声波聚焦在焦点处,使人获得触觉感知以表明当前手势任务已顺利完成;手部位置捕捉传感器捕捉到识别位置信息,PC端即发送下一组控制信号,完成信息的实时更新显示。本发明能够在空间形成静止的盲文信息,可快速改变,实时切换,盲人可以非接触式触摸感知。