一种基于混合现实的远程同步协作系统

    公开(公告)号:CN112667179B

    公开(公告)日:2023-03-28

    申请号:CN202011506524.X

    申请日:2020-12-18

    摘要: 本发明公开了一种基于混合现实的远程同步协作系统,能够实现本地端与远程端的实时同步协作。该系统包括远程专家端和本地用户端;本地用户端设置于工作环境中;本地用户端由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成;远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成。本发明通过深度相机解决工作环境下多名本地用户互相之间遮挡的问题,通过本地用户佩戴的增强现实头盔的相机实时更新本地工作环境信息,并且通过在虚拟环境中的处理,区分信息的时效性。远程专家可以在虚拟现实环境中发布建议和指令,这些信息通过增强现实头盔显示器显示在本地用户的视角中,以便直观的指导本地用户进行工作。

    一种基于混合现实的远程同步协作系统

    公开(公告)号:CN112667179A

    公开(公告)日:2021-04-16

    申请号:CN202011506524.X

    申请日:2020-12-18

    摘要: 本发明公开了一种基于混合现实的远程同步协作系统,能够实现本地端与远程端的实时同步协作。该系统包括远程专家端和本地用户端;本地用户端设置于工作环境中;本地用户端由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成;远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成。本发明通过深度相机解决工作环境下多名本地用户互相之间遮挡的问题,通过本地用户佩戴的增强现实头盔的相机实时更新本地工作环境信息,并且通过在虚拟环境中的处理,区分信息的时效性。远程专家可以在虚拟现实环境中发布建议和指令,这些信息通过增强现实头盔显示器显示在本地用户的视角中,以便直观的指导本地用户进行工作。

    一种虚拟现实场景中的基于手部指尖力反馈的输入系统

    公开(公告)号:CN110134230B

    公开(公告)日:2021-03-02

    申请号:CN201910270886.4

    申请日:2019-04-04

    IPC分类号: G06F3/01

    摘要: 本发明公开了一种虚拟现实场景中的基于手部指尖力反馈的输入系统,是一种快速高效的适用于移动场景的文本输入系统。为达到上述目的,本发明的技术方案为:该系统包括:指尖力反馈模块,用于获取用户指尖的状态信息发送至交互模块,还用于根据控制信息为用户指尖提供力反馈。交互模块,用于接收状态信息并发送至中央处理模块,还用于接收控制信息并回传给指尖力反馈模块。中央处理模块,根据状态信息计算输入信息,输入信息包括指尖的下压键值或者回弹键值;根据输入信息计算控制信息,控制信息包括指尖的下压反馈或者回弹反馈,将控制信息发送至交互模块,还用于根据输入信息生成输入信息图像,并将输入信息图像渲染到显示模块中。

    一种远程交互系统及方法

    公开(公告)号:CN112198957A

    公开(公告)日:2021-01-08

    申请号:CN202010884800.X

    申请日:2020-08-28

    摘要: 本发明公开了一种远程交互系统及方法,属于增强现实与虚拟现实技术领域。提供更加友好的交互方式,更具浸入式交互体验。实体机器人通过摄像设备采集得到本地场景视频和音频,通过本地计算端发送至远程端;实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。远程计算端与本地计算端通信,远程计算端一方面获取本地场景视频进行虚拟现实显示;另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息,发送至本地计算端;同时远程计算端还获取远程端用户的语发送至本地计算端。本地计算端在实体机器人位置处渲染对应远程端用户的虚拟化身、播放用户实时音频;本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

    用于移动设备的虚实融合键盘系统和方法

    公开(公告)号:CN111930225A

    公开(公告)日:2020-11-13

    申请号:CN202010598565.X

    申请日:2020-06-28

    摘要: 本发明公开了用于移动设备的虚实融合键盘系统和方法,属于虚拟现实技术领域。该方案数据处理量小,适用于移动设备的处理速度,且移动设备与虚拟现实显示设备分立设置,不影响用户舒适度。本发明的技术方案为:用于移动设备的虚实融合键盘系统,包括实体键盘、移动设备以及融合显示模块。移动设备具有视频捕捉模块和图像转化模块;移动设备固定在实体键盘的上方设定位置处,移动设备与实体键盘的位置关系为:实体键盘处于视频捕捉模块的视场范围内;图像转化模块,用于将视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像。融合显示模块,用于将键盘虚拟图像与虚拟环境进行虚实融合显示。

    一种基于编码器的VR头盔的转动延迟测量方法

    公开(公告)号:CN109696189B

    公开(公告)日:2020-10-23

    申请号:CN201811641131.2

    申请日:2018-12-29

    发明人: 翁冬冬 荀航 胡翔

    IPC分类号: G01D5/244 G01B11/26

    摘要: 本发明提供的一种基于编码器的VR头盔的转动延迟测量方法,采用转台带动VR头盔转动;将转台转动一圈均分为多个扇形区域,扇形区域依次赋予1和0的二进制编码值;VR头盔运动过程中,在每个扇形区域分割线处记录自身转动角度,VR头盔再次运动时,VR头盔感知到扇形区域分割线处角度时,根据扇形区域二进制编码对应的给VR头盔输入对应的黑白图像,并用光敏传感器感知黑白图像;根据编码输出的方波曲线和光敏传感器感知黑白图像时输出的方波曲线,即可获得VR头盔的延迟时间;该方法使得VR头盔中的黑白图样与光编码能够进行虚实配准,不再有早期方法中手动对齐波形带来的误差,使得数据的期望更接近于真实的延迟时间。

    一种基于头动以及手指微手势的文本输入系统及方法

    公开(公告)号:CN111782031A

    公开(公告)日:2020-10-16

    申请号:CN202010454752.0

    申请日:2020-05-26

    IPC分类号: G06F3/01 G06F3/023 G06F3/0487

    摘要: 本发明公开了一种基于头动以及手指微手势的文本输入系统及方法,是一种高效、准确、快速的适用于人工现实中移动场景输入的输入方式。本发明的技术方案为:头动跟踪模块用于跟踪获取用户的头动信息,送入信息处理模块。手势检测模块用于检测用户微手势,得到微手势输入信息,送入信息处理模块;微手势包括手指的点击和滑动动作。信息处理模块预先将待输入字符进行分组,每组字符对应一个字符区域;信息处理模块接收到头动信息之后,根据预先设定的头动信息与字符区域的对应关系选取字符区域;信息处理模块在接收到微手势输入信息之后,根据预先设定的微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果。显示模块,用于针对输入结果进行显示。

    一种听力障碍者的辅助对话系统
    8.
    发明公开

    公开(公告)号:CN111128180A

    公开(公告)日:2020-05-08

    申请号:CN201911159710.8

    申请日:2019-11-22

    IPC分类号: G10L15/26 G09B21/00 G01S5/18

    摘要: 本发明公开了一种听力障碍者的辅助对话系统,属于辅助设备技术领域,该辅助对话系统能够捕获不在视野中的声音信息,用户可以准确知道声音源的空间位置以及对应文本内容,能够避免信息遗漏,提高听力障碍者的交流效率。该系统包括声音获取单元、声音定位单元、文本转化单元以及显示单元。声音获取单元,用于捕获空间中的声音源发出的声音,生成音频。声音定位单元与声音获取单元相连,用于根据声音获取单元捕获的声音源发出的声音,定位声音源的空间位置。文本转化单元与声音获取单元相连,用于将音频转化为文本;显示单元与文本转化单元和声音定位单元相连,用于获取声音源的空间位置和文本,关联声音源的空间位置和文本,进行显示。

    一种基于渐变编码的VR头盔的移动延迟测量方法

    公开(公告)号:CN109765035A

    公开(公告)日:2019-05-17

    申请号:CN201811636676.4

    申请日:2018-12-29

    发明人: 翁冬冬 荀航 胡翔

    IPC分类号: G01M11/02

    摘要: 本发明公开了一种基于渐变编码的VR头盔的移动延迟测量方法,采用导轨带动VR头盔运动,光编码板由多个灰度渐变图案拼接而成,并对各块图案进行编码;通过光敏传感器获得灰度渐变图案的光强;VR头盔运动过程中解算图案分界处的自身位置;VR头盔再次运动时,在图案分界处给VR头盔输入对应的黑白图像,并用光敏传感器感知黑白图像;根据灰度渐变图案获得的方波曲线以及光敏传感器感知黑白图像时输出的方波曲线,即可获得VR头盔的延迟时间;该方法使得VR头盔中的黑白图样与VR头盔的灰度渐变图案编码能够进行虚实配准,不再有早期方法中手动对齐波形带来的误差。

    一种基于编码器的VR头盔的转动延迟测量方法

    公开(公告)号:CN109696189A

    公开(公告)日:2019-04-30

    申请号:CN201811641131.2

    申请日:2018-12-29

    发明人: 翁冬冬 荀航 胡翔

    IPC分类号: G01D5/244 G01B11/26

    摘要: 本发明提供的一种基于编码器的VR头盔的转动延迟测量方法,采用转台带动VR头盔转动;将转台转动一圈均分为多个扇形区域,扇形区域依次赋予1和0的二进制编码值;VR头盔运动过程中,在每个扇形区域分割线处记录自身转动角度,VR头盔再次运动时,VR头盔感知到扇形区域分割线处角度时,根据扇形区域二进制编码对应的给VR头盔输入对应的黑白图像,并用光敏传感器感知黑白图像;根据编码输出的方波曲线和光敏传感器感知黑白图像时输出的方波曲线,即可获得VR头盔的延迟时间;该方法使得VR头盔中的黑白图样与光编码能够进行虚实配准,不再有早期方法中手动对齐波形带来的误差,使得数据的期望更接近于真实的延迟时间。