支持手工创作的MR鱼缸互动系统及方法

    公开(公告)号:CN116524155A

    公开(公告)日:2023-08-01

    申请号:CN202310384064.5

    申请日:2023-04-06

    申请人: 山东大学

    摘要: 本公开提供了一种支持手工创作的MR鱼缸互动系统及方法,包括:实时捕获用户所选择的颜色与轮廓信息,将其映射至对应的二维和三维虚拟形象;利用基于双眼视差的时分式立体渲染方法,将用户设计的虚拟形象立体出屏显示至鱼缸的前侧玻璃或鱼缸的内部空间中,生成混合现实的体验环境;获取与用户所设计的虚拟形象相匹配的实体形象;接收用户改造后的实体形象中的传感器数据,并基于所述传感器数据对混合现实鱼缸内的虚拟形象进行交互控制;基于用户真实的动作或语言特征对混合现实鱼缸中与用户关联的虚拟形象进行控制,使虚拟形象展现出与用户动作或语言特征相匹配的动作,不同用户以虚拟形象化身的方式在不同混合现实鱼缸之间进行互动。

    一种基于第一人称视角视频的动感数据生成方法及系统

    公开(公告)号:CN116206019A

    公开(公告)日:2023-06-02

    申请号:CN202310194720.5

    申请日:2023-02-27

    申请人: 山东大学

    摘要: 本发明提供了一种基于第一人称视角视频的动感数据生成方法及系统,获取视频图像信息,确定相机的内部参数;提取相邻视频帧图像的特征点,估计相机运动,根据所获图像特征判断相机是否回到了之前访问过的环境区域,建立回环约束;检测视频中镜头的抖动行为或静止行为,提供特殊效应生成的位置指令;根据不同时刻测量的相机位姿,以及回环检测的信息,对其进行优化,得到全局一致的相机运动轨迹数据;将生成的全局一致的相机运动轨迹数据映射到动感座椅的运动范围上作为主驱动信号,叠加特殊效应生成的位置指令,生成相应的动感数据。本发明处理效率高,且能够使用户在体验过程有更真实的体验。

    一种实现动作识别的智能视频教学方法及系统

    公开(公告)号:CN114581835A

    公开(公告)日:2022-06-03

    申请号:CN202210240218.9

    申请日:2022-03-10

    申请人: 山东大学

    摘要: 本发明提供了一种实现动作识别的智能视频教学方法及系统,包括:获取学习者的历史学习信息;基于学习者的历史学习信息,获取并播放学习视频;其中,在播放学习视频的过程中,实时获取学习者的身体关节点的位置,判断学习者肢体动作,基于学习者肢体动作控制所述学习视频的播放进度;同时,获取学习者的人脸彩色图像,基于学习者的人脸彩色图像,识别人脸彩色图像中的人脸关键点,基于人脸关键点计算左右眼睛闭合度均值和嘴部张角,基于人脸彩色图像计算头部转角,基于左右眼睛闭合度均值、嘴部张角和头部转角,更新视频播放内容。实现了线上教育中播放进度的肢体控制和播放内容的自主更新。

    一种层次化可视交互系统、方法、设备及介质

    公开(公告)号:CN113206910B

    公开(公告)日:2022-02-01

    申请号:CN202110494859.2

    申请日:2021-05-07

    申请人: 山东大学

    摘要: 本公开提供了一种基于变形Voronoi树图的层次化可视交互系统及方法,所述方案通过采用基于变形Voronoi树图的导航界面,将不同类型的数据以及相对应的数据操作嵌入到导航界面中,实现了搭载于双屏手机、折叠屏手机等双面设备、跨设备显示中的双面设备以及跨设备控制的双输出设备等设备的可视交互;同时,所述方案还支持三种不同类型的受众(普通用户、设计人员以及编程人员)分别对该导航界面的形态、元素风格以及结构进行修改并对导航界面进行实时更新。

    基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统

    公开(公告)号:CN113379800A

    公开(公告)日:2021-09-10

    申请号:CN202110655741.3

    申请日:2021-06-11

    申请人: 山东大学

    摘要: 本发明属于轨迹跟踪领域,提供了一种基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统。其中,该方法包括获取两个不同方向的鱼缸视图图像,追踪鱼在单个视图中的二维位置;对比真实鱼和倒影到鱼缸中心点的距离的远近剔除倒影;在考虑水折射的影响下结合两个视图中检测到鱼的二维位置,使用光线追踪的方法来计算鱼的三维位置;将鱼的身体拟合成椭圆,计算椭圆的短轴与水平线之间的角度,确定出两个视图中的鱼身体的旋转角度;结合基于鱼的三维位置和两个视图中的鱼身体的旋转角度,利用立体和投影之间的关系来计算鱼头的朝向。

    面向异形金属屏幕的多投影融合方法及系统

    公开(公告)号:CN112118435A

    公开(公告)日:2020-12-22

    申请号:CN202010772263.X

    申请日:2020-08-04

    申请人: 山东大学

    摘要: 本申请公开了面向异形金属屏幕的多投影融合方法及系统,包括:多台摄像机、多台投影仪、异形金属屏幕、Kinect和服务器;服务器根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像,计算投影仪物理像素坐标与幕布空间坐标之间的映射关系,同时输出阶梯图像;服务器根据阶梯图像和曝光拍摄数据,计算各个投影仪在不同拍摄机位上的亮度修正参数,根据各个投影仪在不同拍摄机位上的亮度修正参数,获取不同机位亮度融合数据图像;Kinect根据投影仪物理像素坐标与幕布空间坐标之间的映射关系,和不同机位亮度融合数据图像,实现最终的图像投影。

    基于自然行走的沉浸式远程交互系统及方法

    公开(公告)号:CN111716365A

    公开(公告)日:2020-09-29

    申请号:CN202010541806.7

    申请日:2020-06-15

    申请人: 山东大学

    摘要: 本公开公开了基于自然行走的沉浸式远程交互系统及方法,包括:机器人、服务器、位置跟踪设备和使用时佩戴在用户头部的头戴式虚拟现实设备;位置跟踪设备和头戴式虚拟现实设备处于同一个物理空间内,机器人和头戴式虚拟现实设备处于不同的物理空间内;根据用户的动作数据远程控制机器人的动作,同时,将机器人的动作通过服务器传输给头戴式虚拟现实设备,进而展示给用户,实现机器人与用户之间的交互。

    基于改进重定向行走的虚拟现实漫游系统与方法

    公开(公告)号:CN109885168B

    公开(公告)日:2020-05-19

    申请号:CN201910138317.4

    申请日:2019-02-25

    申请人: 山东大学

    IPC分类号: G06F3/01 G06T19/00

    摘要: 本公开提供了一种基于改进重定向行走的虚拟现实漫游系统及方法,输入虚拟空间平面图,采用基于Voronoi图的骨架图生成算法预先计算虚拟空间中用户可行骨架图;依据虚拟空间中骨架图,利用静态骨架图映射算法,建立虚拟空间中用户可行骨架图与物理空间中用户可行骨架图的映射关系;通过输入模块实时追踪用户在物理空间中的空间位置及方向,依据已建立的虚拟空间与物理空间之间的映射关系,利用位置逆映射算法及曲率增益重定向技术实时计算用户在虚拟空间中相应的空间位置及方向并通过渲染模块生成相应的用户视野画面。

    基于虚拟现实和多源信息融合的集成式交互系统

    公开(公告)号:CN110806803A

    公开(公告)日:2020-02-18

    申请号:CN201911061261.3

    申请日:2019-11-01

    申请人: 山东大学

    IPC分类号: G06F3/01 G06T19/00

    摘要: 本公开提供了、一种基于虚拟现实和多源信息融合的集成式交互系统,包括交互装置、心电监测设备和服务器,交互装置与服务器连接,被配置为提供虚拟场景和交互环境;心电监测设备采集佩戴者的心电数据,并传输给所述服务器;服务器,被配置为提供普通和VR两种环境下的交互式训练游戏、音频和视频的体验模式,提供相应的场景,以进行游戏或观赏,在训练过程中利用心电数据,实现对用户生理状态的实时监测,并形成报告,确定各场景下的用户状态,具有更加直观的视觉体验且具有更高的认知流畅性,可以提升用户的训练效能。