-
公开(公告)号:CN114967931A
公开(公告)日:2022-08-30
申请号:CN202210685011.2
申请日:2022-06-14
申请人: 咪咕视讯科技有限公司 , 咪咕文化科技有限公司 , 中国移动通信集团有限公司 , 西安交通大学
摘要: 本申请公开了一种虚拟对象的运动控制方法、装置及可读存储介质,涉及信息交互技术领域,以解决现有混合现实的呈现效果较差的问题。该方法包括:获取用户的注视方向数据;根据所述注视方向数据,确定用户的虚拟对象模型的目标部位的运动方向数据,其中,所述目标部位包括眼部、头部和身体中的至少一项;根据所述运动方向数据,控制所述虚拟对象模型的所述目标部位运动。本申请实施例通过获取用户的注视方向来还原用户的眼部转动动作,进而控制用户的虚拟对象模型的目标部位如眼部、头部或身体模拟用户注视方向运动,该方法能在混合现实环境中构建生动逼真的虚拟替身,为使用者带来身临其境的交互体验,从而提高混合现实的呈现效果。
-
公开(公告)号:CN115037962B
公开(公告)日:2024-03-12
申请号:CN202210609323.5
申请日:2022-05-31
申请人: 咪咕视讯科技有限公司 , 咪咕文化科技有限公司 , 中国移动通信集团有限公司 , 西安交通大学
IPC分类号: H04N21/234 , H04N21/2343 , H04N21/258
摘要: 本发明公开了一种视频自适应传输方法、装置、终端设备以及存储介质,通过获取全景视频数据;基于预先得到的用户视角预测结果进行自适应决策,得到决策结果,根据所述决策结果调整所述全景视频数据,得到视频内容,并将所述视频内容及所述决策结果发送至播放器,以供所述播放器根据所述决策结果确定是否对所述视频内容进行视频重建,得到目标视频。通过预先对视频数据进行用户视角预测,可以长效准确地识别用户偏好,通过基于用户视角预测结果对视频数据进行自适应决策,根据决策结果调整全景视频数据得到视频内容,并将视频内容及决策结果发送至播放器,可以在适应带宽资源的同时提高视频质量,从而改善了用户对全景视频的沉浸式观看体验。
-
公开(公告)号:CN115022546B
公开(公告)日:2023-11-14
申请号:CN202210639380.8
申请日:2022-05-31
申请人: 咪咕视讯科技有限公司 , 咪咕文化科技有限公司 , 中国移动通信集团有限公司 , 西安交通大学
IPC分类号: H04N23/698 , H04N21/2662 , H04L65/80
摘要: 本发明公开了一种全景视频传输方法、装置、终端设备以及存储介质,属于视频传输领域。所述全景视频传输方法包括:获取用户视角信息;根据所述用户视角信息,通过预先创建的用户视角预测模型对用户视角进行预测,得到预测结果;基于所述预测结果,为待传输的全景视频的切片数据分配传输优先级和传输码率;通过多路复用优先级调度策略,按照所述传输优先级和传输码率,将所述待传输的全景视频的切片数据传输到客户端。本发明通过使用多路复用优先级调度策略配合全景视频的视角预测,使得高传输优先级的数据以更高的码率传输,改善了全景视频的传输效果。
-
公开(公告)号:CN115037962A
公开(公告)日:2022-09-09
申请号:CN202210609323.5
申请日:2022-05-31
申请人: 咪咕视讯科技有限公司 , 咪咕文化科技有限公司 , 中国移动通信集团有限公司 , 西安交通大学
IPC分类号: H04N21/234 , H04N21/2343 , H04N21/258
摘要: 本发明公开了一种视频自适应传输方法、装置、终端设备以及存储介质,通过获取全景视频数据;基于预先得到的用户视角预测结果进行自适应决策,得到决策结果,根据所述决策结果调整所述全景视频数据,得到视频内容,并将所述视频内容及所述决策结果发送至播放器,以供所述播放器根据所述决策结果确定是否对所述视频内容进行视频重建,得到目标视频。通过预先对视频数据进行用户视角预测,可以长效准确地识别用户偏好,通过基于用户视角预测结果对视频数据进行自适应决策,根据决策结果调整全景视频数据得到视频内容,并将视频内容及决策结果发送至播放器,可以在适应带宽资源的同时提高视频质量,从而改善了用户对全景视频的沉浸式观看体验。
-
公开(公告)号:CN115022546A
公开(公告)日:2022-09-06
申请号:CN202210639380.8
申请日:2022-05-31
申请人: 咪咕视讯科技有限公司 , 咪咕文化科技有限公司 , 中国移动通信集团有限公司 , 西安交通大学
IPC分类号: H04N5/232 , H04N21/2662 , H04L65/80
摘要: 本发明公开了一种全景视频传输方法、装置、终端设备以及存储介质,属于视频传输领域。所述全景视频传输方法包括:获取用户视角信息;根据所述用户视角信息,通过预先创建的用户视角预测模型对用户视角进行预测,得到预测结果;基于所述预测结果,为待传输的全景视频的切片数据分配传输优先级和传输码率;通过多路复用优先级调度策略,按照所述传输优先级和传输码率,将所述待传输的全景视频的切片数据传输到客户端。本发明通过使用多路复用优先级调度策略配合全景视频的视角预测,使得高传输优先级的数据以更高的码率传输,改善了全景视频的传输效果。
-
公开(公告)号:CN115022684B
公开(公告)日:2023-08-04
申请号:CN202210586839.2
申请日:2022-05-27
申请人: 西安交通大学
IPC分类号: H04N21/24 , H04N21/2662 , H04L65/1069 , H04L65/80 , H04L67/06 , G06N3/0464 , G06N3/092
摘要: 一种QUIC协议下基于深度强化学习的视频流自适应传输方法,结合基于门控循环单元(GRU)和卷积(CNN)的神经网络建立网络轨迹特征的提取模型,利用注意力机制学习不同特征对带宽的影响,预测未来时刻带宽信息;将预测的带宽信息作为码率决策的状态输入,建立QoE奖励模型,采用PPO算法训练强化学习网络,决策最优码率;客户端根据码率自适应决策模块的反馈结果将相应视频下载并播放,实现QUIC下的视频流自适应传输框架。本发明能够保证在QUIC协议下,带宽预测模块能够充分提取网络状态信息,实现长窗口的带宽预测,为码率自适应决策提供有效输入,达到充分利用带宽资源的目的,有效提升用户观看体验质量。
-
公开(公告)号:CN115022684A
公开(公告)日:2022-09-06
申请号:CN202210586839.2
申请日:2022-05-27
申请人: 西安交通大学
IPC分类号: H04N21/24 , H04N21/2662 , H04L65/1069 , H04L65/80 , H04L67/06 , G06N3/04 , G06N3/08
摘要: 一种QUIC协议下基于深度强化学习的视频流自适应传输方法,结合基于门控循环单元(GRU)和卷积(CNN)的神经网络建立网络轨迹特征的提取模型,利用注意力机制学习不同特征对带宽的影响,预测未来时刻带宽信息;将预测的带宽信息作为码率决策的状态输入,建立QoE奖励模型,采用PPO算法训练强化学习网络,决策最优码率;客户端根据码率自适应决策模块的反馈结果将相应视频下载并播放,实现QUIC下的视频流自适应传输框架。本发明能够保证在QUIC协议下,带宽预测模块能够充分提取网络状态信息,实现长窗口的带宽预测,为码率自适应决策提供有效输入,达到充分利用带宽资源的目的,有效提升用户观看体验质量。
-
-
-
-
-
-