一种语义通信人脸重建优化方法、系统

    公开(公告)号:CN116684636B

    公开(公告)日:2023-10-13

    申请号:CN202310966321.6

    申请日:2023-08-01

    摘要: 本发明提供了一种语义通信人脸重建优化方法、系统,涉及图像处理与计算机视觉技术领域。本发明实施例中,在传输过程中,针对参考帧(第一帧)传输其图像、运动关键点、以及轮廓关键点,针对驱动帧(第一帧后续其他帧)的传输只需要传输运动关键点,传输成本大幅降低,而人脸重建过程中,以参考帧图像的轮廓关键点作为轮廓约束,可以在少量增加传输信息的情况下,提高人脸重建的稳定性和准确度,缓解了生成人脸变形的问题。从而可以在低传输成本的前提下,稳定准确地完成人脸重建。解决了传统语义信息传输方法由于信息少,会导致目标重建效果差,失真的情况的问题。

    基于语义信息的可分层视频编码方法、装置及产品

    公开(公告)号:CN116723333A

    公开(公告)日:2023-09-08

    申请号:CN202310962038.6

    申请日:2023-08-02

    摘要: 本发明提供了一种基于语义信息的可分层视频编码方法、装置及产品,涉及视频编解码技术领域。本发明实施例中,背景层数据是针对视频流图像数据中的较为固定的背景进行编码得到的,在解码端可以利用先验知识合成图像数据的背景信息;语义单元层数据是针对视频流图像数据中变化的前景目标进行编码得到的,在接收端根据语义信息和先验知识恢复视频流图像数据中的前景目标内容,语义增强层数据是在前两层的基础上,通过计算真实视频和合成视频之间前景目标区域的差异得到的,在解码端对通过背景层数据和语义单元层数据合成的视频进行细节补充,解决了可分层视频编码由于分层的维度导致视频重建存在质量下降的问题。

    基于语义信息的可分层视频编码方法、装置及产品

    公开(公告)号:CN116723333B

    公开(公告)日:2023-10-31

    申请号:CN202310962038.6

    申请日:2023-08-02

    摘要: 本发明提供了一种基于语义信息的可分层视频编码方法、装置及产品,涉及视频编解码技术领域。本发明实施例中,背景层数据是针对视频流图像数据中的较为固定的背景进行编码得到的,在解码端可以利用先验知识合成图像数据的背景信息;语义单元层数据是针对视频流图像数据中变化的前景目标进行编码得到的,在接收端根据语义信息和先验知识恢复视频流图像数据中的前景目标内容,语义增强层数据是在前两层的基础上,通过计算真实视频和合成视频之间前景目标区域的差异得到的,在解码端对通过背景层数据和语义单元层数据合成的视频进行细节补充,解决了可分层视频编码由于分层的维度导致视频重建存在质量下降的问题。

    一种语义通信人脸重建优化方法、系统

    公开(公告)号:CN116684636A

    公开(公告)日:2023-09-01

    申请号:CN202310966321.6

    申请日:2023-08-01

    摘要: 本发明提供了一种语义通信人脸重建优化方法、系统,涉及图像处理与计算机视觉技术领域。本发明实施例中,在传输过程中,针对参考帧(第一帧)传输其图像、运动关键点、以及轮廓关键点,针对驱动帧(第一帧后续其他帧)的传输只需要传输运动关键点,传输成本大幅降低,而人脸重建过程中,以参考帧图像的轮廓关键点作为轮廓约束,可以在少量增加传输信息的情况下,提高人脸重建的稳定性和准确度,缓解了生成人脸变形的问题。从而可以在低传输成本的前提下,稳定准确地完成人脸重建。解决了传统语义信息传输方法由于信息少,会导致目标重建效果差,失真的情况的问题。

    基于语义编解码的低带宽人群场景安防监控方法及系统

    公开(公告)号:CN116708725B

    公开(公告)日:2023-10-31

    申请号:CN202310980716.1

    申请日:2023-08-07

    摘要: 本发明提供了一种基于语义编解码的低带宽人群场景安防监控方法及系统,涉及人工智能视频监控领域。本发明中,用户接口获取用户自定义信息,图像处理子系统获取针对人群的监控视频,并对监控视频中包括的连续多帧监控视频帧进行处理,将用户自定义信息作为指引信息,得到每一帧监控视频帧包括的目标对象的素描图和语义属性信息,并发送至图像重建子系统,按照预设周期发送监控视频帧包括的背景区域;图像重建子系统基于目标对象的素描图、语义属性信息和当前周期接收到的背景区域,重建监控视频帧。本发明采用语义编解码的方法,在传输和存储数据时有效压缩数据量,能够节省大量的带宽资源,降低传输成本,以在带宽受限的情况下实现高效的人群安防监控。

    一种基于语义通信的视频流媒体的QoE评估方法及装置

    公开(公告)号:CN116743609B

    公开(公告)日:2023-10-17

    申请号:CN202311013701.4

    申请日:2023-08-14

    摘要: 本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置,首先通过语义通信解码端解码进行视频重建,生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征,并确定其对应的基准QoE评分。同时,对重建视频流媒体中各个重建视频帧进行前景语义分析,得到对应的前景语义一致性表征,并比较相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量,得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑,根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估,使得结果更加真实、有效。

    一种基于语义通信的视频流媒体的QoE评估方法及装置

    公开(公告)号:CN116743609A

    公开(公告)日:2023-09-12

    申请号:CN202311013701.4

    申请日:2023-08-14

    摘要: 本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置,首先通过语义通信解码端解码进行视频重建,生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征,并确定其对应的基准QoE评分。同时,对重建视频流媒体中各个重建视频帧进行前景语义分析,得到对应的前景语义一致性表征,并比较相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量,得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑,根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估,使得结果更加真实、有效。