-
公开(公告)号:CN116634178B
公开(公告)日:2023-10-31
申请号:CN202310920194.6
申请日:2023-07-26
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04N19/70 , H04N19/146 , G06T9/00 , G06N3/0475 , G06N3/094
摘要: 本申请实施例公开了一种极低码率的安防场景监控视频编解码方法及系统,可以极大地降低对安防场景监控视频的传输码率。该极低码率的安防场景监控视频编码方法包括:获取安防场景监控视频中的第一非关键帧;对所述第一非关键帧进行前背景分离,得到第一目标物体所对应的第一前景图,所述第一目标物体为所述第一非关键帧所包含的目标物体;对所述第一前景图进行语义信息提取,得到所述第一目标物体所对应的第一语义信息;将所述第一语义信息编码传输至接收端,以使所述接收端根据所述第一语义信息、以及所述安防场景监控视频的关键帧的背景图,重建所述第一非关键帧。
-
公开(公告)号:CN116684636B
公开(公告)日:2023-10-13
申请号:CN202310966321.6
申请日:2023-08-01
申请人: 清华大学 , 中移(杭州)信息技术有限公司
摘要: 本发明提供了一种语义通信人脸重建优化方法、系统,涉及图像处理与计算机视觉技术领域。本发明实施例中,在传输过程中,针对参考帧(第一帧)传输其图像、运动关键点、以及轮廓关键点,针对驱动帧(第一帧后续其他帧)的传输只需要传输运动关键点,传输成本大幅降低,而人脸重建过程中,以参考帧图像的轮廓关键点作为轮廓约束,可以在少量增加传输信息的情况下,提高人脸重建的稳定性和准确度,缓解了生成人脸变形的问题。从而可以在低传输成本的前提下,稳定准确地完成人脸重建。解决了传统语义信息传输方法由于信息少,会导致目标重建效果差,失真的情况的问题。
-
公开(公告)号:CN116723333A
公开(公告)日:2023-09-08
申请号:CN202310962038.6
申请日:2023-08-02
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04N19/30 , H04N19/146 , H04N19/91
摘要: 本发明提供了一种基于语义信息的可分层视频编码方法、装置及产品,涉及视频编解码技术领域。本发明实施例中,背景层数据是针对视频流图像数据中的较为固定的背景进行编码得到的,在解码端可以利用先验知识合成图像数据的背景信息;语义单元层数据是针对视频流图像数据中变化的前景目标进行编码得到的,在接收端根据语义信息和先验知识恢复视频流图像数据中的前景目标内容,语义增强层数据是在前两层的基础上,通过计算真实视频和合成视频之间前景目标区域的差异得到的,在解码端对通过背景层数据和语义单元层数据合成的视频进行细节补充,解决了可分层视频编码由于分层的维度导致视频重建存在质量下降的问题。
-
公开(公告)号:CN116634178A
公开(公告)日:2023-08-22
申请号:CN202310920194.6
申请日:2023-07-26
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04N19/70 , H04N19/146 , G06T9/00 , G06N3/0475 , G06N3/094
摘要: 本申请实施例公开了一种极低码率的安防场景监控视频编解码方法及系统,可以极大地降低对安防场景监控视频的传输码率。该极低码率的安防场景监控视频编码方法包括:获取安防场景监控视频中的第一非关键帧;对所述第一非关键帧进行前背景分离,得到第一目标物体所对应的第一前景图,所述第一目标物体为所述第一非关键帧所包含的目标物体;对所述第一前景图进行语义信息提取,得到所述第一目标物体所对应的第一语义信息;将所述第一语义信息编码传输至接收端,以使所述接收端根据所述第一语义信息、以及所述安防场景监控视频的关键帧的背景图,重建所述第一非关键帧。
-
公开(公告)号:CN116723333B
公开(公告)日:2023-10-31
申请号:CN202310962038.6
申请日:2023-08-02
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04N19/30 , H04N19/146 , H04N19/91
摘要: 本发明提供了一种基于语义信息的可分层视频编码方法、装置及产品,涉及视频编解码技术领域。本发明实施例中,背景层数据是针对视频流图像数据中的较为固定的背景进行编码得到的,在解码端可以利用先验知识合成图像数据的背景信息;语义单元层数据是针对视频流图像数据中变化的前景目标进行编码得到的,在接收端根据语义信息和先验知识恢复视频流图像数据中的前景目标内容,语义增强层数据是在前两层的基础上,通过计算真实视频和合成视频之间前景目标区域的差异得到的,在解码端对通过背景层数据和语义单元层数据合成的视频进行细节补充,解决了可分层视频编码由于分层的维度导致视频重建存在质量下降的问题。
-
公开(公告)号:CN116684636A
公开(公告)日:2023-09-01
申请号:CN202310966321.6
申请日:2023-08-01
申请人: 清华大学 , 中移(杭州)信息技术有限公司
摘要: 本发明提供了一种语义通信人脸重建优化方法、系统,涉及图像处理与计算机视觉技术领域。本发明实施例中,在传输过程中,针对参考帧(第一帧)传输其图像、运动关键点、以及轮廓关键点,针对驱动帧(第一帧后续其他帧)的传输只需要传输运动关键点,传输成本大幅降低,而人脸重建过程中,以参考帧图像的轮廓关键点作为轮廓约束,可以在少量增加传输信息的情况下,提高人脸重建的稳定性和准确度,缓解了生成人脸变形的问题。从而可以在低传输成本的前提下,稳定准确地完成人脸重建。解决了传统语义信息传输方法由于信息少,会导致目标重建效果差,失真的情况的问题。
-
公开(公告)号:CN116708725B
公开(公告)日:2023-10-31
申请号:CN202310980716.1
申请日:2023-08-07
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04N7/18 , H04N19/42 , G06V20/52 , G06N3/0455 , G06N3/0475 , G06N3/08 , G06V10/80 , G06V10/82 , G06V20/40
摘要: 本发明提供了一种基于语义编解码的低带宽人群场景安防监控方法及系统,涉及人工智能视频监控领域。本发明中,用户接口获取用户自定义信息,图像处理子系统获取针对人群的监控视频,并对监控视频中包括的连续多帧监控视频帧进行处理,将用户自定义信息作为指引信息,得到每一帧监控视频帧包括的目标对象的素描图和语义属性信息,并发送至图像重建子系统,按照预设周期发送监控视频帧包括的背景区域;图像重建子系统基于目标对象的素描图、语义属性信息和当前周期接收到的背景区域,重建监控视频帧。本发明采用语义编解码的方法,在传输和存储数据时有效压缩数据量,能够节省大量的带宽资源,降低传输成本,以在带宽受限的情况下实现高效的人群安防监控。
-
公开(公告)号:CN116743609B
公开(公告)日:2023-10-17
申请号:CN202311013701.4
申请日:2023-08-14
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04L41/5067 , H04L41/5009 , H04N21/44 , H04N21/647
摘要: 本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置,首先通过语义通信解码端解码进行视频重建,生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征,并确定其对应的基准QoE评分。同时,对重建视频流媒体中各个重建视频帧进行前景语义分析,得到对应的前景语义一致性表征,并比较相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量,得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑,根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估,使得结果更加真实、有效。
-
公开(公告)号:CN116634110B
公开(公告)日:2023-10-13
申请号:CN202310904731.8
申请日:2023-07-24
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04N7/18 , G08B19/00 , H04N23/20 , H04N23/90 , G06V20/52 , G06N3/0464 , G06V10/143 , G06V10/56 , G06V10/80 , G06V10/82 , G06V20/40
摘要: 本申请提供了一种基于语义编解码的夜间智能养殖监控系统,涉及人工智能领域,包括:RGB摄像头,用于产生RGB视频流;红外摄像头,用于产生红外视频流;编解码子系统,用于对所述RGB视频流和所述红外视频流分别进行语义编解码,得到RGB视频图像和红外视频图像;异常检测子系统,用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测,得到入侵检测结果和烟火检测结果。通过将RGB摄像头与红外摄像头相结合,可以获得较好的监控画面;通过对视频流进行语义编码,有利于弱网环境下的视频传输;通过预先训练的异常检测网络对视频图像进行异常检测,实现多任务输出,能够及时发现监控环境中的异常情况。
-
公开(公告)号:CN116743609A
公开(公告)日:2023-09-12
申请号:CN202311013701.4
申请日:2023-08-14
申请人: 清华大学 , 中移(杭州)信息技术有限公司
IPC分类号: H04L41/5067 , H04L41/5009 , H04N21/44 , H04N21/647
摘要: 本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置,首先通过语义通信解码端解码进行视频重建,生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征,并确定其对应的基准QoE评分。同时,对重建视频流媒体中各个重建视频帧进行前景语义分析,得到对应的前景语义一致性表征,并比较相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量,得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑,根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估,使得结果更加真实、有效。
-
-
-
-
-
-
-
-
-