发明公开
- 专利标题: 自适应视频语义通信的方法、装置、电子设备及存储介质
-
申请号: CN202311749610.7申请日: 2023-12-19
-
公开(公告)号: CN117834944A公开(公告)日: 2024-04-05
- 发明人: 李畅 , 陈美 , 马钰璐 , 倪俊峰 , 张新 , 王光宇
- 申请人: 号百信息服务有限公司
- 申请人地址: 上海市虹口区四川北路61号13-19楼
- 专利权人: 号百信息服务有限公司
- 当前专利权人: 号百信息服务有限公司
- 当前专利权人地址: 上海市虹口区四川北路61号13-19楼
- 代理机构: 上海浦科知识产权代理有限公司
- 代理商 武静
- 主分类号: H04N21/234
- IPC分类号: H04N21/234 ; H04N21/44 ; H04N21/4402 ; G06N3/0464 ; G06N3/092 ; G06N20/00
摘要:
本发明涉及一种自适应视频语义通信的方法、装置、电子设备及存储介质。自适应视频语义通信方法包括步骤:S1、视频数据预处理,以生成初始比特率的原始视频块;S2、视频帧提取,将提取的视频帧与初始比特率,输入语义编码器进行语义提取和编码;S3、视频语义提取与编码,采用基于Swin Transformer的多比特率语义编码器分析视频,提取语义信息进行编码,输出编码信息;S4、通信网络传输,基于Actor‑Critic的ABR算法依据网络状态动态调整传输速率,定义视频语义通信体验质量QoE判断传播质量,指导网络优化;S5、采用多比特率视频语义解码,保留语义信息同时减少帧质量损失;将重建的帧组合成视频。依据本发明的自适应比特率视频语义通信方法能保证低传输延迟和高准确性语义。