公开(公告)号：CN115361520B

公开(公告)日：2025-04-08

申请号：CN202210888249.5

申请日：2022-07-27

Applicant: 南京大学

Inventor： 马展 ,  陈哲浩 ,  陆明 ,  陈浩

IPC: H04N7/15 ,  H04N19/124 ,  H04N19/42 ,  H04N19/517 ,  H04N19/91

Abstract: 本发明公开了一种基于二阶运动信息的超低码率视频会议压缩方法。该方法包括以下步骤：(1)从视频帧选取源帧和运动帧，并提取运动帧的稀疏运动特征；(2)对源帧编码压缩，运动帧的稀疏运动特征量化后做帧间残差得到一阶运动残差信息，进行熵编码；两路码流封装为数据包传输；(3)传输模拟丢包，判断是否出现丢包，出现则进行预测；(4)未丢包或完成预测，将数据包分为两部分；(5)对数据处理得到源帧及其稀疏运动特征、当前帧的稀疏运动特征，获得当前帧的遮挡掩膜及一阶光流信息；(6)重复步骤(1)至(5)两次，从第三帧开始用前两帧的光流信息平滑当前帧光流，最后用遮挡掩膜重绘光流扭曲结果。

公开(公告)号：CN119653088A

公开(公告)日：2025-03-18

申请号：CN202510181685.2

申请日：2025-02-19

Applicant: 南京大学

Inventor： 陆明 ,  罗权友 ,  陈思源 ,  沙宏伟 ,  马展

IPC: H04N19/13 ,  H04N19/132 ,  H04N19/18 ,  H04N19/137 ,  H04N19/625 ,  H04N19/42

Abstract: 本发明提出一种基于多尺度参考的JPEG无损重压缩方法，本发明方法包括：输入当前JPEG图像和参考JPEG图像，进行相应的处理，最终得到当前JPEG编码数据，并输出当前JPEG图像，所述相应的处理包括：下采样、上采样、条件编码、条件解码和特征对齐。本发明方法通过利用参考JPEG与当前JPEG的多尺度关联特性，实现多尺度条件编码，提升JPEG无损重压缩效率和质量。

公开(公告)号：CN114494472B

公开(公告)日：2025-03-07

申请号：CN202111676530.4

申请日：2021-12-31

Applicant: 江苏龙源振华海洋工程有限公司 ,  南京大学

Inventor： 曹春潼 ,  施惠庆 ,  陆明 ,  马展

IPC: G06T9/00 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于深度自注意力变换网络的图像压缩方法。该方法的具体步骤如下：S1，收集和整理规范的高清图像数据集，构建神经网络训练集、测试集和交叉验证集；S2，建立多层基于深度自注意力变换的神经网络，神经网络包括编码网络和解码网络，在编码网络和解码网络中均加入深度自注意力变换模块用于特征信息聚合；训练编码网络和解码网络；S3，将图像输入编码网络得到输出数据经过量化和熵编码得到压缩的码流；S4，通过与编码网络对称的解码网络重建恢复出压缩后的图像。本发明的图像压缩方法，与传统图像压缩方法BPG在大量测试图像上的同等比较中，可以在相同质量上平均节省20％左右的码率。

公开(公告)号：CN117218711A

公开(公告)日：2023-12-12

申请号：CN202311216536.2

申请日：2023-09-20

Applicant: 南京大学

Inventor： 陈浩 ,  孙明柳 ,  陆明 ,  马展

IPC: G06V40/18 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于图像显著性与用户交互的人眼注视点预测方法。该方法包括如下步骤：对采集到的用户与设备之间的交互信息进行分类并编码；将编码后的一维用户交互信息与画面帧的三维RGB数据进行拼接，组成四维数据，作为人眼注视点预测网络的输入；对采集到的用户注视点信息进行数据清洗，作为人眼注视点预测网络训练和测试的真值；构建人眼注视点预测网络，在图像显著性检测网络的基础上，加入用户交互信息通道；训练带有用户交互信息的人眼注视点预测网络，并实际部署进行预测性能验证。本发明在图像显著性区域检测的基础上，辅以用户的交互信息，能够显著提升人眼注视点的预测准确度，为后续码率分配、质量评价等视觉任务提供优化空间。

公开(公告)号：CN116939213A

公开(公告)日：2023-10-24

申请号：CN202310739391.8

申请日：2023-06-21

Applicant: 南京大学

Inventor： 马展 ,  董沐晨 ,  陆明

IPC: H04N19/167 ,  H04N19/124 ,  H04N19/13 ,  H04N19/65 ,  H04N19/154 ,  G06T9/00 ,  G06T3/40

Abstract: 本发明公开了一种在极低带宽条件下的卫星图像压缩方法。步骤如下：收集静态图像数据集；建立可变码率的图像编解码网络；训练编解码网络；在解码端嵌入生成对抗网络，并进行再次训练；在编解码器后嵌入超分网络，并再次训练；用户选择感兴趣区域，对选定区域进行压缩；解码端将码流还原成图像并显示；对用户未选定区域进行压缩；带宽富余时传输未选定区域，解码端拼接图像；进行超分辨率处理。本发明的图像传输方法，在极低带宽的限制下与JPEG等传统图像编码以及基于深度学习的图像编码方法在大量测试图片的同等比较中，可以在相同的码率下提供主观效果更佳的重建效果。

公开(公告)号：CN119450054A

公开(公告)日：2025-02-14

申请号：CN202411559835.0

申请日：2024-11-04

Applicant: 南京大学

Inventor： 陈浩 ,  顾柏文 ,  陆明 ,  马展

IPC: H04N19/147 ,  H04N19/587 ,  H04N19/59 ,  H04N19/172 ,  G06T9/00 ,  H04N19/42

Abstract: 本发明提供了基于率失真预测的深度视频编码器码率控制方法与系统，所述方法包括：步骤1、训练预测模块，步骤2、将视频帧输入预测模块得到预测点集，步骤3、根据预测点集拟合码率和质量模型，步骤4、通过码率控制算法得到帧级码率分配比例，步骤5、确定每一帧对应的编码参数，输入编码器进行编码。本发明首次直接利用神经网络和原始视频预测每一帧的码率模型和质量模型，而无需预先编码；将视频帧下采样到固定小分辨率后再输入神经网络，提升了效率并增强了泛化性；本发明首次在小组帧mini‑GOP级别实现码率控制。相比于已有的码率控制方法，本发明能够以更快的速度实现相当的码率控制精度和更细的码率控制颗粒度。

公开(公告)号：CN118400527A

公开(公告)日：2024-07-26

申请号：CN202410484423.9

申请日：2024-04-22

Applicant: 南京大学 ,  北京三星通信技术研究有限公司

Inventor： 陆明 ,  丛吾洋 ,  张驰 ,  马展 ,  王立众 ,  史为璟

IPC: H04N19/124 ,  G06V10/44 ,  G06V10/82 ,  G06N3/045 ,  G06N3/092 ,  H04N19/132 ,  H04N19/172 ,  H04N19/503

Abstract: 本发明提供了一种基于强化学习的自适应采样视频编码方法和装置，所述方法包括：步骤1，得到训练好的动作网络Actor；步骤2，将状态State输入到动作网络Actor，得到子图像组的合理的动作对决策；步骤3，单个子图像组编码时，将全部帧按照动作对决策进行下采样和量化参数偏移设置后，输入到编码器编码；步骤4，相邻的子图像组按照编码顺序送进编码器中；步骤5，进行后处理增强，按播放顺序组合输出全部帧。本发明方法添加到AVS3的标准参考软件HPM 15.3后，最终测试能够在AVS的CTC序列中在4K分辨率，1080p分辨率，720p分辨率可以分别获得9.69％，11.82％，11.99％的BD‑Rate增益。

公开(公告)号：CN116542853A

公开(公告)日：2023-08-04

申请号：CN202310484865.9

申请日：2023-04-28

Applicant: 南京大学

Inventor： 马展 ,  黄俊杰 ,  张驰 ,  陆明

IPC: G06T3/40 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06V10/52 ,  G06V10/75

Abstract: 本发明公开了一种基于参考池匹配的视频超分方法。该方法的步骤如下：收集并整理视频图像数据集，构建训练集和测试集；预处理高清参考帧和低清输入帧；建立特征提取网络，将经过预处理的高清参考帧和低清帧输入特征提取网络；初始化参考池，将由特征提取网络输出的高清参考帧的三个层次的特征作为参考池的初始特征；建立特征搜索匹配网络，将低清帧特征与参考池特征输入搜索匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；更新参考池；通过相关性感知融合网络，重建恢复图像。本发明通过利用注意力机制以及跨尺度特征融合，生成具有较好感知质量和丰富细节的逼真图像。

公开(公告)号：CN119629346A

公开(公告)日：2025-03-14

申请号：CN202411668324.2

申请日：2024-11-21

Applicant: 南京大学

Inventor： 陆明 ,  陈烛稼 ,  石峻奇 ,  马展

IPC: H04N19/124 ,  H04N19/146 ,  H04N19/91 ,  H04N19/119 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明提供了一种基于隐式神经表征模型的视频可变码率编码方法和装置。其方法包括：步骤1，构建并训练隐式神经表征模型；步骤2，根据指定的目标码率，利用训练好的隐式神经表征模型计算出可能的量化参数组合；步骤3，针对所有量化参数组合，计算量化灵敏度并选取最小量化灵敏度的组合进行校准；步骤4，利用熵编码器编码经校准后的模型参数。本发明通过调整量化参数而非重新训练模型的方式实现可变码率编码，极大降低了训练成本并提高了编码效率。

公开(公告)号：CN119172540A

公开(公告)日：2024-12-20

申请号：CN202411641118.2

申请日：2024-11-18

Applicant: 南京大学

Inventor： 陆明 ,  沙宏伟 ,  董沐晨 ,  罗权友 ,  陈浩 ,  马展

IPC: H04N19/124 ,  H04N19/184 ,  H04N19/91 ,  H04N19/42 ,  H04N19/44 ,  H04N7/20

Abstract: 本发明提供了一种针对不稳定卫星网络的抗丢失图像编码方法，包括以下步骤：步骤1，建立端到端的图像编解码网络；步骤2，在编码时，对编码器从图像中提取出来的潜在特征进行空间通道重排列，重排后的潜在特征再输入超先验编码器进行分布建模；步骤3，将组合特征输入解码器进行解码获得重建图像；步骤4,在图像编解码网络训练过程中，采用多种双尾部丢弃策略、通道随机遮盖策略并引入吉尔伯特‑艾略特丢包模型；步骤5，分组打包发送压缩后的超先验和潜在特征。本发明方法在实际网络评估中都具有良好的通用性，可防止渐进传输过程中的像素错误或颜色偏差。此外，本发明方法引入了可接受的计算复杂度，使其适用于现实应用。