公开(公告)号：CN118411306B

公开(公告)日：2024-09-24

申请号：CN202410888768.0

申请日：2024-07-04

申请人： 中国矿业大学

发明人： 赵作鹏 ,  高宇蒙 ,  胡建峰 ,  闵冰冰

IPC分类号： G06T5/70 ,  G06T5/60

摘要： 本发明涉及本发明涉及图像处理领域，具体公开了一种图像实时可控去噪方法、系统及计算机可读介质。图像实时可控去噪方法包括：通过主干网络生成多个固定级别的噪声特征图；将这些噪声特征图作为输入送入噪声去相关模块，强化其噪声分布的正交性；对得到的零相关噪声特征图进行简单的线性插值实现可控的去噪效果；自动调整模块给出一组最优的控制参数以生成最终的去噪图像。利用上述方法，在噪声去相关过程中加强了噪声特征图的正交性，从而通过噪声特征图插值实现任意噪声级别控制，且不需要网络推理,实现了图像去噪过程的实时性与可控性。

公开(公告)号：CN117560494B

公开(公告)日：2024-03-19

申请号：CN202410038681.4

申请日：2024-01-11

申请人： 中国矿业大学 ,  江苏比特达信息技术有限公司

发明人： 赵作鹏 ,  高宇蒙 ,  刘营 ,  闵冰冰 ,  缪小然 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  赵强 ,  芈欢

IPC分类号： H04N19/132 ,  H04N19/177 ,  H04N19/172

摘要： 一种用于矿下低质视频快速增强的编码方法，步骤：利用检测摄像头获取煤矿井下多种光线条件下的低照度和低清晰度视频流数据；对获取的视频流数据进行处理，截取出低照度场景视频，构建井下低质视频数据集；通过帧插值器接收两个参考帧并进行帧插值操作生成一个参考帧；确定Gop结构，利用I帧编码器和P帧编码器分别对I帧和P帧进行编码；将参考帧作为参考，通过当前P帧编码器对输入的B帧进行编码。本发明为现有的神经P帧编解码器增加B帧编码功能，大大提高了P帧编码器对低质视频的增强编码性能，且具有很强的灵活性和泛化性；实现了对Gop结构的全面分析，提高了整体编码效率；为煤矿安全管理提供科学数据支持，提高了安全管理水平。

公开(公告)号：CN117528085A

公开(公告)日：2024-02-06

申请号：CN202410020281.0

申请日：2024-01-08

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 赵作鹏 ,  闵冰冰 ,  刘营 ,  高宇蒙 ,  缪小然 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  雅可 ,  胡帅 ,  唐婷

IPC分类号： H04N19/124 ,  H04N19/132 ,  H04N19/88 ,  H04N19/91 ,  G06T9/00 ,  G06V10/762 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

摘要： 本发明公开了一种基于智能特征聚类的视频压缩编码方法，包括以下步骤：步骤1、将视频进行预处理后利用深度学习模型对视频进行智能特征提取；步骤2、采用特征聚类算法对提取出的特征进行聚类，将相似或冗余的特征整合在一起，为后续编码提供更有效的数据结构；步骤3、对聚类后的特征集进行编码，通过视觉增强和数据压缩的联合制定来进行视频压缩；步骤4、在解码端，根据编码数据和聚类中心信息，恢复出原始的特征集；步骤5、利用深度学习模型的重建模块，根据解码后的特征集重建原始视频。本发明能够准确有效地进行特征提取和压缩编码，同时具有较高的压缩比和图像质量。

公开(公告)号：CN117612142B

公开(公告)日：2024-07-12

申请号：CN202311520633.0

申请日：2023-11-14

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 贺晨 ,  刘营 ,  缪小然 ,  胡建峰 ,  赵广明 ,  周杰 ,  闵冰冰 ,  高宇蒙 ,  雅可 ,  赵作鹏

IPC分类号： G06V20/59 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于多任务联合模型的头部姿态与疲劳状态检测方法，包括以下步骤：在YOLOv6的基础上，设计基于聚集与分流机制的加强特征提取网络；在模型中增加融合大核注意力机制的头部姿态估计分支；对人脸数据集标注形成疲劳驾驶数据集；通过目标检测损失函数和头部姿态估计损失函数训练疲劳分神检测模型；将模型部署于车载终端设备，通过模型检测头部姿态和疲劳状态并输出信息；通过某一类别持续时间与设定阈值进行比较来判定是否处于疲劳状态或分神状态。本发明提高模型的泛化性能、鲁棒性、可靠性及检测精度、减少模型训练的时间和计算资源，提高驾驶员的安全性，减少驾驶中的疲劳分心行为，降低交通事故的发生率。

公开(公告)号：CN117528085B

公开(公告)日：2024-03-19

申请号：CN202410020281.0

申请日：2024-01-08

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 赵作鹏 ,  闵冰冰 ,  刘营 ,  高宇蒙 ,  缪小然 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  雅可 ,  胡帅 ,  唐婷

IPC分类号： H04N19/124 ,  H04N19/132 ,  H04N19/88 ,  H04N19/91 ,  G06T9/00 ,  G06V10/762 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

摘要： 本发明公开了一种基于智能特征聚类的视频压缩编码方法，包括以下步骤：步骤1、将视频进行预处理后利用深度学习模型对视频进行智能特征提取；步骤2、采用特征聚类算法对提取出的特征进行聚类，将相似或冗余的特征整合在一起，为后续编码提供更有效的数据结构；步骤3、对聚类后的特征集进行编码，通过视觉增强和数据压缩的联合制定来进行视频压缩；步骤4、在解码端，根据编码数据和聚类中心信息，恢复出原始的特征集；步骤5、利用深度学习模型的重建模块，根据解码后的特征集重建原始视频。本发明能够准确有效地进行特征提取和压缩编码，同时具有较高的压缩比和图像质量。

公开(公告)号：CN117520589B

公开(公告)日：2024-03-15

申请号：CN202410008193.9

申请日：2024-01-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  缪小然 ,  刘营 ,  高宇蒙 ,  闵冰冰 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  孙守都 ,  宋喷玉

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F16/383 ,  G06F16/332 ,  G06F18/2113 ,  G06F18/22 ,  G06V20/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种局部特征与全局特征融合的跨模态遥感图文检索方法，对输入图像进行全局特征提取和局部特征提取后，考虑全局特征与局部特征的差异，通过多级信息特征融合模块动态生成权重、并对两种特征进行加权以更好地表征图像；使用递归神经网络对文本信息进行建模以提取文本时间信息；计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；利用候选信息进行反向检索得到最终检索结果。本局部特征与全局特征融合的跨模态遥感图文检索方法能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。

公开(公告)号：CN117671589A

公开(公告)日：2024-03-08

申请号：CN202311652990.2

申请日：2023-12-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  闵冰冰 ,  高宇蒙 ,  缪小然 ,  胡建峰 ,  刘营 ,  雅可 ,  徐珊珊 ,  胡帅 ,  赵强 ,  亢永

IPC分类号： G06V20/52 ,  G06V10/44 ,  G06V10/80 ,  G06V10/766 ,  G06V10/764 ,  G06V10/82 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于新型视频分析方法的矿工排队秩序异常报警系统，涉及计算机视觉技术领域，通过视频监控系统获取矿工排队视频数据，提取排队图像并标注矿工排队数据集，进行深度学习模型的训练和验证。算法的核心在于改进YOLOv5模型的特征金字塔部分，设计出新型的BCrFPN，并引入动态标签分配策略，动态设置阈值，以更合理地评估候选样本的质量；通过计算人脸框与排队区域的相交面积并设置阈值，来准确判断矿工是否有序排队，输出预警结果，并上传井上监控平台，满足安全生产的实际要求。本发明针对煤矿井下特殊的生产环境，通过新的视频分析算法实现人员排队秩序异常报警，检测效率和可靠性高，实用性强，适用于煤矿安全生产管理。

公开(公告)号：CN117520589A

公开(公告)日：2024-02-06

申请号：CN202410008193.9

申请日：2024-01-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  缪小然 ,  刘营 ,  高宇蒙 ,  闵冰冰 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  孙守都 ,  宋喷玉

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F16/383 ,  G06F16/332 ,  G06F18/2113 ,  G06F18/22 ,  G06V20/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种局部特征与全局特征融合的跨模态遥感图文检索方法，对输入图像进行全局特征提取和局部特征提取后，考虑全局特征与局部特征的差异，通过多级信息特征融合模块动态生成权重、并对两种特征进行加权以更好地表征图像；使用递归神经网络对文本信息进行建模以提取文本时间信息；计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；利用候选信息进行反向检索得到最终检索结果。本局部特征与全局特征融合的跨模态遥感图文检索方法能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。

公开(公告)号：CN117115787A

公开(公告)日：2023-11-24

申请号：CN202311164658.1

申请日：2023-09-11

申请人： 中国矿业大学

发明人： 赵作鹏 ,  贺晨 ,  赵广明 ,  周杰 ,  闵冰冰 ,  缪小然 ,  胡建峰 ,  高宇蒙

IPC分类号： G06V20/59 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明适用于计算机视觉检测技术领域，提供了一种基于动态候选时间序列的端云协同疲劳驾驶检测方法，所述方法包括以下步骤：获取人像图像帧数据；根据位置估计模型对人像图像帧数据进行分析得到待检测图像；将待检测图像按照动态候选序列进行存储；根据疲劳分神检测模型对待检测图像处理得到检测结果；将检测结果上传至云端。本发明基于端云协同的方法，使疲劳驾驶行为可以在低算力端侧设备上进行实时检测，使用多任务模型减少对计算资源的占用，采用端云协同计算框架，降低端侧识别结果的误检率，最终可以在算力受限的情况，实时准确地检测疲劳驾驶行为。

公开(公告)号：CN118474377B

公开(公告)日：2024-09-24

申请号：CN202410926618.4

申请日：2024-07-11

申请人： 中国矿业大学

发明人： 赵作鹏 ,  高宇蒙 ,  刘营 ,  闵冰冰

IPC分类号： H04N19/172 ,  H04N19/52 ,  H04N19/42 ,  H04N19/43 ,  H04N19/44

摘要： 本发明涉及视频处理与编码技术领域，具体公开了一种支持多种计算复杂度的深度视频编解码方法。该深度视频解码方法包括：S1、在编码器一侧以输入帧和参考帧作为输入，进行运动估计；S2、通过运动压缩模块处理来自运动估计模块的运动信息，得到解码运动信息；S3、通过给定的参考帧与解码运动信息，执行运动补偿，生成预测帧；S4、通过残差压缩模块，根据输入帧和预测帧生成残差信息；S5、将重构后的残差信息添加回预测帧中，生成重构输出帧。利用上述方法，实现使用一个学习解码器而不是多个解码器，就能同时支持多种复杂度级别的效果，并且能够在性能下降可忽略不计的情况下提高其解码效率。