公开(公告)号：CN117612142B

公开(公告)日：2024-07-12

申请号：CN202311520633.0

申请日：2023-11-14

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 贺晨 ,  刘营 ,  缪小然 ,  胡建峰 ,  赵广明 ,  周杰 ,  闵冰冰 ,  高宇蒙 ,  雅可 ,  赵作鹏

IPC分类号： G06V20/59 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于多任务联合模型的头部姿态与疲劳状态检测方法，包括以下步骤：在YOLOv6的基础上，设计基于聚集与分流机制的加强特征提取网络；在模型中增加融合大核注意力机制的头部姿态估计分支；对人脸数据集标注形成疲劳驾驶数据集；通过目标检测损失函数和头部姿态估计损失函数训练疲劳分神检测模型；将模型部署于车载终端设备，通过模型检测头部姿态和疲劳状态并输出信息；通过某一类别持续时间与设定阈值进行比较来判定是否处于疲劳状态或分神状态。本发明提高模型的泛化性能、鲁棒性、可靠性及检测精度、减少模型训练的时间和计算资源，提高驾驶员的安全性，减少驾驶中的疲劳分心行为，降低交通事故的发生率。

公开(公告)号：CN117528085B

公开(公告)日：2024-03-19

申请号：CN202410020281.0

申请日：2024-01-08

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 赵作鹏 ,  闵冰冰 ,  刘营 ,  高宇蒙 ,  缪小然 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  雅可 ,  胡帅 ,  唐婷

IPC分类号： H04N19/124 ,  H04N19/132 ,  H04N19/88 ,  H04N19/91 ,  G06T9/00 ,  G06V10/762 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

摘要： 本发明公开了一种基于智能特征聚类的视频压缩编码方法，包括以下步骤：步骤1、将视频进行预处理后利用深度学习模型对视频进行智能特征提取；步骤2、采用特征聚类算法对提取出的特征进行聚类，将相似或冗余的特征整合在一起，为后续编码提供更有效的数据结构；步骤3、对聚类后的特征集进行编码，通过视觉增强和数据压缩的联合制定来进行视频压缩；步骤4、在解码端，根据编码数据和聚类中心信息，恢复出原始的特征集；步骤5、利用深度学习模型的重建模块，根据解码后的特征集重建原始视频。本发明能够准确有效地进行特征提取和压缩编码，同时具有较高的压缩比和图像质量。

公开(公告)号：CN117612142A

公开(公告)日：2024-02-27

申请号：CN202311520633.0

申请日：2023-11-14

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 贺晨 ,  刘营 ,  缪小然 ,  胡建峰 ,  赵广明 ,  周杰 ,  闵冰冰 ,  高宇蒙 ,  雅可 ,  赵作鹏

IPC分类号： G06V20/59 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于多任务联合模型的头部姿态与疲劳状态检测方法，包括以下步骤：在YOLOv6的基础上，设计基于聚集与分流机制的加强特征提取网络；在模型中增加融合大核注意力机制的头部姿态估计分支；对人脸数据集标注形成疲劳驾驶数据集；通过目标检测损失函数和头部姿态估计损失函数训练疲劳分神检测模型；将模型部署于车载终端设备，通过模型检测头部姿态和疲劳状态并输出信息；通过某一类别持续时间与设定阈值进行比较来判定是否处于疲劳状态或分神状态。本发明提高模型的泛化性能、鲁棒性、可靠性及检测精度、减少模型训练的时间和计算资源，提高驾驶员的安全性，减少驾驶中的疲劳分心行为，降低交通事故的发生率。

公开(公告)号：CN117541865B

公开(公告)日：2024-06-04

申请号：CN202311517773.2

申请日：2023-11-14

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 贺晨 ,  刘营 ,  缪小然 ,  胡建峰 ,  赵广明 ,  周杰 ,  闵冰冰 ,  高宇蒙 ,  雅可 ,  赵作鹏

IPC分类号： G06V10/764 ,  G06V10/774 ,  G06V10/25 ,  G06N3/0464

摘要： 本发明公开了一种基于粗粒度深度估计的身份分析和手机使用检测方法，包括以下步骤：设计位置估计模型，准备数据集；将数据集输入位置估计模型中进行训练；通过训练后的模型检测车内人员和手机并输出检测信息，输出信息包括目标类别、检测框及深度信息；对于车内所有检测到的人员通过联合深度信息的粗粒度深度值和感兴趣区域的方法来判定身份；对于所有检测到的手机通过联合深度信息的粗粒度深度值和距离驾驶员检测框中心点的距离的方法来判定驾驶员是否使用手机。本发明可准确区分车内人员身份，判断驾驶员是否使用手机，满足对于驾驶人员行为不同的检测需求，有助于提高驾驶的安全性。

公开(公告)号：CN117541865A

公开(公告)日：2024-02-09

申请号：CN202311517773.2

申请日：2023-11-14

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 贺晨 ,  刘营 ,  缪小然 ,  胡建峰 ,  赵广明 ,  周杰 ,  闵冰冰 ,  高宇蒙 ,  雅可 ,  赵作鹏

IPC分类号： G06V10/764 ,  G06V10/774 ,  G06V10/25 ,  G06N3/0464

摘要： 本发明公开了一种基于粗粒度深度估计的身份分析和手机使用检测方法，包括以下步骤：设计位置估计模型，准备数据集；将数据集输入位置估计模型中进行训练；通过训练后的模型检测车内人员和手机并输出检测信息，输出信息包括目标类别、检测框及深度信息；对于车内所有检测到的人员通过联合深度信息的粗粒度深度值和感兴趣区域的方法来判定身份；对于所有检测到的手机通过联合深度信息的粗粒度深度值和距离驾驶员检测框中心点的距离的方法来判定驾驶员是否使用手机。本发明可准确区分车内人员身份，判断驾驶员是否使用手机，满足对于驾驶人员行为不同的检测需求，有助于提高驾驶的安全性。

公开(公告)号：CN117528085A

公开(公告)日：2024-02-06

申请号：CN202410020281.0

申请日：2024-01-08

申请人： 中国矿业大学 ,  燕园安全科技(徐州)有限公司

发明人： 赵作鹏 ,  闵冰冰 ,  刘营 ,  高宇蒙 ,  缪小然 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  雅可 ,  胡帅 ,  唐婷

IPC分类号： H04N19/124 ,  H04N19/132 ,  H04N19/88 ,  H04N19/91 ,  G06T9/00 ,  G06V10/762 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

摘要： 本发明公开了一种基于智能特征聚类的视频压缩编码方法，包括以下步骤：步骤1、将视频进行预处理后利用深度学习模型对视频进行智能特征提取；步骤2、采用特征聚类算法对提取出的特征进行聚类，将相似或冗余的特征整合在一起，为后续编码提供更有效的数据结构；步骤3、对聚类后的特征集进行编码，通过视觉增强和数据压缩的联合制定来进行视频压缩；步骤4、在解码端，根据编码数据和聚类中心信息，恢复出原始的特征集；步骤5、利用深度学习模型的重建模块，根据解码后的特征集重建原始视频。本发明能够准确有效地进行特征提取和压缩编码，同时具有较高的压缩比和图像质量。

公开(公告)号：CN116311161B

公开(公告)日：2024-09-17

申请号：CN202310214913.2

申请日：2023-03-08

申请人： 中国矿业大学

发明人： 赵作鹏 ,  赵广明 ,  贺晨 ,  周杰 ,  郝凯 ,  刘笑枫 ,  崔舒娅 ,  郑天赐 ,  徐俊杰

IPC分类号： G06V20/58 ,  G06V20/56 ,  G06V20/40 ,  G06V20/70 ,  G06V10/26 ,  G06V10/80 ,  G06V10/82

摘要： 本发明提供一种联合多任务模型的路面抛洒物检测方法，包括：步骤一：获取路面视频数据；步骤二：将视频帧输入多任务联合模型中得到路面掩码信息、干扰物掩码信息和位置信息；步骤三：对路面掩码信息进行解码，得到第一图像，对视频帧进行灰度处理，得到第二图像；步骤四：根据第一、第二图像提取抛洒物疑似区域；步骤五：从抛洒物疑似区域的连通域中确定最终抛洒物区域。本发明能够从复杂状态的路面上更加准确地提取路面抛洒物，将目标检测任务和语义分割任务联合训练为多任务联合模型，减小检测模型的体积和复杂度，更加合理地利用路面上各种干扰物类别的特征，优化后处理流程，最终准确识别抛洒物，不限抛洒物类别、形状、样式和尺寸等特征。

公开(公告)号：CN117520589B

公开(公告)日：2024-03-15

申请号：CN202410008193.9

申请日：2024-01-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  缪小然 ,  刘营 ,  高宇蒙 ,  闵冰冰 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  孙守都 ,  宋喷玉

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F16/383 ,  G06F16/332 ,  G06F18/2113 ,  G06F18/22 ,  G06V20/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种局部特征与全局特征融合的跨模态遥感图文检索方法，对输入图像进行全局特征提取和局部特征提取后，考虑全局特征与局部特征的差异，通过多级信息特征融合模块动态生成权重、并对两种特征进行加权以更好地表征图像；使用递归神经网络对文本信息进行建模以提取文本时间信息；计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；利用候选信息进行反向检索得到最终检索结果。本局部特征与全局特征融合的跨模态遥感图文检索方法能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。

公开(公告)号：CN117520589A

公开(公告)日：2024-02-06

申请号：CN202410008193.9

申请日：2024-01-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  缪小然 ,  刘营 ,  高宇蒙 ,  闵冰冰 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  孙守都 ,  宋喷玉

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F16/383 ,  G06F16/332 ,  G06F18/2113 ,  G06F18/22 ,  G06V20/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种局部特征与全局特征融合的跨模态遥感图文检索方法，对输入图像进行全局特征提取和局部特征提取后，考虑全局特征与局部特征的差异，通过多级信息特征融合模块动态生成权重、并对两种特征进行加权以更好地表征图像；使用递归神经网络对文本信息进行建模以提取文本时间信息；计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；利用候选信息进行反向检索得到最终检索结果。本局部特征与全局特征融合的跨模态遥感图文检索方法能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。

公开(公告)号：CN117115787A

公开(公告)日：2023-11-24

申请号：CN202311164658.1

申请日：2023-09-11

申请人： 中国矿业大学

发明人： 赵作鹏 ,  贺晨 ,  赵广明 ,  周杰 ,  闵冰冰 ,  缪小然 ,  胡建峰 ,  高宇蒙

IPC分类号： G06V20/59 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明适用于计算机视觉检测技术领域，提供了一种基于动态候选时间序列的端云协同疲劳驾驶检测方法，所述方法包括以下步骤：获取人像图像帧数据；根据位置估计模型对人像图像帧数据进行分析得到待检测图像；将待检测图像按照动态候选序列进行存储；根据疲劳分神检测模型对待检测图像处理得到检测结果；将检测结果上传至云端。本发明基于端云协同的方法，使疲劳驾驶行为可以在低算力端侧设备上进行实时检测，使用多任务模型减少对计算资源的占用，采用端云协同计算框架，降低端侧识别结果的误检率，最终可以在算力受限的情况，实时准确地检测疲劳驾驶行为。