公开(公告)号：CN115345251A

公开(公告)日：2022-11-15

申请号：CN202211043167.7

申请日：2022-08-29

申请人： 中国矿业大学

发明人： 刘佰龙 ,  杨林 ,  张磊 ,  梁志贞 ,  邓宇帆 ,  胡浩

IPC分类号： G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 一种跨模态的露天矿卡车驾驶员身份自监督识别方法，属于轨迹数据挖掘技术领域。方法如下：获取露天矿卡车的GPS数据和OBD数据，进行预处理；将预处理后的GPS数据，经过路段语义嵌入模块，得到含有空间语义信息的路段序列；基于路段序列和预处理后的OBD数据，经过跨模态融合特征提取模块，并结合自监督，得到能够展现每个驾驶员独特驾驶风格的表示；基于驾驶员表示，经过驾驶员身份识别模块，得到驾驶员ID。该方法充分考虑空间语义信息对驾驶员操作的影响，提取GPS数据和OBD数据这两个模态中的信息提高表示质量，从而提高识别精度；以自监督的方式进行训练，解决有标签数据少导致的模型难以训练问题。

公开(公告)号：CN116189299A

公开(公告)日：2023-05-30

申请号：CN202310134511.1

申请日：2023-02-20

申请人： 中国矿业大学

发明人： 刘佰龙 ,  邓宇帆 ,  张磊 ,  梁志贞 ,  胡浩 ,  许昱林

IPC分类号： G06V40/20 ,  G06V20/52 ,  G06N3/082 ,  G06N3/0464

摘要： 本发明公开一种适用于边缘终端的煤矿井下人体动作识别方法，属于计算机图像识别领域。通过利用煤矿井下人体动作视频数据设计适用于低照度的轻量化动作识别模型，在边缘终端实现动作识别；首先利用数据采集和预处理模块对煤矿井下人员动作数据集的构建；然后利用动作分类模块实现动作视频特征的分类任务下海量参数网络模型的训练；其次利用情境网络剪枝模块实现适用于低照度视频数据的初步轻量化模型；最后通过示教模型蒸馏模块将初步轻量化模型进一步轻量化，将最终轻量化模型应用在边缘终端上其采用带恢复的剪枝技术，减少低照度对压缩的干扰；采用编码技术，优化存储；在保证识别率前提下，实现复杂模型的井下边缘终端部署。

公开(公告)号：CN115841080A

公开(公告)日：2023-03-24

申请号：CN202211631629.7

申请日：2022-12-19

申请人： 中国矿业大学

发明人： 张磊 ,  许昱林 ,  刘佰龙 ,  梁志贞 ,  邓宇帆 ,  胡浩

IPC分类号： G06F30/27 ,  G06Q10/0631 ,  G06Q10/083 ,  G06F119/02

摘要： 一种多视图动态时空语义嵌入的露天矿卡车运输时间预测方法，属于露天矿运输领域。对收集的露天矿卡车原始GPS轨迹数据进行预处理，形成网格化轨迹序列；将其经过速度特征提取模块和网格结构特征提取模块，提取网格化轨迹序列的速度特征和结构特征；将其经过语义信息嵌入模块，得到语义信息特征的嵌入表示；将网格化轨迹序列的速度特征、结构特征和语义信息特征通过情境时空嵌入提取模块，提取网格化轨迹序列的情境时空嵌入并训练模型。根据待预测的起止点，输入到训练好的预测模型，得到运输时间预测结果。优点：充分提取轨迹数据的动态时空信息以及利用速度和语义信息，提高了时间预测的精度，有助于露天矿卡车的调度，提高运输的效率。

公开(公告)号：CN116503947A

公开(公告)日：2023-07-28

申请号：CN202310502071.0

申请日：2023-05-06

申请人： 中国矿业大学

发明人： 张磊 ,  胡浩 ,  刘佰龙 ,  江海峰 ,  梁志贞 ,  侯萱

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/22 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/0895

摘要： 一种基于自监督学习的煤矿井下人员动作识别方法，属于视频识别领域。首先，对视频数据进行重采样；其次，将重采样后的视频数据处理成时空块序列；再次，将时空块序列经过掩码模块，得到原始时空块序列和掩码时空块序列；再次，将原始时空块序列输入到编码器组中，生成原始时空块序列的潜在表示并将生成的潜在表示和掩码时空块序列输入到解码器组中，得到重建后的视频片段，通过设计好的损失函数进行训练，得到预训练好的模型；最后将预训练好的模型经过微调模块，得到最终的动作识别模型。优点：采用自监督的方式进行训练，大大地降低了视频收集和标注的成本；对视频进行极高掩码比率的掩码操作，降低了模型训练的计算成本，提高了模型训练效率。

公开(公告)号：CN115984958A

公开(公告)日：2023-04-18

申请号：CN202211631477.0

申请日：2022-12-19

申请人： 中国矿业大学

发明人： 刘佰龙 ,  胡浩 ,  张磊 ,  梁志贞 ,  邓宇帆 ,  许昱林

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

摘要： 一种应用在低照度环境下的煤矿井下人员动作识别方法，属于视频识别领域。将煤矿井下低照度环境中人员作业的视频数据重采样后，经过风格转换模块，把低照度下的视频数据转换为正常光下的视频数据；再经过全局特征提取模块提取视频帧序列的全局时空特征；再经过目标检测模块检测视频中的人员，从视频帧序列中提取人员动作管道的特征表示；最后将管道特征分别经过回归模块和动作分类模块，计算每个管道的位置和属于每个动作的概率。优点：风格转换模块不需要成对的数据进行训练，降低了数据获取的难度；在目标检测模块中，将视频的目标检测转换为一组集合预测，不需要任何的先验知识和后续处理，实现端到端的检测视频中的人员。