-
公开(公告)号：CN113689344A
公开(公告)日：2021-11-23
申请号：CN202110745105.X
申请日：2021-06-30
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于特征解耦学习的低曝光图像增强方法，使用正常曝光静脉图像和低曝光静脉图像训练特征解耦网络，迫使编码得到低曝光静脉图像的背景特征，再利用训练好的特征解耦网络和低曝光静脉图像训练图像增强网络，提取低曝光静脉图像的纹理特征，实现低曝光静脉图像的纹理特征和背景特征分离，并单独使用低曝光静脉图像的纹理特征重建增强的静脉图像。本发明提出一种基于特征解耦学习的低曝光图像增强方法，从两种图像的特点出发，引入对抗损失，将低曝光静脉图像纹理特征和背景分离，操纵特定的特征重建正常曝光的图像，对低曝光静脉图像实现有效增强。
-
公开(公告)号：CN113297955A
公开(公告)日：2021-08-24
申请号：CN202110559367.7
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于多模态分层级信息融合的手语词识别方法，该方法包括：以彩色视频、深度视频和骨骼节点视频三种模态的关键帧序列作为网络输入，构建一个双流I3D网络提取彩色视频和深度视频特征，通过特征拼接融合双模态语义特征，再使用LSTM构建长期时空特征，使用SoftMax进行分类评分；同时使用DST‑GCN网络提取骨骼节点视频的时空特征，再使用SoftMax进行分类评分；最终通过决策级融合方式将两个SoftMax层的预测分数进行融合，得到手语词识别结果。本发明所提出的基于多模态分层级信息融合的手语词识别方法，通过构建分层级融合策略，充分利用了多模态数据互补信息；通过构建DST‑GCN网络，增强了时空图卷积网络时间特征提取能力，进而提高了手语词识别的准确率。
-
公开(公告)号：CN113269702A
公开(公告)日：2021-08-17
申请号：CN202110559336.1
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于跨尺度特征融合的低曝光静脉图像增强方法，制作低曝光静脉图像数据集，构建跨尺度特征融合模块，基于通道注意力机制，采用残差结构构建静脉跨尺度融合残差块，若干个残差块首尾连接堆叠成静脉图像跨尺度融合模型，构建测试集，将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。本发明提出一种多尺度分支的跨尺度特征信息融合方法，充分利用了静脉图像不同尺度之间空间结构信息，增强了网络模型对于静脉纹络等细节信息的表征学习能力，提升了低曝光静脉图像的增强效果。
-
公开(公告)号：CN113269698A
公开(公告)日：2021-08-17
申请号：CN202110560691.0
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于Actor‑Critic模型的低曝光静脉图像增强方法，设计对比度，饱和度，白平衡，曝光和色调曲线函数滤波器，通过Actor‑Critic模型选取最优的一组图像滤波顺序和参数，并利用其对低曝光静脉图像进行滤波操作，输出每个滤波操作对应图像并提取细节信息，叠加到最后一层滤波器处理后的图像中，最终输出增强的静脉图像。本发明公开的基于Actor‑Critic的低曝光静脉图像增强模型，可以自动选择图像编辑滤波顺序和参数，实现低曝光静脉图像光照信息的恢复和对比度的增强，并且通过提取滤波处理过程中各滤波器输出图像的互补静脉细节信息，解决了全局图像处理造成的静脉细节丢失的问题，达到低曝光静脉图像增强的效果。
-
公开(公告)号：CN117853856B
公开(公告)日：2024-07-30
申请号：CN202410031296.7
申请日：2024-01-09
Applicant: 中国矿业大学
IPC: G06V10/80 , G06V10/774 , G06N3/0464 , G06V10/82 , G06N3/045 , G06V10/44 , G06V10/42
Abstract: 本发明公开了一种基于多模态图像融合的微光夜视场景理解方法，属于人工智能技术，根据层级多模态特征信息的特点，构建不同特征校准和特征聚合模块以增强多模态特征信息的联合表示学习；构建跨模态全局特征描述模块以减少模态间的信息差异，实现多模态特征信息的校准；构建多模态交错稀疏自注意力模块来保证浅层网络层中多模态空间特征信息的聚合；构建对称金字塔池化交叉注意力模块与多模态跨通道通信模块用于聚合深层特征的空间层信息和通道层信息。本发明能够充分利用多模态特征信息互补优势，避免单一模态信息导致微光夜视场景理解能力不足，能够在夜间城市道路自动驾驶和地下空间暗弱无人导航系统中应用。
-
Patent Agency Ranking
公开(公告)号：CN113609922B
公开(公告)日：2022-05-13
申请号：CN202110792080.9
申请日：2021-07-13
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于模态匹配的连续手语语句识别方法，将手语语句的彩色视频和光流图像序列的关键帧和目标词语片段序列作为输入，通过基于模态匹配的连续手语语句识别模型，将手语语句的彩色视频和光流图像序列的关键帧片段序列与语义匹配对齐，得到最终的语义序列。本发明公开了一种基于模态匹配的连续手语语句识别模型，用轻量的特征提取网络，减少其参数量，针对手语数据集进行任务特定性训练，在数据集中样本的标注较少的情况下对连续手语语句进行识别，减少了在传统手语识别方法中对人体姿势信息高度依赖的问题。
-
公开(公告)号：CN113297955B
公开(公告)日：2022-03-18
申请号：CN202110559367.7
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于多模态分层级信息融合的手语词识别方法，该方法包括：以彩色视频、深度视频和骨骼节点视频三种模态的关键帧序列作为网络输入，构建一个双流I3D网络提取彩色视频和深度视频特征，通过特征拼接融合双模态语义特征，再使用LSTM构建长期时空特征，使用SoftMax进行分类评分；同时使用DST‑GCN网络提取骨骼节点视频的时空特征，再使用SoftMax进行分类评分；最终通过决策级融合方式将两个SoftMax层的预测分数进行融合，得到手语词识别结果。本发明所提出的基于多模态分层级信息融合的手语词识别方法，通过构建分层级融合策略，充分利用了多模态数据互补信息；通过构建DST‑GCN网络，增强了时空图卷积网络时间特征提取能力，进而提高了手语词识别的准确率。
-
公开(公告)号：CN113391300B
公开(公告)日：2022-02-01
申请号：CN202110559368.1
申请日：2021-05-21
Applicant: 中国矿业大学
IPC: G01S7/497
Abstract: 本发明公开了一种基于IMU的激光雷达三维点云实时运动补偿方法，首先，对用于本发明方法实现的激光雷达及IMU进行时间轴同步与空间坐标系统一，并按照时间戳顺序对激光雷达三维点云数据及IMU数据分别进行排序；其次，提出一种基于数据块划分的激光雷达三维点云旋转补偿方法，根据IMU输出激光雷达三维点云数据时序对每帧激光雷达三维点云数据进行数据块划分，根据以上数据块划分思想求得每个数据点相对于帧尾的三轴旋转变换矩阵R，并对激光雷达三维点云数据进行三轴旋转补偿；最后，根据旋转补偿后的点云数据帧估计出点云帧间运动量T，并对点云数据进行平移补偿。与传统方法相比，本方法具有更高的实时性与鲁棒性。
-
公开(公告)号：CN113269698B
公开(公告)日：2022-01-04
申请号：CN202110560691.0
申请日：2021-05-21
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于Actor‑Critic模型的低曝光静脉图像增强方法，设计对比度，饱和度，白平衡，曝光和色调曲线函数滤波器，通过Actor‑Critic模型选取最优的一组图像滤波顺序和参数，并利用其对低曝光静脉图像进行滤波操作，输出每个滤波操作对应图像并提取细节信息，叠加到最后一层滤波器处理后的图像中，最终输出增强的静脉图像。本发明公开的基于Actor‑Critic的低曝光静脉图像增强模型，可以自动选择图像编辑滤波顺序和参数，实现低曝光静脉图像光照信息的恢复和对比度的增强，并且通过提取滤波处理过程中各滤波器输出图像的互补静脉细节信息，解决了全局图像处理造成的静脉细节丢失的问题，达到低曝光静脉图像增强的效果。
-
公开(公告)号：CN113609923A
公开(公告)日：2021-11-05
申请号：CN202110800098.9
申请日：2021-07-13
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于注意力的连续手语语句识别方法，首先，分别提取彩色视频和光流视频模态的关键帧手语视频的关键帧序列的时空特征，将提取到的时空特征输入构建的基于注意力的连续手语语句识别模型，该模型本质上是一个序列到序列模型：通过基于注意力的双模态编码网络得到两个模态的融合特征序列，并输入基于连接时序分类的解码网络，得到最终的语义序列。本发明通过利用序列到序列模型将手语序列转换到另一个语言序列，解决输出长度不确定的问题，改善输入与输出序列的不规则对齐问题。同时，在完成具有冗余信息的复杂任务时，使用注意力模型将注意力聚焦于视频特征的重要区域，对连续手语语句识别效果有显著的提升。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.022 seconds)
