一种双模态输入的中文唇语识别模型的方法

    公开(公告)号:CN117558062A

    公开(公告)日:2024-02-13

    申请号:CN202311477211.X

    申请日:2023-11-08

    摘要: 本发明基于深度学习网络与唇部视觉图像的结合,应用基于深度神经网络对唇部视觉图像特征的提取与解码分类,并且对于唇语识别,不强调设计某一个单一的输入序列,而是提出一种双模态输入的中文唇语识别模型,主要分为拼音预测模型和汉字预测模型,拼音预测模型的视觉特征解码主要采用Bi‑ConvLSTM,其中视觉特征信息的获取借助于三维卷积和改进的VGG‑19D网络,实现唇部图片序列与拼音序列的转换。汉字预测模型中的上下文信息向量来源于图片序列与拼音预测序列,信息向量的提取主要通过利用双重注意力机制的方法学习并与汉字序列相映射,将图片序列和预测的拼音序列识别为汉字序列。

    基于混合监督学习的探地雷达图像异常区域增强方法

    公开(公告)号:CN116563169A

    公开(公告)日:2023-08-08

    申请号:CN202310830951.0

    申请日:2023-07-07

    摘要: 本发明公开了一种基于混合监督学习的探地雷达图像异常区域增强方法,包括以下步骤:构建一包含真实图像集合、仿真图像集合和仿真图像标签集合的数据集;构造一混合监督双循环增强网络;采用半监督和无监督的方式交替训练网络得到模型;将一需要进行异常区域增强的雷达真实图像,输入训练好的模型中,输出一对异常区域增强后的图像。本发明克服了仿真图像与真实图像特征存在差异、无监督方法对真实图像信息利用效率低等问题,提升了增强网络对真实图像信息的利用效率,提高了增强网络在真实图像上的异常区域显著性增强泛化能力,从而有效增强探地雷达图像中的异常区域的显著性。

    基于混合监督学习的探地雷达图像异常区域增强方法

    公开(公告)号:CN116563169B

    公开(公告)日:2023-09-05

    申请号:CN202310830951.0

    申请日:2023-07-07

    摘要: 本发明公开了一种基于混合监督学习的探地雷达图像异常区域增强方法,包括以下步骤:构建一包含真实图像集合、仿真图像集合和仿真图像标签集合的数据集;构造一混合监督双循环增强网络;采用半监督和无监督的方式交替训练网络得到模型;将一需要进行异常区域增强的雷达真实图像,输入训练好的模型中,输出一对异常区域增强后的图像。本发明克服了仿真图像与真实图像特征存在差异、无监督方法对真实图像信息利用效率低等问题,提升了增强网络对真实图像信息的利用效率,提高了增强网络在真实图像上的异常区域显著性增强泛化能力,从而有效增强探地雷达图像中的异常区域的显著性。

    基于空间预学习与拟合的排水管网样本增量学习方法

    公开(公告)号:CN116306875B

    公开(公告)日:2023-08-01

    申请号:CN202310559996.9

    申请日:2023-05-18

    摘要: 本发明公开了一种基于空间预学习与拟合的排水管网样本增量学习方法,属于图像分类识别领域,包括(1)获取初始数据集,(2)训练得到能识别排水管网多种缺陷类别的初始模型,(3)为下次学习出现的未知新数据预分配空间,微调初始模型,(4)执行增量学习任务时,从数据集中选择部分训练数据,与上一模型的特征空间进行拟合,并同时为下一学习任务进行空间预分配。本发明通过提前为可能出现的新排水管网图像数据预分配空间,同时在新排水管网图像数据学习时进行新数据选择,并使其尽可能拟合预先分配的空间,使模型能避免新旧数据因特征差异大造成的模型整体识别性能下降,提升识别准确率。

    基于空间预学习与拟合的排水管网样本增量学习方法

    公开(公告)号:CN116306875A

    公开(公告)日:2023-06-23

    申请号:CN202310559996.9

    申请日:2023-05-18

    摘要: 本发明公开了一种基于空间预学习与拟合的排水管网样本增量学习方法,属于图像分类识别领域,包括(1)获取初始数据集,(2)训练得到能识别排水管网多种缺陷类别的初始模型,(3)为下次学习出现的未知新数据预分配空间,微调初始模型,(4)执行增量学习任务时,从数据集中选择部分训练数据,与上一模型的特征空间进行拟合,并同时为下一学习任务进行空间预分配。本发明通过提前为可能出现的新排水管网图像数据预分配空间,同时在新排水管网图像数据学习时进行新数据选择,并使其尽可能拟合预先分配的空间,使模型能避免新旧数据因特征差异大造成的模型整体识别性能下降,提升识别准确率。