-
公开(公告)号:CN114168784B
公开(公告)日:2024-11-01
申请号:CN202111511008.0
申请日:2021-12-10
Applicant: 桂林电子科技大学
IPC: G06F16/583 , G06F16/33 , G06N3/045 , G06N3/0475 , G06N3/048 , G06N3/094 , G06N3/084
Abstract: 本发明公开了一种分层监督跨模态图文检索方法,所述的方法包括步骤如下:S1:构建用于提取图像特征和文本特征的特征提取网络;S2:利用特征提取网络提取图像和文本特征,分别得到图像和文本的初步高维特征值;S3:构建模态对抗网络,将图像和文本的初步高维特征值输入模态对抗网络进行对抗学习,使得含有相同语义的不同模态在公共空间中的距离最近;S4:构建哈希码生成网络,并利用哈希码生成网络约束特征提取网络的最后一层全连接层,使得通过最后一层全连接层的图像和文本的初步高维特征值,生成最优哈希码,实现对跨模态数据检索。本发明能实现对具有分层监督跨模态数据的检索,提升跨模态检索效率。
-
公开(公告)号:CN118747226A
公开(公告)日:2024-10-08
申请号:CN202410889007.7
申请日:2024-07-04
Applicant: 桂林电子科技大学
IPC: G06F16/532 , G06F16/583 , G06V10/40 , G06F18/213 , G06F18/22 , G06F16/332 , G06F16/383
Abstract: 本发明公开了一种目标级跨模态图文检索方法及存储介质,所述方法构建了图像‑目标信息成对数据,并在特征提取过程中将目标的位置信息集成到文本标题特征中,有效学习了图像中目标和文本的关联关系,提升了图文检索的准确性和可解释性;通过将跨模态鸿沟分布添加到图像特征中并结合鸿沟余弦损失函数最大化图像特征和目标特征的相似性,解决了图文数据的模态鸿沟问题;利用二次训练模块对错误检索数据进一步训练,获得训练完备的一种目标级跨模态图文检索模型,进一步提升了模型的性能。
-
公开(公告)号:CN114861601B
公开(公告)日:2024-04-12
申请号:CN202210473365.0
申请日:2022-04-29
Applicant: 桂林电子科技大学 , 中国电子科技集团公司第五十四研究所
IPC: G06F40/126 , G06F40/289 , G06F40/30 , G06N3/045 , G06N3/0442 , G06N3/094
Abstract: 本发明公开了一种基于旋转式编码的事件联合抽取方法,所述方法使用了融合旋转式编码的BERT模型解决文本过长无法全部放入预训练模型提取特征的手段;以及使用了加入自注意力机制的BiLSTM捕获相关的时序特征和上下文关系,从多角度获得文本中字符间关联权重表示来更准确地关注句子中的重要字符或单词,丰富文本的语义信息的手段;还有在模型训练过程中通过对抗训练加入扰动提升文本语义多样性,提高模型的鲁棒性和泛化能力的手段;通过上述三个方面提高了事件抽取的准确率和召回率。
-
公开(公告)号:CN117854108A
公开(公告)日:2024-04-09
申请号:CN202410024047.5
申请日:2024-01-08
Applicant: 桂林电子科技大学
IPC: G06V40/10 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种轻量化可实现多人全身关键点的检测方法以及装置,包括如下步骤:从MPII人体姿态数据集中获取脸部关键点、手部关键点以及脚部关键点的预测坐标,并将所述预测坐标与身体关键点坐标相结合形成真实标签,利用上述标记好的个人数据形成全身关键点检测数据集;将残差50卷积块注意力网络的前22层设计为全身关键点检测网络的主干网络,使其与N个轻量级强大的关键点检测子网络相结合形成全身关键点检测网络;然后将上述检测网络在所述全身关键点检测数据集上进行训练,并使用两种损失函数标签损失和蒸馏损失进行辅助训练,训练后的模型部署后进行实时检测和识别。本发明的检测方法具有高准确度、低参数量的检测性能。
-
公开(公告)号:CN114925252B
公开(公告)日:2024-03-19
申请号:CN202210605798.7
申请日:2022-05-31
Applicant: 桂林电子科技大学
IPC: G06F16/9035 , G06F16/901 , B25J11/00
Abstract: 本发明公开了一种基于邻域的笔画推荐方法中的笔画推荐方法,包括按照传统书法理论将待书写的汉字拆分成对应字体结构并识别对应结构区域中的偏旁部首。依照对应区域序号依次选取笔画,按基于邻域的笔画推荐方法进行计算。按照相似度分数由高到低的顺序,依次判断得到的N个笔画与该汉字的标准字体中相应笔画的重合程度,判断该笔画是否与待书写的汉字匹配。若不匹配选择相似度高的其他笔画重新计算;若匹配的话将该笔画推荐给书法机械臂,并将新得到的数据加入已有的汉字‑笔画关系矩阵中。采用该技术方案可达到合理地执行智能机械臂书写中的构字过程这一目的,并在此基础上不断提高智能书法机械臂的写字效果。
-
公开(公告)号:CN114692341B
公开(公告)日:2024-03-19
申请号:CN202210430157.2
申请日:2022-04-22
Applicant: 桂林电子科技大学
IPC: G06F30/17 , G06F30/27 , G06N3/0442 , G06N3/08 , G06F113/06 , G06F119/06 , G06F119/08
Abstract: 本发明公开了一种基于融合时空图ConvLSTM模型的风机故障预测方法及存储介质,所述方法包括以风电机组工况参数、环境参数和状态参数构成的风机数据集,并通过融合时空图ConvLSTM模型处理后输入到风机故障检测模型中,得到预测结果。本发明针对风机实际环境中的运行数据,首先经过数据预处理和特征工程,然后从风机运行数据的时间和空间两个维度出发,将原始的一维数据转化为二维时空图数据,增强数据对空间关系的表征能力。在所构建的时空图模型基础之上,搭建可适应于二维时空图数据的ConvLSTM模型架构,将二维时空图构建模型与ConvLSTM预测模型深度融合,经过模型的优化训练,有效提升风机在未来一段时间内运行数据的预测准确率,进而提高风机故障预测的准确率。
-
公开(公告)号:CN109977250B
公开(公告)日:2023-03-28
申请号:CN201910211486.6
申请日:2019-03-20
IPC: G06F16/58 , G06F16/51 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种融合语义信息和多级相似性的深度哈希图像检索方法,包括以下步骤;S1,构建图像数据库;S2,构建标签向量矩阵和语义向量矩阵;S3,构建相似度矩阵;S4,搭建深度哈希神经网络模型,将原始图像转换为近似哈希向量;S5,构建对相似图片哈希向量的海明距离有下界约束的损失函数;S6,对搭建的深度哈希神经网络模型进行训练;S7,构建图像的哈希向量数据库;S8,将待检索图像的哈希向量与哈希向量数据库里的向量进行对比,以找出相似的图像。本发明通过融合语义信息,提高了图像检索的精度;并通过约束两张相似图片所对应哈希向量间的海明距离的下界,提高了检索性能。
-
公开(公告)号:CN114925252A
公开(公告)日:2022-08-19
申请号:CN202210605798.7
申请日:2022-05-31
Applicant: 桂林电子科技大学
IPC: G06F16/9035 , G06F16/901 , B25J11/00
Abstract: 本发明公开了一种基于邻域的笔画推荐方法中的笔画推荐方法,包括按照传统书法理论将待书写的汉字拆分成对应字体结构并识别对应结构区域中的偏旁部首。依照对应区域序号依次选取笔画,按基于邻域的笔画推荐方法进行计算。按照相似度分数由高到低的顺序,依次判断得到的N个笔画与该汉字的标准字体中相应笔画的重合程度,判断该笔画是否与待书写的汉字匹配。若不匹配选择相似度高的其他笔画重新计算;若匹配的话将该笔画推荐给书法机械臂,并将新得到的数据加入已有的汉字‑笔画关系矩阵中。采用该技术方案可达到合理地执行智能机械臂书写中的构字过程这一目的,并在此基础上不断提高智能书法机械臂的写字效果。
-
公开(公告)号:CN111695508B
公开(公告)日:2022-07-19
申请号:CN202010532767.4
申请日:2020-06-12
Applicant: 桂林电子科技大学
IPC: G06V40/10 , G06V40/20 , G06V10/75 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06F16/583 , G06F16/55
Abstract: 本发明公开了一种基于多尺度的Retinex和改进VGGNet网络的手势图像检索方法,该方法通过多尺度的Retinex方法对手势数据图像进行增强后,对采用深度学习方法对模型进行训练。当手势图像检索模型训练好之后,将最后一个FC层提取到的特征作为图像的特征表示参与手势图像检索任务,并改进的VGGNet的多分支网络结构中引入哈希层,模型的输入为手势图像和类别标签,类别标签作为监督信息学习图像特征,每个分支学习不同的标签信息,经过全连接层将之前两个分支学习到的特征进行融合,得到非线性组合特征,然后经过哈希层将得到低维度的哈希特征,再经过哈希层得到二进制哈希吗,最后将二进制哈希码作为特征向量来进行手势检索。在保证准确率的前提下,提高手势检索的效率。
-
公开(公告)号:CN114692341A
公开(公告)日:2022-07-01
申请号:CN202210430157.2
申请日:2022-04-22
Applicant: 桂林电子科技大学
IPC: G06F30/17 , G06F30/27 , G06N3/04 , G06N3/08 , G06F113/06 , G06F119/06 , G06F119/08
Abstract: 本发明公开了一种基于融合时空图ConvLSTM模型的风机故障预测方法及存储介质,所述方法包括以风电机组工况参数、环境参数和状态参数构成的风机数据集,并通过融合时空图ConvLSTM模型处理后输入到风机故障检测模型中,得到预测结果。本发明针对风机实际环境中的运行数据,首先经过数据预处理和特征工程,然后从风机运行数据的时间和空间两个维度出发,将原始的一维数据转化为二维时空图数据,增强数据对空间关系的表征能力。在所构建的时空图模型基础之上,搭建可适应于二维时空图数据的ConvLSTM模型架构,将二维时空图构建模型与ConvLSTM预测模型深度融合,经过模型的优化训练,有效提升风机在未来一段时间内运行数据的预测准确率,进而提高风机故障预测的准确率。
-
-
-
-
-
-
-
-
-