-
公开(公告)号:CN115481277B
公开(公告)日:2025-04-08
申请号:CN202211167934.5
申请日:2022-09-23
Applicant: 电子科技大学
IPC: G06F16/583 , G06F16/532 , G06F16/9032 , G06V10/25 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 该发明公开了一种基于对比学习与多模态对齐的视觉问答方法,属于视觉问答领域,该方法在分布不平衡的视觉问答数据集下实现鲁棒的视觉问答。现有的基于数据增强的鲁棒视觉问答方法往往基于反事实样本增强,并把反事实样本作为数据增广添加入训练中,但并未在特征和预测层次中构建区分反事实样本的过程,未深入挖掘样本之间的关系。本发明提出了基于对比学习与多模态对齐的视觉问答方法来解决视觉问答中的语言偏见问题,通过在特征和预测层面进行对比学习来降低模型的复杂度,提高视觉问答模型的泛化能力,从而实现在语言偏见场景下鲁棒的视觉问答。
-
公开(公告)号:CN117437211B
公开(公告)日:2024-07-30
申请号:CN202311546553.2
申请日:2023-11-20
Applicant: 电子科技大学
IPC: G06T7/00 , G06N3/045 , G06N3/0464 , G06N3/0442 , G06N3/08
Abstract: 该发明公开了一种基于双偏置校准学习的低成本图像质量评价方法,属于图像处理领域的图像质量评估(Image Quality Assessment,IQA)领域。本发明创建了一个名为门控双偏置校准(GDBC)的模块,将双偏置表示为两个参数未知的潜在变量,包括LC‑MOS和LA‑MOS之间的主观偏置以及从LC‑MOS和LA‑MOS学习到的IQA模型之间的模型偏置;通过基于期望最大化的迭代优化,联合估计双偏置的参数,并通过门控双偏置校准(GDBC)模块自适应地抑制LC‑MOS的误导;对IQA数据集的理论分析和广泛实验,验证了所提出的GDBC方法的有效性,当每张图像可用的意见分数很少时,比如最少一人标注时,该方法仍然保证了最先进的性能。
-
公开(公告)号:CN117746144A
公开(公告)日:2024-03-22
申请号:CN202311781473.5
申请日:2023-12-22
Applicant: 电子科技大学
IPC: G06V10/764 , G06V10/82 , G06V10/44 , G06V10/77 , G06V10/774 , G06N3/045 , G06N3/088 , G06N3/0895 , G06N3/084
Abstract: 该发明公开了一种基于交替任务判别的无监督连续学习的图像分类方法,属于无监督连续学习的图像分类领域。本发明首次提出利用自监督辅助任务来帮助深度学习模型保留过去编码信息的记忆,从而具有克服灾难性遗忘的能力。发明的主要创新点在于设计了任务判别辅助任务,同时提出交替优化训练方法,保证了无监督连续学习表征的有效性和连续性。相比于基于重演、正则的无监督连续学习方法,该方法简单而高效,在保证模型抗遗忘能力的前提下极大地降低了对过去数据信息的依赖。
-
公开(公告)号:CN117726802A
公开(公告)日:2024-03-19
申请号:CN202311781466.5
申请日:2023-12-22
Applicant: 电子科技大学
IPC: G06V10/25 , G06V10/44 , G06V10/764 , G06V10/766 , G06V10/82 , G06N3/0442 , G06N3/045 , G06N3/096
Abstract: 该发明公开了一种基于记忆增强和特征迁移的目标检测方法,涉及计算机视觉中的目标检测领域。本发明所提出的基于记忆增强和特征迁移的目标检测方法,具有检测准确率高,计算复杂度低,使用方便等特点。发明的创新点在于把旧任务的目标特征存储下来,并作为新任务的目标特征的关键组成部分。相比于传统的目标检测方法,该方法在保证旧任务上性能的前提下,极大地提高了在新任务上的目标检测性能。
-
公开(公告)号:CN116311525A
公开(公告)日:2023-06-23
申请号:CN202310292682.7
申请日:2023-03-23
Applicant: 电子科技大学
IPC: G06V40/20 , G06V20/40 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明提供一种基于跨模态融合的视频行为识别方法,包括以下步骤:对视频流进行下采样处理,将下采样后的各帧图像划分为像素块,采用线性投射层计算出图像特征向量输入Transformer空间编码器得到每帧视频的图像特征序列;对惯性运动传感器数据进行分段处理,逐段地对数据采用线性映射升维再输入Transformer时序编码器传感器特征序列;将图像特征序列作为键和值向量,将传感器特征序列作为查询向量输入带掩码Transformer时间编码器得到时序融合后的多模态特征,将多模态特征输入多层感知机MLP,由MLP输出视频识别的结果。本发明通过空间编码的Transformer和时间编码的Transformer联合地从视频流数据和惯性运动传感器数据中提取时空语义特征和人体运动特征,并基于跨模态编码的Transformer方法完成行为识别。
-
公开(公告)号:CN116246211A
公开(公告)日:2023-06-09
申请号:CN202310249523.9
申请日:2023-03-15
Applicant: 电子科技大学
IPC: G06V20/40 , G06V10/82 , G06V10/44 , G06V10/77 , G06V10/80 , G06F16/783 , G06N3/0464
Abstract: 本发明提供一种基于时空分组注意力机制的第一视角视频描述生成方法,对输入的第一视角视频提取第一视角视频的特征谱作为区域特征;位置编码模块输出区域特征对应的位置编码;再将区域特征加上其位置编码的结果来更新区域特征;空间分组注意力模块将区域特征高维度和宽维度合并为空间维度,再对空间维度上的全部特征计算两次分组注意力以充分建模所有特征之间在空间维度上的交互关系;之后,进行空间和时间维度的交换,时间分组注意力模块对时间维度上的全部特征计算两次分组注意力并输出,再在空间维度上求平均得到第一视角视频特征编码,为解码器提供有更多时空信息的视频特征,适应第一视角视频存在的抖动和帧间变化,从而提高描述语句的质量。
-
公开(公告)号:CN116245164A
公开(公告)日:2023-06-09
申请号:CN202310249525.8
申请日:2023-03-15
Applicant: 电子科技大学
IPC: G06N3/082 , G06N3/0464 , G06F17/18 , G06F18/23 , G06V10/82 , G06V10/774
Abstract: 本发明提供一种基于滤波器权重聚类的用于目标检测的CNN快速剪枝方法,包括目标检测模型初始化步骤;重要性评分的指数滑动平均处理步骤得到各个滤波器的重要性评分的滑动平均值;阈值计算步骤:计算卷积层的重要性评分,再将重要性评分最低的卷积层作为本次剪枝的目标卷积层;计算目标卷积层中计算其各个滤波器的重要性评分的方差,从而得到目标卷积层的重要性评分阈值;剪枝步骤:对目标卷积层的滤波器参数向量进行聚类;在目标卷积层的每个簇中,对重要性评分的滑动平均值最低且重要性评分的滑动平均值低于重要性评分阈值的滤波器进行剪枝。本发明在保证整体剪枝效果不降低的条件下,提升了用于目标检测的卷积神经网络滤波器剪枝的效率。
-
公开(公告)号:CN114511573B
公开(公告)日:2023-06-09
申请号:CN202111637774.1
申请日:2021-12-29
Applicant: 电子科技大学
IPC: G06T7/10 , G06T5/50 , G06V10/764 , G06V10/82 , G06N3/047 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明的目的在于提供一种基于多层级边缘预测的人体解析模型及方法,属于计算机视觉中的语义分割技术领域。该模型通过人体多层级部件预测模块利用了人体结构化信息,提高了人体易混淆部件的判别能力,通过人体多层级边缘预测模块同时利用了人体结构化信息和边缘信息,提高了人体部件边缘像素的分类能力,通过多层级信息双向注意力交互模块和自适应门融合解析模块,进一步提高了人体解析的部件准确性,具有部件边缘分割清晰和部件类别解析准确等特点。相比现有人体解析方法,本发明所述模型在参数量大致相同的情况下更具性能优势。
-
公开(公告)号:CN115482454A
公开(公告)日:2022-12-16
申请号:CN202211157147.2
申请日:2022-09-21
Applicant: 电子科技大学
IPC: G06V10/82 , G06V10/764 , G06V10/80 , G06N3/08 , G06N3/04
Abstract: 本发明公开了一种基于泛化特征表示和自适应蒸馏的类增量图像识别方法,属于图像处理和深度学习领域,本发明方法包括:利用泛化特征表示正则模块约束网络骨干学习更泛化的特征表示,从而兼顾新知识的容纳和旧知识的保持;利用自适应蒸馏算法动态地调整在学习新类别时用来保持旧类别知识的蒸馏方法的强度。本发明能有效避免学习新的类别时造成的旧类别遗忘的现象,并且不额外增加模型参数量或网络结构。本发明有效提升了模型处理类增量问题的性能。
-
公开(公告)号:CN110930409B
公开(公告)日:2022-10-14
申请号:CN201910998936.0
申请日:2019-10-18
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于深度学习的盐体语义分割方法及语义分割模型,采用预处理模型做基础模型进行特征提取,得到的特征图经过分类监督模块预测图片有盐与否作为辅助监督加速收敛,同时监督盐体分割分支模块输出的含盐图片分割结果和整体分割分支模块输出的所有图片分割结果,边缘预测模块输出边缘预测结果,组成混合损失有效提高盐体分割精度,最终得到较好的语义分割结果。语义分割模型中每级上采样的特征图经过特征融合模块,将每级上采样的特征图与上一级上采样特征图级联,这样逐级加强特征通道信息的密集获取,更好的利用每级上采样的特征图信息,更好的融合高层的语义信息和底层的空间信息。
-
-
-
-
-
-
-
-
-