-
公开(公告)号：CN116453014A
公开(公告)日：2023-07-18
申请号：CN202310296018.X
申请日：2023-03-24
申请人： 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
摘要： 本发明属于计算机视觉和事件相机领域，公开了一种基于图像和事件的多模态道路场景目标检测方法。本发明引入了高效注意力机制模块，融合相邻时刻图像的信息，不仅提升了检测的精度，而且模型参数量和计算量几乎不变。采用一种轻量化的特征提取网络对事件进行特征提取，降低模型的内存大小，符合事件数据高时间分辨率的特性。为了重复利用事件数据的时序信息，本发明引入长短期记忆机制模块，通过控制内部门的状态，融合历史时刻的不同事件特征。在进行图像和事件特征融合时，采用特征融合模块，完成对两种模态数据的信息交互，提高了目标检测的准确率。
-
公开(公告)号：CN114202774A
公开(公告)日：2022-03-18
申请号：CN202111512063.1
申请日：2021-12-07
申请人： 大连理工大学宁波研究院 , 大连维视科技有限公司
摘要： 一种密集行人检测方法。在网络训练阶段，搭建卷积神经网络，训练编码器解码器及检测头部预测正确的行人包围框；并根据预测结果，为每个行人分配一个最佳的预测候选框；固定密度估计头部外的其他网络参数，使用每个行人唯一的预测候选框生成密度目标，训练密度估计头部；最后放开网络所有参数，联合训练整个网络。在测试应用阶段，在进行后处理时，每选定一个确定保留的行人框，则在这张预测密度图上减去对应位置的高斯激活图，对于那些与该被保留行人重叠率大于阈值的行人框，利用更新后的密度图对这些行人框进行二次判断。本发明在密集场景下，解决了通用的非极大值抑制方法会误删的正确预测的包围框的问题，同时也不影响非密集场景的表现。
-
公开(公告)号：CN114202740A
公开(公告)日：2022-03-18
申请号：CN202111483359.5
申请日：2021-12-07
申请人： 大连理工大学宁波研究院 , 大连维视科技有限公司
IPC分类号： G06V20/52 , G06N3/04 , G06K9/62 , G06V10/774 , G06V10/80
摘要： 一种基于多尺度特征融合的行人重识别方法，1)构建基于多尺度融合的模型，并预训练主干网络暨多尺度特征提取器。2)利用多尺度特征提取器生成图像的多尺度特征。3)采用基于Transformer的特征校准模型融合两个不同尺度的特征。4)利用深监督融合从浅层特征到深层特征不断融合不同层级的特征。5)用交叉熵损失和三元组损失监督融合过程。6)将目标测试集图像输入训练好的模型提取特征，根据特征相似度进行排序得到行人重识别的结果，进而实现行人重识别。本发明采用卷积神经网络提取多尺度特征，使用Transformer从全局的角度融合多尺度信息，使得特征同时具有细节和语义信息，有效的提高了行人重识别的准确率。
-
公开(公告)号：CN116309690A
公开(公告)日：2023-06-23
申请号：CN202211543971.1
申请日：2022-12-01
申请人： 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
摘要： 一种基于Transformer结构的局部和全局视角兼容的目标跟踪方法。本发明的Transformer结构采用ViT‑Base的网络结构，将依据前一帧跟踪位置裁剪的局部搜索区域和全图搜索区域同时作为输入，两路搜索分支共享特征提取和特征融合网络的权重，实现在统一模型下的局部和全局视角目标跟踪。同时使用一个基于Transformer的特征编码网络获得跟踪框的特征向量，在局部跟踪结果的回归质量预测得分较低时，从全局和局部跟踪的多个结果中选择与第一帧给定目标的特征向量距离最小的跟踪框作为当前帧的最终跟踪结果；在局部跟踪结果的回归质量预测得分较高时，采用局部跟踪结果作为当前帧的最终跟踪结果。
-
公开(公告)号：CN114202663A
公开(公告)日：2022-03-18
申请号：CN202111468686.3
申请日：2021-12-03
申请人： 大连理工大学宁波研究院 , 大连维视科技有限公司
摘要： 本发明属于图像显著度检测技术领域，一种基于彩色图像和深度图像的显著度检测方法。将彩色图像以及深度图像送入到双路的VGG‑16编码器进行编码，在编码过程中信息交互模块被用来传递来自于不同模态间的信息；双路VGG‑16最深的多模态特征送入跨模态互引导模块来进行更新和融合；上述编码过程获取的多水平多模态特征送入残差的多尺度聚合模块实现多水平特征残差式聚合，并且聚合后的特征采用特征金字塔网络结构实现最终的从高水平到低水平解码特征的渐进式融合，输出显著度检测结果。本发明很好的利用彩色图像以及深度图像的互补信息，能够处理在显著性检测中一直难以处理的低对比度和复杂背景的情况，并能够很好的应用于一般图像中。
-
公开(公告)号：CN117671265A
公开(公告)日：2024-03-08
申请号：CN202311699036.9
申请日：2023-12-12
申请人： 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
摘要： 一种应对RGB‑D模态缺失的多模态Transformer语义分割算法，为应对多模态图像场景下存在的模态缺失问题设计了多模态自编码模型模态缺失自蒸馏方法和模态混合缺失的训练策略。预训练阶段的模态缺失自蒸馏方法可应对模态缺失情况，对齐缺失模态与完整模态的潜在表征，进而缺失模态可获得更好的重构结果，并提升模态缺失情况下在语义分割任务上的表现。对于下游语义分割任务，通过模态混合缺失的训练策略模拟实际的随机模态缺失场景，使模型通过同一参数来应对各种模态情况。基于设计的多模态Transformer训练流程，模型有效的提升在RGB‑D模态缺失的多模态Transformer语义分割任务上的性能表现和鲁棒性。
-
公开(公告)号：CN115908496A
公开(公告)日：2023-04-04
申请号：CN202211543612.6
申请日：2022-12-01
申请人： 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
IPC分类号： G06T7/246 , G06V10/22 , G06V10/40 , G06V10/80 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/08
摘要： 本发明属于机器学习、单目标视觉跟踪、视频目标标注领域，提供了一种基于Transformer模型、泛化性较强的轻量化视频自动标注方法，具体为一种基于Transformer的轻量化目标跟踪数据标注方法。本发明与具体的跟踪算法解耦，初始标注可以使用任意轻量化跟踪算法，具有较强的泛化性，简化了标注流程，同时提高了标注速度。本发明使用Transformer模型处理时序信息，采用双向时序信息融合、运动及外观信息结合的方式，提高了网络对于困难帧的预测成功率以及目标边界框坐标回归的准确度，使自动标注质量得到明显的提升。标注网络轻量化的结构设计进一步降低了标注工作的时间成本。
-
公开(公告)号：CN115731138A
公开(公告)日：2023-03-03
申请号：CN202211532185.1
申请日：2022-12-01
申请人： 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
IPC分类号： G06T5/00 , G06T7/13 , G06N3/048 , G06N3/0464 , G06N3/08
摘要： 本发明属于机器学习、计算机视觉、图像修复领域，提供了一种基于Transformer模块和卷积神经网络的图像修复方法。本发明的图像修复模型使用Transformer模块与卷积神经网络相结合的混合端到端网络，对输入图像进行边缘提取获得结构先验后，得到更好的图像修复结果，再保持较高精度的同时，也保持了图像修复的速度。本发明设计了两类全新Transformer模块，分别用于对图像全局特征与局部特征的提取与处理，充分利用了图像像素与特征图的有效信息，有效的提高了图像修复的效果。同时，使用Canny算子与卷积神经网络获取图像边缘，为图像修复网络提供了一类结构先验，提升图像修复效果。
-
公开(公告)号：CN118279807B
公开(公告)日：2024-08-20
申请号：CN202410698099.0
申请日：2024-05-31
申请人： 大连理工大学 , 大连理工大学宁波研究院
IPC分类号： G06V20/40 , G06V10/44 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/08
摘要： 本发明属于机器学习、多模态、目标跟踪领域，公开了一种基于提示学习的视觉语言目标跟踪方法。本发明使用提示学习的方式，将语言作为提示信息，用语言的提示信息完成多模态数据的混合，在训练的过程中冻结视觉基础模型，一方面这样能保留在大规模跟踪数据集上训练得到的知识，另一方面能够减轻训练负担。本发明通过设计的提示引导机制，将语言信息与视觉信息在通道上进行对齐，这样可以减小两个模态之间信息的差异。
-
公开(公告)号：CN118262275B
公开(公告)日：2024-07-23
申请号：CN202410669172.1
申请日：2024-05-28
申请人： 大连理工大学 , 大连理工大学宁波研究院
IPC分类号： G06V20/40 , G06V10/82 , G06N3/045 , G06N3/0895
摘要： 本发明属于机器学习、计算机视觉、目标跟踪领域，公开了一种基于共显著性学习的弱监督目标跟踪方法，通过设计弱监督共显著性注意力模块，嵌入基准跟踪算法中，实现模型的弱监督训练。本发明能够使现有基准跟踪算法在降低约30倍训练标注数据的使用情况下，获得与基准跟踪算法相近或更优的性能，有效地解决了现有基准跟踪算法对大规模标注数据的依赖问题，降低了现有模型的训练成本，并缓解了现有跟踪训练数据集的迫切需求。
-
-
-
-
-
-
-
-
-
搜索结果
38 条记录 (耗时 0.053 秒)
