-
公开(公告)号:CN116309683A
公开(公告)日:2023-06-23
申请号:CN202211532172.4
申请日:2022-12-01
Applicant: 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
IPC: G06T7/20 , G06N3/0442 , G06N3/0464 , G06N3/0985
Abstract: 本发明属于机器学习、视觉目标跟踪领域,提供了一种运动信息辅助的视觉单目标跟踪方法。本发明分别对跟踪过程中的相机运动和目标运动进行建模。对于相机运动建模方法,本发明使用特征点匹配算法计算出相邻帧间变换矩阵,并给出由相机运动导致的目标偏移量。对于目标运动建模方法,本发明使用卷积‑长短时记忆网络通过目标历史运动信息,估计目标未来的速度和位置。本发明在引入运动信息进行辅助跟踪后,可以显著提高跟踪算法应对光照变化,遮挡等挑战的能力,提升跟踪算法鲁棒性,并且具有较低的计算量,能够达到实时跟踪需求。
-
公开(公告)号:CN115861374A
公开(公告)日:2023-03-28
申请号:CN202211532182.8
申请日:2022-12-01
Applicant: 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
Abstract: 本发明属于机器学习、视觉目标跟踪领域,提供了一种基于条件化早退机制的动态推理路径目标跟踪方法。本发明的目标跟踪器使用MAE预训练的ViT结构作为特征提取主干,同时在不同的编码器层设置多个早退决策点,用于动态路径推理,在保证跟踪结果高准确性的同时,为不同的视频帧动态选择不同的推理路径,大大节省了在简单样本帧上推理的计算量,提高了跟踪方法的实际速度。另外,本发明可以部署在不同算力的设备上,只需要训练一次,之后的实际部署可以根据场景边缘设备的算力等条件灵活设置决策边界以满足实际应用中对算法性能和速度的权衡。
-
公开(公告)号:CN118279807B
公开(公告)日:2024-08-20
申请号:CN202410698099.0
申请日:2024-05-31
Applicant: 大连理工大学 , 大连理工大学宁波研究院
IPC: G06V20/40 , G06V10/44 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明属于机器学习、多模态、目标跟踪领域,公开了一种基于提示学习的视觉语言目标跟踪方法。本发明使用提示学习的方式,将语言作为提示信息,用语言的提示信息完成多模态数据的混合,在训练的过程中冻结视觉基础模型,一方面这样能保留在大规模跟踪数据集上训练得到的知识,另一方面能够减轻训练负担。本发明通过设计的提示引导机制,将语言信息与视觉信息在通道上进行对齐,这样可以减小两个模态之间信息的差异。
-
公开(公告)号:CN116309690A
公开(公告)日:2023-06-23
申请号:CN202211543971.1
申请日:2022-12-01
Applicant: 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
Abstract: 一种基于Transformer结构的局部和全局视角兼容的目标跟踪方法。本发明的Transformer结构采用ViT‑Base的网络结构,将依据前一帧跟踪位置裁剪的局部搜索区域和全图搜索区域同时作为输入,两路搜索分支共享特征提取和特征融合网络的权重,实现在统一模型下的局部和全局视角目标跟踪。同时使用一个基于Transformer的特征编码网络获得跟踪框的特征向量,在局部跟踪结果的回归质量预测得分较低时,从全局和局部跟踪的多个结果中选择与第一帧给定目标的特征向量距离最小的跟踪框作为当前帧的最终跟踪结果;在局部跟踪结果的回归质量预测得分较高时,采用局部跟踪结果作为当前帧的最终跟踪结果。
-
公开(公告)号:CN118262275B
公开(公告)日:2024-07-23
申请号:CN202410669172.1
申请日:2024-05-28
Applicant: 大连理工大学 , 大连理工大学宁波研究院
IPC: G06V20/40 , G06V10/82 , G06N3/045 , G06N3/0895
Abstract: 本发明属于机器学习、计算机视觉、目标跟踪领域,公开了一种基于共显著性学习的弱监督目标跟踪方法,通过设计弱监督共显著性注意力模块,嵌入基准跟踪算法中,实现模型的弱监督训练。本发明能够使现有基准跟踪算法在降低约30倍训练标注数据的使用情况下,获得与基准跟踪算法相近或更优的性能,有效地解决了现有基准跟踪算法对大规模标注数据的依赖问题,降低了现有模型的训练成本,并缓解了现有跟踪训练数据集的迫切需求。
-
公开(公告)号:CN118279807A
公开(公告)日:2024-07-02
申请号:CN202410698099.0
申请日:2024-05-31
Applicant: 大连理工大学 , 大连理工大学宁波研究院
IPC: G06V20/40 , G06V10/44 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明属于机器学习、多模态、目标跟踪领域,公开了一种基于提示学习的视觉语言目标跟踪方法。本发明使用提示学习的方式,将语言作为提示信息,用语言的提示信息完成多模态数据的混合,在训练的过程中冻结视觉基础模型,一方面这样能保留在大规模跟踪数据集上训练得到的知识,另一方面能够减轻训练负担。本发明通过设计的提示引导机制,将语言信息与视觉信息在通道上进行对齐,这样可以减小两个模态之间信息的差异。
-
公开(公告)号:CN118262275A
公开(公告)日:2024-06-28
申请号:CN202410669172.1
申请日:2024-05-28
Applicant: 大连理工大学 , 大连理工大学宁波研究院
IPC: G06V20/40 , G06V10/82 , G06N3/045 , G06N3/0895
Abstract: 本发明属于机器学习、计算机视觉、目标跟踪领域,公开了一种基于共显著性学习的弱监督目标跟踪方法,通过设计弱监督共显著性注意力模块,嵌入基准跟踪算法中,实现模型的弱监督训练。本发明能够使现有基准跟踪算法在降低约30倍训练标注数据的使用情况下,获得与基准跟踪算法相近或更优的性能,有效地解决了现有基准跟踪算法对大规模标注数据的依赖问题,降低了现有模型的训练成本,并缓解了现有跟踪训练数据集的迫切需求。
-
公开(公告)号:CN115908496A
公开(公告)日:2023-04-04
申请号:CN202211543612.6
申请日:2022-12-01
Applicant: 大连理工大学 , 大连理工大学宁波研究院 , 大连维视科技有限公司
IPC: G06T7/246 , G06V10/22 , G06V10/40 , G06V10/80 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明属于机器学习、单目标视觉跟踪、视频目标标注领域,提供了一种基于Transformer模型、泛化性较强的轻量化视频自动标注方法,具体为一种基于Transformer的轻量化目标跟踪数据标注方法。本发明与具体的跟踪算法解耦,初始标注可以使用任意轻量化跟踪算法,具有较强的泛化性,简化了标注流程,同时提高了标注速度。本发明使用Transformer模型处理时序信息,采用双向时序信息融合、运动及外观信息结合的方式,提高了网络对于困难帧的预测成功率以及目标边界框坐标回归的准确度,使自动标注质量得到明显的提升。标注网络轻量化的结构设计进一步降低了标注工作的时间成本。
-
公开(公告)号:CN119761220B
公开(公告)日:2025-05-27
申请号:CN202510258711.7
申请日:2025-03-06
Applicant: 大连理工大学
IPC: G06F30/27 , G06N3/092 , G06F119/02
Abstract: 本发明属于人工智能、多智能体系统、深度强化学习以及自主探索领域,公开一种基于深度强化学习的节能多智能体探索系统,包括场景建模、效率导向观察系统、代理间策略网络、序列决策机制模块和等待机制。本发明提出的效率导向观察系统通过构建连接图和交互图的双重结构,并为节点附加探索值、距离特征、复杂度信息等多维协作导向特征,使系统能精确把握环境特征和智能体间的交互关系,显著提升多智能体系统的协同效率。本发明设计的序列决策机制模块结合了序列决策机制和等待机制,通过让智能体参考前序智能体的决策并在适当时候选择等待,避免了盲目协作造成的能源浪费。
-
公开(公告)号:CN119027459A
公开(公告)日:2024-11-26
申请号:CN202411513836.1
申请日:2024-10-29
Applicant: 大连理工大学
Abstract: 本发明提供了基于时序‑视觉融合的大小模型协同跟踪方法,属于机器学习、计算机视觉、目标跟踪领域。通过设计一个即插即用的轻量化时序小模型,嵌入现有基于Transformer的跟踪方法中,从而编码目标的时序运动信息与视觉外观特征进行自适应交互,实现复杂场景下的鲁棒目标跟踪。本发明从视频数据特有的时序连贯性出发,自适应融合时序与视觉线索,有效弥补了单一视觉线索固有的局限性,使模型能够在复杂的真实场景中有效对抗背景干扰、遮挡等挑战,获得鲁棒跟踪性能。本发明的核心内容包括时序运动编码模块、视觉与运动特征自适应融合模块,以及提示学习训练策略。
-
-
-
-
-
-
-
-
-