公开(公告)号：CN115984747A

公开(公告)日：2023-04-18

申请号：CN202310013513.5

申请日：2023-01-05

申请人： 大连理工大学 ,  大连理工大学人工智能大连研究院 ,  大连维视科技有限公司

发明人： 王一帆 ,  徐松 ,  卢湖川 ,  王立君

IPC分类号： G06V20/40 ,  G06V10/82 ,  G06V10/30 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

摘要： 本发明属于机器学习、视频目标分割、显著性目标检测领域，提供了一种基于动态滤波器的视频显著性目标检测方法。本方法的特征提取网络使用轻量化MobileV3，在保持较高精度的同时，降低模型的内存大小，提升检测速度，对检测网络部署在AI边缘设备的可行性大大提升。设计了一个基于动态滤波器的模块，使得模型的卷积核参数并不是训练好就固定的，而是会根据输入进行动态的调整，使得模型的泛化性得到了提升。同时利用视频这种数据本身的特性，进行时间一致性的约束，使得对于视频的分割结果具有稳定性。

公开(公告)号：CN117689906A

公开(公告)日：2024-03-12

申请号：CN202311691149.4

申请日：2023-12-11

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 卢湖川 ,  李柏岑 ,  王立君 ,  王一帆

IPC分类号： G06V10/62 ,  G06V10/44 ,  G06V10/80 ,  G06V10/26 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06N3/048

摘要： 本发明属于深度学习、多模态目标跟踪和提示学习领域，涉及动态图卷积网络、K近邻聚类算法和单目标跟踪算法OSTrack。本发明提出了一种基于3D提示信息的彩色和深度图像单目标跟踪算法，旨在提升算法在各种场景中的泛化能力，同时提高其在极端条件下的性能。该方法可部署在自动驾驶场景中的多种设备上，为视觉定位导航提供目标信息。本发明的优势在于：通过使用3D提示信息赋予2D预训练模型对3D环境的感知能力，提高了跟踪算法对目标位置的计算精度，并降低了干扰物在跟踪过程中的影响。同时，这种方法降低了网络对训练数据量的需求，并提升了跟踪算法的精度。

公开(公告)号：CN117689704A

公开(公告)日：2024-03-12

申请号：CN202311689601.3

申请日：2023-12-11

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 王立君 ,  程敬颢 ,  王一帆 ,  卢湖川

IPC分类号： G06T7/50 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06V10/25 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/048

摘要： 本发明属于机器学习、扩散模型、单目深度估计领域，公开了一种基于扩散模型的单目图像深度估计方法，包括扩散模型特征提取器stable‑diffusion、目标检测算法Detic、场景布局交互算法以及锚框提示深度图生成机制。提供了目标锚框作为条件提示，基于扩散模型stable‑diffusion的单目图像深度估计方法。该方法通过改进条件提示的使用方式，使得扩散模型在单目深度估计任务中更加灵活和多样化。提出了一种预处理方式，利用单目深度估计中的深度分布知识对条件提示进行合理的预处理和优化，以提高模型在不同场景下的泛化能力。引入了一种数据增强方法，进一步优化模型性能和深度图预测效果。

公开(公告)号：CN115830090A

公开(公告)日：2023-03-21

申请号：CN202211532186.6

申请日：2022-12-01

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 卢湖川 ,  何俊文 ,  王立君 ,  王一帆

IPC分类号： G06T7/38 ,  G06N3/0455 ,  G06N3/08

摘要： 本发明属于机器学习、3D计算机视觉、单目深度预测、自监督学习领域，提供了一种基于像素匹配预测相机姿态的自监督单目深度预测训练方法。本发明将自监督深度预测学习中抽象的相机运动预测过程转化为基于像素匹配的过程，并通过几何方式求解相机运动，增强其可解释性，同时提升其泛化性。本发明借助传统几何方法求解的相机运动更准确，使得自监督深度预测学习在室内环境或相机运动姿态变化大的场景下训练过程更稳定、效果更鲁棒。

公开(公告)号：CN115810019A

公开(公告)日：2023-03-17

申请号：CN202211532176.2

申请日：2022-12-01

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 卢湖川 ,  李柏岑 ,  王立君 ,  王一帆

IPC分类号： G06T7/10 ,  G06T7/50 ,  G06T9/00 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明属于机器学习、单目深度补全领域，公开了一种基于分割和回归网络对离群点鲁棒的深度补全方法。分割网络对于离群点更为鲁棒，回归网络可以生成更为精准的结果，本方法结合二者的优势，使用了一种对离群点更为鲁棒的单目深度补全方法。其中，包含一种分割‑回归的级联网络结构，相较于同参数量的纯回归网络结构，对非离群点的精度更高。同时，利用分割网络对于离群点更为鲁棒的特性，采用了一种对离群点更为鲁棒的损失函数，可以在训练过程中过滤掉一部分离群点，有效缓解了因拟合离群点从而降低网络性能的问题，从而进一步提高了非离群点的精度。

公开(公告)号：CN115797835A

公开(公告)日：2023-03-14

申请号：CN202211532178.1

申请日：2022-12-01

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 王一帆 ,  袁亦忱 ,  卢湖川 ,  王立君

IPC分类号： G06V20/40 ,  G06V10/26 ,  G06V10/80 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/088

摘要： 一种基于异构Transformer的无监督视频目标分割算法，为无监督视频目标分割网络在外观运动特征融合的浅层和深层阶段设计两种不同的基于Transformer的融合策略，分别是全局上下文共享的Transformer和语义聚合‑回嵌的Transformer。全局上下文共享的Transformer能以较低的计算量学习视频帧之间的全局共享上下文信息，语义聚合‑回嵌的Transformer对前景和背景分别建模语义相关性并通过对特征向量软聚合的方式来进一步降低计算量。基于两种融合模块，为无监督视频目标分割任务设计一种层级异构的Transformer架构，这种架构能以较低的计算量实现最先进的性能。

公开(公告)号：CN117671246A

公开(公告)日：2024-03-08

申请号：CN202311700186.7

申请日：2023-12-12

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 王一帆 ,  罗照凡 ,  唐石雨 ,  王立君 ,  卢湖川

IPC分类号： G06V10/25 ,  G06V10/26 ,  G06N3/045 ,  G06V10/82 ,  G06V10/40 ,  G06V10/764

摘要： 本发明属于机器学习、目标检测、开放词表目标分割领域，公开了一种基于交叉验证识别机制的开放词表目标检测算法。为提高模型在大规模词表情景下的识别准确性，本发明设计了一个交叉验证识别模块，主要由两个交叉验证识别分支和一个多分支投票组件组成。两个交叉验证识别分支通过结合图像级和区域级的分类器与标签预测器进行有潜在互补性的初步预测，再经由多分支投票组件，依据两分支对不同类别预测的确定性和互补性得到最终预测的混合置信度，提高了检测精度，既在传统的开放词表目标检测任务设置下达到了最先进的性能，又在较复杂的大规模开放词表目标检测任务取得了最优的结果。

公开(公告)号：CN117333900A

公开(公告)日：2024-01-02

申请号：CN202311292854.7

申请日：2023-10-08

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 卢湖川 ,  高尚 ,  王立君 ,  王一帆

IPC分类号： G06V40/10 ,  G06V20/52 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/084

摘要： 本发明属于行人再识别技术领域，公开一种遮挡状况下的行人再识别方法。根据目标行人出现在图片中心的特点，本发明所提出的数据增广方法随机选择原始图片的某一非中心区域替换为其他行人图像块。在此基础上，一种基于信息流的非目标区域抑制损失被提出用于训练模型，以减少遮挡区域对最终匹配特征的干扰。本发明所提出的行人图像块混合数据增强技术可以模拟多样的非目标行人遮挡情况，扩充了训练数据，进而增强了模型对于未知遮挡的鲁棒性；所提出的基于信息流的非目标区域抑制损失减小了非目标区域向最终特征的信息流动，从而减少了遮挡引入的噪声；所提出的数据增广方法以及损失函数，适用于多种网络结构并不增加推理阶段的计算量。

公开(公告)号：CN117671265A

公开(公告)日：2024-03-08

申请号：CN202311699036.9

申请日：2023-12-12

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 王一帆 ,  赵志达 ,  李佳 ,  王立君 ,  卢湖川

IPC分类号： G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/80

摘要： 一种应对RGB‑D模态缺失的多模态Transformer语义分割算法，为应对多模态图像场景下存在的模态缺失问题设计了多模态自编码模型模态缺失自蒸馏方法和模态混合缺失的训练策略。预训练阶段的模态缺失自蒸馏方法可应对模态缺失情况，对齐缺失模态与完整模态的潜在表征，进而缺失模态可获得更好的重构结果，并提升模态缺失情况下在语义分割任务上的表现。对于下游语义分割任务，通过模态混合缺失的训练策略模拟实际的随机模态缺失场景，使模型通过同一参数来应对各种模态情况。基于设计的多模态Transformer训练流程，模型有效的提升在RGB‑D模态缺失的多模态Transformer语义分割任务上的性能表现和鲁棒性。

公开(公告)号：CN115731138A

公开(公告)日：2023-03-03

申请号：CN202211532185.1

申请日：2022-12-01

申请人： 大连理工大学 ,  大连理工大学宁波研究院 ,  大连维视科技有限公司

发明人： 卢湖川 ,  苗葳 ,  王立君 ,  王一帆

IPC分类号： G06T5/00 ,  G06T7/13 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明属于机器学习、计算机视觉、图像修复领域，提供了一种基于Transformer模块和卷积神经网络的图像修复方法。本发明的图像修复模型使用Transformer模块与卷积神经网络相结合的混合端到端网络，对输入图像进行边缘提取获得结构先验后，得到更好的图像修复结果，再保持较高精度的同时，也保持了图像修复的速度。本发明设计了两类全新Transformer模块，分别用于对图像全局特征与局部特征的提取与处理，充分利用了图像像素与特征图的有效信息，有效的提高了图像修复的效果。同时，使用Canny算子与卷积神经网络获取图像边缘，为图像修复网络提供了一类结构先验，提升图像修复效果。