公开(公告)号：CN111310594B

公开(公告)日：2023-04-28

申请号：CN202010065173.7

申请日：2020-01-20

Applicant: 浙江大学

Inventor： 李玺 ,  冯君逸 ,  李颂元

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于残差纠正的视频语义分割方法，具体包括如下步骤：1)获取语义分割数据集，并定义算法目标；2)训练轻量级的图像语义分割的卷积神经网络模型；3)对待分割的视频进行解码，得到残差图、运动向量以及RGB图像；4)如果当前帧为关键帧，则用2)中得到的分割模型进行语义分割；5)如果当前帧为非关键帧，则利用运动向量将其前一帧的深层特征传递至当前，同时使用浅层卷积神经网络对当前帧提取空间特征，并对传递来的深层特征进行纠正；6)如此重复步骤4)、5)至完成所有视频帧的分割。本发明极大提升了基于帧间特征传递的视频分割方法的鲁棒性及准确性，同时保持基于特征传递方法的高效性。

公开(公告)号：CN112733704B

公开(公告)日：2023-04-07

申请号：CN202110018036.2

申请日：2021-01-07

Applicant: 浙江大学 ,  每日互动股份有限公司

Inventor： 李玺 ,  李斌 ,  吴昊潜 ,  田健 ,  吴飞 ,  董霖 ,  叶新江 ,  方毅

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/774

Abstract: 本发明提出了一种图像处理方法、电子设备和计算机可读存储介质，其中，该方法包括：获取用于步态识别的轮廓图集合，所述轮廓图集合中的每个轮廓图具有视角标识；为每个所述轮廓图确定对应的二维关节点坐标；基于每个所述轮廓图对应的所述二维关节点坐标，确定初始三维关节点坐标；将每个所述轮廓图对应的所述初始三维关节点坐标由自身所述视角标识对应的当前视角转换至指定视角，得到目标三维关节点坐标，作为步态识别的目标样本。通过本发明的技术方案，消除了样本间拍摄时的视角不同带来的差异，提升了样本的合理性，同时使得以此样本所得的步态识别模型的识别准确性得到提升。

公开(公告)号：CN115661923A

公开(公告)日：2023-01-31

申请号：CN202211281152.4

申请日：2022-10-19

Applicant: 浙江大学

Inventor： 李玺 ,  张芃怡 ,  窦洹彰 ,  于云龙

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种自适应建模域特征的域泛化行人重识别方法，用于在给定多个不同域数据训练的情况下，消除不同域的冲突，对行人建模良好的特征表达，用于检索和匹配任务。该方法具体包括如下步骤：建立用于提取彩色图像的主干深度神经网络；建立子特征嵌入网络；建立域样本自适应的子特征组合模块；建立静态域通用特征提取模块；建立域样本自适应特征与域通用特征融合模块；基于前述模型结构进行预测模型训练，并得到最终的训练好的神经网络模型。本发明适用于多域数据训练测试下的行人重识别，面对各类复杂情况具有较佳的效果和鲁棒性。

公开(公告)号：CN114972963A

公开(公告)日：2022-08-30

申请号：CN202210343339.6

申请日：2022-03-31

Applicant: 浙江大学

Inventor： 励雪巍 ,  李玺 ,  郑光聪 ,  吉娜烨 ,  于云龙 ,  王健

IPC: G06V20/00 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明公开了一种基于关系独立和特征适应器的关系增量场景图生成方法。该方法包括如下步骤：获取用于训练关系增量场景图生成的、带有数据集标签的训练数据集，包含基子数据集和N个增量子数据集；使用预训练的目标检测器检测出训练数据集所有图像中的所有物体，选定关系检测器；在基子数据集上使用关系独立的训练方法训练关系检测器；在N个增量子数据集依次使用关系独立的训练方法配合特征适应器训练关系检测器；使用在第N个增量子数据集上训练好的关系检测器作为最终的关系检测器。本发明充分利用前序子任务的模型，并对各个关系进行独立建模，能够更好地适应关系增量场景图生成任务。

公开(公告)号：CN114663657A

公开(公告)日：2022-06-24

申请号：CN202210249636.4

申请日：2022-03-14

Applicant: 浙江大学

Inventor： 李玺 ,  赵涵斌 ,  杨丰瑜 ,  付星赫

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06K9/62

Abstract: 本发明公开了一种偏差上下文信息修正的增量语义分割方法。该方法首先获取多个类别的语义分割数据流，并划分为多个训练数据集；在第一个增量语义分割学习步骤中，以一个训练数据集学习得到初始语义分割网络模型；在下一个增量语义分割学习步骤中，以擦除新类像素点的方法对新获得的包含新类别的训练数据集，产生偏差上下文信息修正的图片对，构建偏差上下文信息修正的训练数据集，基于偏差上下文信息修正的训练数据集，以偏差上下文信息修正和自适应类平衡的学习方法更新最新的增量语义分割网络模型。本发明能有效地修正旧类像素点的偏向新类的上下文信息和缓解偏差的类分布问题，减少对旧类知识的遗忘和对背景类别的语义漂移。

公开(公告)号：CN111242954B

公开(公告)日：2022-05-13

申请号：CN202010067124.7

申请日：2020-01-20

Applicant: 浙江大学

Inventor： 李玺 ,  陈怡峰 ,  蔺广琛

IPC: G06T7/10 ,  G06T7/194 ,  G06T3/40 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种带有双向连接和遮挡处理的全景分割方法。方法包括如下步骤：1)获取用于训练全景分割的数据集，并定义算法目标；2)使用全卷积网络对组内图像进行特征学习；3)经过语义特征提取分支对特征图提取语义特征；4)经过实例特征提取分支对特征图提取实例特征；5)建立实例分割到语义分割的连接，将语义特征与实例特征聚合进行语义分割；6)建立语义分割到实例分割的连接，将实例特征与语义特征聚合进行实例分割；7)使用遮挡处理算法，融合语义分割和实例分割的结果，输出全景分割结果。本方法充分利用了语义分割和实例分割之间的互补性，同时应用底层特征表观信息所提出的遮挡处理算法，高效地完成了图像的全景分割。

公开(公告)号：CN114463614A

公开(公告)日：2022-05-10

申请号：CN202210087655.1

申请日：2022-01-25

Applicant: 浙江大学

Inventor： 张文虎 ,  郑良立 ,  李玺

IPC: G06V20/00 ,  G06V10/26 ,  G06V10/56 ,  G06V10/46 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种使用生成式参数的层次性显著建模的显著性目标检测方法，用于在给定彩色图像的情况下，对彩色图像中的显著物体做像素级的细粒度分割。该方法具体包括如下步骤：获取训练该任务的图像数据集；建立用于提取彩色图像的主干深度神经网络；建立使显著性层次建模策略对于输入图片更有适应性的层次信号生成模块；建立用于对输入图像进行显著性层次建模的显著性层次模块；基于前述模型结构进行预测模型训练，并得到最终的训练好的神经网络模型。本发明适用于RGB场景下的显著性目标检测，面对各类复杂情况具有较佳的效果和鲁棒性。

公开(公告)号：CN110796662B

公开(公告)日：2022-04-19

申请号：CN201910859421.2

申请日：2019-09-11

Applicant: 浙江大学

Inventor： 冯君逸 ,  李颂元 ,  李玺

IPC: G06T7/10

Abstract: 本发明公开了一种实时的语义视频分割方法，用于对视频的语义分割算法进行大幅加速。具体包括如下步骤：1）获取用于训练语义分割的多组数据集，并定义算法目标；2）训练轻量级的图像语义分割CNN模型；3）对原始视频进行解码，得到残差图、运动向量以及RGB图像；4）如果当前帧为I帧，则将其送至2）中得到的分割模型，得到完整的分割结果；5）如果当前帧为P帧，则利用运动向量将其前一帧的分割结果传递至当前，并利用残差图选择当前帧的子块进行矫正；6）如此重复步骤3）~5）至完成所有视频帧的分割。本发明充分利用了视频中相邻帧的相关性，基于压缩域信息的加速处理能够在快速完成复杂分割任务的同时保持较高的准确率，效率比常见分割方法提高十数倍。

公开(公告)号：CN108985298B

公开(公告)日：2022-02-18

申请号：CN201810631795.4

申请日：2018-06-19

Applicant: 浙江大学

Inventor： 李玺 ,  吉炜

IPC: G06V10/26 ,  G06V10/82 ,  G06V40/10 ,  G06N3/04

Abstract: 本发明公开了一种基于语义一致性的人体衣物分割方法，用于在给定单帧单人衣物图片的情况下，分析每一帧的衣物区域语义情况。具体包括如下步骤：获取用于训练人体衣物分割的图像数据集，并定义算法目标；对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；对每一组图片对在流型空间中的相邻关系进行联合建模；建立衣物分割的预测模型；使用所述预测模型解析图片中衣物的语义信息。本发明适用于真实图像中的衣物分割分析，面对各类复杂情况具有较佳的效果和鲁棒性。

公开(公告)号：CN113887723A

公开(公告)日：2022-01-04

申请号：CN202111171434.4

申请日：2021-10-08

Applicant: 浙江大学

Inventor： 李玺 ,  王环宇 ,  李颂元 ,  苏世豪 ,  秦泽群

IPC: G06N3/08 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于关系型的动态路由网络学习方法，用于在分类、分割等多种任务中对相应网络预测算法进行加速。具体包括如下步骤：获取用于训练该任务的图像数据集；建立基于路由选择的基础网络模型；建立模型中选择路径的关系型路由模型；建立样本间路径的关系模型；基于前述建模结果训练预测模型；使用所述学习框架的对现有网络进行加速。本发明基于关系型的动态路由网络学习方法，相比于现有的动态网络学习方法，在现有的ResNet，DenseNet等模型下，可完成的运行速度极大的提升，具有良好的应用价值。