公开(公告)号：CN116434968A

公开(公告)日：2023-07-14

申请号：CN202310699832.6

申请日：2023-06-14

Applicant: 之江实验室 ,  北京肿瘤医院

Inventor： 胡丹青 ,  吴楠 ,  程乐超 ,  刘冰

IPC: G16H50/70 ,  G06F18/22 ,  G06F18/241 ,  G06F18/231 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/047 ,  G06N3/082

Abstract: 本发明公开了一种层级聚类约束的多标签细粒度术后并发症预测装置，属于医疗数据挖掘领域，包括：根据医学先验知识将多种细粒度术后并发症分类成不同系统并发症，并构建每个系统并发症的层次聚类图；构建预测模型，包括底层网络、次层网络、中间网络、预测网络；构建损失函数，包括基于次层隐藏特征预测的整体并发症概率和各细粒度术后并发症概率构建的预测损失、自下而上的层级约束损失和自上而下的层级约束损失；基于损失函数对预测模型进行参数优化；利用优化的预测模型进行术后并发症预测。该装置通过引入层级聚类图构建网络架构，进而预测精准度。

公开(公告)号：CN115908955B

公开(公告)日：2023-06-20

申请号：CN202310202396.7

申请日：2023-03-06

Applicant: 之江实验室

Inventor： 苏慧 ,  鲍虎军 ,  杨非 ,  程乐超 ,  宋明黎

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/778 ,  G06V40/10

Abstract: 本发明公开了基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置，通过构建鸟类图像分类数据集；在训练阶段，从鸟类图像分类数据集抽取支撑集s和预测集q，经教师网络后，分别输出的特征向量进行匹配，得到预测集q的类别预测结果，并利用所述预测结果与预测集q的类别真值构建教师网络交叉熵损失函数，训练教师网络；获取鸟类图像经过教师网络、学生网络各个网络层的特征，并利用各层特征的和，作为损失值反向传播，得到输入的鸟类图像基于损失值的梯度信息，构建梯度损失函数，使教师网络和学生网络输入的鸟类图像的梯度信息相匹配；梯度损失函数叠加学生网络交叉熵损失函数，训练学生网络，用于鸟类图像分类。

公开(公告)号：CN115238869A

公开(公告)日：2022-10-25

申请号：CN202210902103.1

申请日：2022-07-29

Applicant: 之江实验室 ,  西安电子科技大学

Inventor： 高海昌 ,  韦依儿 ,  舒超 ,  邹翔 ,  程乐超

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/04 ,  G06K9/62 ,  G06F21/62

Abstract: 本发明公开的基于图神经网络模型的成员推理攻击方法，采用图神经网络模型作为攻击模型，建立影子数据集Dshadow；生成攻击模型节点数据集D*；根据D*和其邻接关系A构建攻击模型图数据集Dattack；训练和部署成员推理攻击模型Mattack；考虑了目标模型置信分布的同时还结合了图数据集的分布信息，攻击成功率极高。同时，本发明的成员推理攻击方法使用场景可扩展至图神经网络之外的其他模型上，具有显著优势。

公开(公告)号：CN115063732A

公开(公告)日：2022-09-16

申请号：CN202210980578.2

申请日：2022-08-16

Applicant: 之江实验室

Inventor： 卢修生 ,  赵思成 ,  程乐超 ,  苏慧 ,  宋明黎

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于双流多分辨率综合建模的动作视频分类方法和系统，包括以下步骤：步骤S1：从视频样本中构建高分辨率稀疏采样帧和低分辨率稠密采样帧两种网络输入；步骤S2：所提出的双流多分辨率建模网络包含两个分支，分别处理这两种输入；步骤S3：利用侧边连接进行特征融合，得到融合后的空域卷积特征；步骤S4：两个分支得到的视频卷积特征分别经过2D池化操作和3D池化操作进行时空对齐，并在加权融合后输入全连接层，得到各视频段的预测结果；步骤S5：将各视频段的预测结果均匀融合得到原始视频的分类结果，进行网络训练。本发明基于时空多层次建模思想，分别构建两种网络输入，这两种输入包含互补的空域表观和时域运动信息，且降低运算开销。

公开(公告)号：CN114419524B

公开(公告)日：2022-08-05

申请号：CN202210316304.3

申请日：2022-03-29

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。

公开(公告)号：CN114821099A

公开(公告)日：2022-07-29

申请号：CN202210370621.3

申请日：2022-04-10

Applicant: 复旦大学 ,  之江实验室

Inventor： 金城 ,  张子墨 ,  吴渊 ,  程乐超

IPC: G06V10/44 ,  G06V10/82 ,  G06V10/766 ,  G06V40/10 ,  G06N3/04

Abstract: 本发明属于计算机视觉领域，具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统按照处理流程先后顺序分为单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分。单视角时空Transformer特征提取模块对输入的多视角姿态序列提取不同视角的时空域特征信息；多视角Transformer特征交换模块，将不同视角的时空域特征信息两两交换，然后经过回归头输出最终的3D姿态估计结果。本发明能充分利用姿态序列间的时间上下文和空间关系，在不同视角间充分进行特征交换和传输，提高了3D姿态估计结果的准确度。

公开(公告)号：CN112801162B

公开(公告)日：2022-06-24

申请号：CN202110088346.1

申请日：2021-01-22

Applicant: 之江实验室

Inventor： 程乐超 ,  冯尊磊 ,  单海军 ,  宋明黎

IPC: G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于图像属性先验的自适应软标签正则化方法，包括如下步骤：S1，通过神经网络中间特征层聚合构建图像的属性表达；S2，利用重参数化方法对属性概率先验进行软采样；S3，利用现有真值标签对采样软标签进行修正和截断；S4，多尺度属性先验正则化。通过模仿人眼进行图像分类是依据图像局部属性重要性的能力，在利用少量参数的情况下，有效地缓解在图像分类任务中由于方法模型对于结果的过于自信导致的过拟合问题，有效的提升图像分类的准确性。本发明实现方法简单，手段灵活，可以比较容易地应用到一般性图像分类任务中。

公开(公告)号：CN114419524A

公开(公告)日：2022-04-29

申请号：CN202210316304.3

申请日：2022-03-29

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于伪光流辅助的视频分类方法及系统，能够计算伪光流特征并利用其辅助进行视频分类，其中伪光流计算模块利用相关性计算/卷积/转置卷积等操作，无监督地估计伪光流特征，然后将其融合到主干网络中，从而对段间运动信息进行有效显式建模；伪光流激励模块则在将伪光流特征对通道维度取均值后，用来对主干网络中的视频卷积特征进行空间注意力操作，从而使得主干网络更关注与运动信息更相关的空间位置。本发明实现方法简便，思路灵活，在动作视频数据集上取得了显著的分类效果提升。

公开(公告)号：CN113869463B

公开(公告)日：2022-04-15

申请号：CN202111457536.2

申请日：2021-12-02

Applicant: 之江实验室

Inventor： 程乐超 ,  茅一宁 ,  苏慧 ,  冯尊磊 ,  宋明黎

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于交叉增强匹配的长尾噪声学习方法，用于解决同时具有长尾特征与噪声标签的图像分类问题。根据数据噪声特征，该方法通过对弱增强数据与强增强数据分别取得的预测结果进行匹配来筛选噪声样本，并引入一种剔除噪声的正则化措施来消除被识别噪声样本的影响。针对数据长尾特征，该方法实施一种新的基于在线先验分布的预测惩罚以避免对头部类别的偏置。本发明实现方法简便，手段灵活，在实时获取类拟合度方面具有优势，因此在长尾数据、噪声数据以及同时具有二者特征的训练数据上都取得显著的分类效果提升。

公开(公告)号：CN113837154B

公开(公告)日：2022-03-25

申请号：CN202111411082.5

申请日：2021-11-25

Applicant: 之江实验室

Inventor： 苏慧 ,  程乐超 ,  宋明黎

IPC: G06V20/52 ,  G06V10/26 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多任务辅助的开放集过滤系统及方法，用于解决监控场景下属性分类过程中的开放集干扰问题。该系统包括图像划分层、池化层和全连接层，图像划分层与池化层之间的每个网络阶段，包括固定窗口多头自注意力机制块和移动窗口多头自注意力机制块，将每个网络阶段的固定窗口多头自注意力机制块串联；该方法利用transformer能够实现全网络感受野不变的特点，在构建的属性分类网络上，加入分割分支实现图像块分割，利用图像块分割过滤属性分类中的开放集，针对图像块分割过程中背景、前景数量不均衡问题，实施一种新的基于特征增广的惩罚公式，提升图像块分割分支前景、背景的识别效果。