公开(公告)号：CN118016230A

公开(公告)日：2024-05-10

申请号：CN202410111765.6

申请日：2024-01-26

Applicant: 之江实验室

Inventor： 苏慧 ,  胡丹青 ,  朱晓峰

IPC: G16H15/00 ,  G16H30/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于标签干预的CT影像报告生成方法、装置和介质，该方法包括：首先针对医学图片，构建检测损失和分类损失，对图像编码器进行训练，使其实现肿块的检测功能、肺部病情特点多个标签信息的分类功能；然后根据已训编码器判断的肺部肿物标签，匹配到相应的肺部肿物术语名称，将多个术语名称拼接，生成拼接术语；再将拼接术语通过词嵌入的方式映射到向量空间，生成标签干预向量；最后将输入标识、标签干预向量和图像编码器特征一同送入解码器中，构建字幕损失，对解码器进行训练，使其能生成医学报告。本发明方法内容新颖，针对数据量少、篇幅长的真实医学数据，也能有效挖掘报告关键性信息与图像的关联，生成更优的医学报告。

公开(公告)号：CN116564524A

公开(公告)日：2023-08-08

申请号：CN202310791063.2

申请日：2023-06-30

Applicant: 之江实验室

Inventor： 胡丹青 ,  朱晓峰 ,  苏慧

IPC: G16H50/30 ,  G16H50/70 ,  G06F18/243 ,  G06F18/27 ,  G06F18/2415

Abstract: 本发明公开了一种伪标签演变趋势正则的预后预测装置，其执行时：获取包含多名患者的预后数据集，选择出患者发生终点事件或失访的时间最大值并将其划分成多个等间隔的时间段，计算所有患者每个时间段内的预后标签结果，其中利用KM曲线计算患者失访的时间段及其之后各时间段内的伪标签结果；构建预后预测模型，预测患者每个时间段内发生终点事件的概率；构建损失函数，包括各时间段内预测结果和预后标签结果之间的误差，以及根据预后标签结果计算的预后演变趋势正则化项；基于损失函数对预后预测模型进行参数优化；利用优化的预后预测模型进行预后预测。

公开(公告)号：CN116152575A

公开(公告)日：2023-05-23

申请号：CN202310410038.5

申请日：2023-04-18

Applicant: 之江实验室

Inventor： 苏慧 ,  卢修生 ,  叶玥 ,  郭蕊

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于类激活采样引导的弱监督目标定位方法、装置和介质，该方法首先构建训练集和测试集以及分类网络和交叉熵损失函数，实现分类网络的初步训练；然后获取原始图像、原始编码特征和原始类别概率，并根据原始编码特征生成类激活矩阵；再构建权重采样矩阵，并进行像素重采样，得到重采样图像和重采样特征以及重采样编码特征和重采样类别概率；然后构建一致性损失函数和重采样的交叉熵损失函数并进行训练，以获取最终训练好的分类网络；最后针对类激活矩阵构建阈值，以获取目标定位。本发明内容新颖，有效挖掘容易被忽略的目标次判别性区域，目标定位能力更优，能够解决仅包含图像属性分类标签情况下的弱监督目标定位问题。

公开(公告)号：CN115311504B

公开(公告)日：2023-01-31

申请号：CN202211236327.X

申请日：2022-10-10

Applicant: 之江实验室

Inventor： 苏慧 ,  卢修生 ,  叶越 ,  王瑾

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种基于注意力重定位的弱监督定位方法和装置，将图像切分成图像块并线性投影映射成局部表征，利用网络中第一层至倒数第二层的transformer层的自注意力机制构建类别关联向量；对类别关联向量进行排序和积分图操作，构建重定位二值矩阵；构建掩码transformer层，局部表征输入掩码transformer层中获得分类权重向量；基于分类权重向量对局部表征实现加权和操作，将类别表征和加权和结果一并送入最后一层transformer层；训练过程中，对最后一层transformer层的输出类别表征和图像类别标签构建交叉熵损失函数，进行训练。测试过程中融合类别关联向量和分类权重向量，获得目标检测框信息，实现目标定位。相较于现有技术，本发明充分发挥transformer长程依赖能力，目标定位能力更优。

公开(公告)号：CN115063732B

公开(公告)日：2022-11-11

申请号：CN202210980578.2

申请日：2022-08-16

Applicant: 之江实验室

Inventor： 卢修生 ,  赵思成 ,  程乐超 ,  苏慧 ,  宋明黎

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于双流多分辨率综合建模的动作视频分类方法和系统，包括以下步骤：步骤S1：从视频样本中构建高分辨率稀疏采样帧和低分辨率稠密采样帧两种网络输入；步骤S2：所提出的双流多分辨率建模网络包含两个分支，分别处理这两种输入；步骤S3：利用侧边连接进行特征融合，得到融合后的空域卷积特征；步骤S4：两个分支得到的视频卷积特征分别经过2D池化操作和3D池化操作进行时空对齐，并在加权融合后输入全连接层，得到各视频段的预测结果；步骤S5：将各视频段的预测结果均匀融合得到原始视频的分类结果，进行网络训练。本发明基于时空多层次建模思想，分别构建两种网络输入，这两种输入包含互补的空域表观和时域运动信息，且降低运算开销。

公开(公告)号：CN115063731A

公开(公告)日：2022-09-16

申请号：CN202210980577.8

申请日：2022-08-16

Applicant: 之江实验室

Inventor： 卢修生 ,  赵思成 ,  程乐超 ,  苏慧 ,  宋明黎

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于两阶段运动建模和注意力的动作视频分类方法和系统，包括以下步骤：步骤S1：构建采样帧输入至主干网络；步骤S2：第一阶段段内运动信息建模，输出包含短时运动信息的视频卷积特征；步骤S3：第二阶段段间运动信息建模，输出融合了短时运动信息和长时运动信息的空间块注意力视频卷积特征；步骤S4：经过全连接层后得到各视频段的分类结果并融合，训练网络。本发明利用卷积神经网络的多层次结构，在网络的较低层和较高层分别提取段内运动信息和段间运动信息，达到分阶段运动综合建模的目的。此外，本发明计算视频卷积特征各空间块之间的注意力关系，使得网络同时具备了卷积操作和注意力机制的短距离和长距离建模能力。

公开(公告)号：CN114494791B

公开(公告)日：2022-07-08

申请号：CN202210353591.5

申请日：2022-04-06

Applicant: 之江实验室

Inventor： 苏慧 ,  程乐超 ,  王聪 ,  卢修生 ,  宋明黎

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于注意力选择的transformer运算精简方法，在transformer网络的每层用注意力机制获取关联矩阵，对关联矩阵的每一行计算信息熵，获得各个局部标识对于网络任务的重要性程度，将局部标识划分为重要标识和不重要标识，每间隔一定网络层，计算不重要标识的特征参数和，将不重要标识的特征参数值加到重要标识上，删除不重要标识，仅重要标识进入网络下一层。网络训练过程中，构建交叉熵损失函数和重要性损失函数，重要性损失函数用于降低重要标识与不重要标识的关联。本发明方法从影响网络任务的判别性区域的选择角度出发，实现方法简单，有效减少网络计算量的同时，对模型精度影响很小，且可以与已知网络压缩方法同时使用，共同实现计算量压缩。

公开(公告)号：CN117292209B

公开(公告)日：2024-04-05

申请号：CN202311585233.8

申请日：2023-11-27

Applicant: 之江实验室

Inventor： 卢修生 ,  苏慧 ,  胡丹青 ,  郭蕊 ,  宋明黎

IPC: G06V10/764 ,  G06V20/40

Abstract: 本发明公开了基于时空增强三维注意力重参数化的视频分类方法及装置，将待分类视频的各视频帧在空间上均匀划分为不重叠的块，将各块经过拉伸、线性映射和叠加位置嵌入向量，得到第一视频特征；将第一视频特征经过Transformer网络进行处理，得到第二视频特征；每层网络均包含时空增强三维注意力模块和多层感知机；时空增强三维注意力模块在训练时包含三维注意力、空间注意力和时间注意力三个分支，自适应地增强具有时空关联的令牌之间的依赖关系，推理时计算等价地退化为三维注意力操作，以降低推理开销；将第二视频特征中的类别令牌利用全连接层进行分类，得到各视频帧的分类结果，再经过时域平均池化操作，得到视频的类别预测结果。

公开(公告)号：CN115908955A

公开(公告)日：2023-04-04

申请号：CN202310202396.7

申请日：2023-03-06

Applicant: 之江实验室

Inventor： 苏慧 ,  鲍虎军 ,  杨非 ,  程乐超 ,  宋明黎

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/778 ,  G06V40/10

Abstract: 本发明公开了基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置，通过构建鸟类图像分类数据集；在训练阶段，从鸟类图像分类数据集抽取支撑集s和预测集q，经教师网络后，分别输出的特征向量进行匹配，得到预测集q的类别预测结果，并利用所述预测结果与预测集q的类别真值构建教师网络交叉熵损失函数，训练教师网络；获取鸟类图像经过教师网络、学生网络各个网络层的特征，并利用各层特征的和，作为损失值反向传播，得到输入的鸟类图像基于损失值的梯度信息，构建梯度损失函数，使教师网络和学生网络输入的鸟类图像的梯度信息相匹配；梯度损失函数叠加学生网络交叉熵损失函数，训练学生网络，用于鸟类图像分类。

公开(公告)号：CN115250246B

公开(公告)日：2022-12-06

申请号：CN202211148618.3

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 叶玥 ,  王瑾 ,  苏慧

IPC: H04L43/10 ,  H04L67/10 ,  H04L67/50 ,  H04L69/164 ,  H04L69/22

Abstract: 本发明公开了一种监测虚拟机集群中节点状态的方法和计算机系统。该方法基于通用的主/从分布式集群架构，自定义面向通信协议透明的心跳包编码及解码规则；基于全局可分发的编码元数据，设计了分段标识以及前缀匹配的身份标识编码格式，突破数据包所有字段都以字节为最小单位的编码范式，构造相对轻量级的心跳数据包。该方法应用在大规模集群中，能够有效减少监测数据所占用的系统带宽资源，提升虚拟机集群的网络吞吐量和稳定性。