公开(公告)号：CN114463736B

公开(公告)日：2024-11-05

申请号：CN202210049863.2

申请日：2022-01-17

申请人： 天津大学

发明人： 聂为之 ,  高思洁 ,  马瑞鑫 ,  刘通

IPC分类号： G06V20/64 ,  G06V10/22 ,  G06V10/40 ,  G06V10/56 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/084

摘要： 本发明公开了一种基于多模态信息融合的多目标检测方法及装置，方法包括：将三维与二维的特征图通过共享参数的卷积神经网络进行前向传递，根据交叉熵对卷积神经网络进行训练，实现三维与二维特征融合；将融合后的三维特征图输入到三维区域生成网络中，该网络通过两个分支分别对三维特征图进行映射，分别输出三维目标检测框位置图与概率分数图；将融合后的二维特征图输入到二维区域生成网络中，输出二维目标检测框位置图与概率分数图，此时分别得到点云数据与RGB二维图像中目标的位置及检测的概率分数图；采取后融合的策略，将两种模态下的目标检测框进行融合得到最终的目标检测结果。装置包括：处理器和存储器。克服了传统单模态方法中信息单一、鲁棒性差的局限性。

公开(公告)号：CN118571492B

公开(公告)日：2024-10-18

申请号：CN202411053286.X

申请日：2024-08-02

申请人： 天津市胸科医院 ,  天津大学

发明人： 白云鹏 ,  张韶鹏 ,  马晓中 ,  唐一鹏 ,  陈彤云 ,  王蒙 ,  陈庆良 ,  宋振春 ,  聂为之

IPC分类号： G16H50/30 ,  G06N3/0455 ,  G06N3/08 ,  G06T7/00 ,  G06T7/11 ,  G06T7/13

摘要： 本发明涉及图像分割技术领域，公开了基于组织边界影响的主动脉夹层患者并发症风险预测模型，包括初始预测图像获取模块、深度学习模型及先验知识获取模块、损失函数定义及损失项设置模块、判断模块、辅助权重赋予模块、目标病灶区域图像输出模块、关键特征信息选择模块、风险预测结果输出模块；所述先验知识至少包括人工标定的主动脉瘤图像、气管形状信息、主动脉瘤形状信息、气管与主动脉瘤的位置变化信息；本申请在损失函数中引入形状损失项和位置损失项，根据气管与主动脉瘤的重叠大小对形状损失项赋予不同的辅助权重，模型优化过程中以突出病灶区域的形状弱化气管区域的形状，更准确分割出目标病灶区域。

公开(公告)号：CN116934970B

公开(公告)日：2024-08-23

申请号：CN202310908478.3

申请日：2023-07-24

申请人： 天津大学

发明人： 聂为之 ,  焦传琦 ,  宋丹 ,  刘安安 ,  白云鹏

IPC分类号： G06T17/00 ,  G06V10/80 ,  G06T15/20 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于先验知识引导的医学单视图三维重建装置，包括：描述符提取模块，用于获取2D图像的特征和3D形状的特征，做特征对齐；跨域特征对齐网络模块，用于对检索出的多个三维模型利用三维模型编码器提取三维特征作为跨模态先验知识；三维模型重建模块，用于利用视图编码器提取原始的视图特征，对于三维先验知识使用三维模型编码器将其处理为特征集合；特征融合模块，用于构建基于多层Transformer网络的多模态特征融合网络，采用交叉注意力机制将提取到的跨模态先验知识与输入医学单视图特征进行融合；训练网络框架模块，用于采用跳跃连接捕捉单视图的多尺度显著性特征，基于视图和检索到的3D先验知识的融合特征通过三维模型解码器预测三维模型的空间结构。

公开(公告)号：CN116541675A

公开(公告)日：2023-08-04

申请号：CN202310483015.7

申请日：2023-05-04

申请人： 天津大学

发明人： 聂为之 ,  赵岳 ,  聂婕 ,  王成龙

IPC分类号： G06F18/20 ,  G06F18/23 ,  G06N3/0442 ,  G06N3/08

摘要： 本发明公开了一种工业故障预测方法、系统、电子设备及介质，涉及故障预测领域，该方法，包括：获取工业设备在当前时刻采集到的工业数据，得到目标工业数据；计算目标工业数据与各聚类中心之间的目标距离，目标距离根据目标工业数据与各聚类中心之间的空间距离和时间距离计算得到，一个聚类中心对应一类工作模式；将所有的目标距离中距离值最小的聚类中心对应的工作模式确定为目标工作模式；将目标工业数据输入目标工作模式对应的故障预测模型中，得到未来时刻的故障预测类别；一个工作模式对应一个故障预测模型；故障预测模型是基于引入状态转移模型的Transformer网络构建的。本发明能提升工业故障预测的预测精度。

公开(公告)号：CN111125406B

公开(公告)日：2023-08-04

申请号：CN201911341230.3

申请日：2019-12-23

申请人： 天津大学

发明人： 刘安安 ,  王彦晖 ,  徐宁 ,  聂为之

IPC分类号： G06F16/55 ,  G06F16/583 ,  G06V10/762

摘要： 本发明公开了一种基于自适应聚类学习的视觉关系检测方法，包括：从输入图像中检测视觉实体并通过上下文信息传递机制识别视觉实体，获得视觉实体上下文表征；将成对视觉实体上下文表征统一低维嵌入联合子空间中，获取视觉关系共享表示特征；将成对视觉实体上下文表征分别低维嵌入多个不同聚类子空间中，获取多个初步视觉关系增强表示特征；通过聚类驱动的注意力机制对不同聚类子空间的多个初步视觉关系增强表示特征进行正则化；将视觉关系共享表示特征，正则化后的视觉关系增强表示特征与视觉关系谓词类别标签的先验条件分布融合，对视觉关系谓词进行综合关系推理。本发明通过潜在关联挖掘对不同子类的视觉关系进行细粒度识别，提高了视觉关系检测的精度。

公开(公告)号：CN112330825A

公开(公告)日：2021-02-05

申请号：CN202011268458.7

申请日：2020-11-13

申请人： 天津大学

发明人： 褚晶辉 ,  郑博文 ,  聂为之

IPC分类号： G06T19/20 ,  G06T17/00 ,  G06N3/04

摘要： 本发明公开了一种基于二维图像信息的三维模型检索方法，所述方法包括：获取预处理后的三维模型的多个二维视图，基于深度强化学习网络结构，估计三维模型的最佳姿态，选择最佳姿态下的虚拟视图作为三维模型的特征视图；对特征视图做模态转换，基于生成对抗网络结构，通过生成器和判别器的不断对抗，生成虚拟视图的“真实图像”，以使特征视图和检索图像具有相同的特征空间；度量生成图像和输入检索图像的相似度，通过VGG‑NET16网络结构对图像做特征向量提取；通过欧氏距离计算生成图像和输入检索图像特征向量的相似度，以特征向量的相似度来代表三维模型和检索图像间的相似度，根据相似度的大小对检索结果进行排序。

公开(公告)号：CN111461166A

公开(公告)日：2020-07-28

申请号：CN202010128604.X

申请日：2020-02-28

申请人： 天津大学

发明人： 张静 ,  陈闯 ,  聂为之

IPC分类号： G06K9/62 ,  G06N3/04

摘要： 本发明公开了一种基于LSTM网络的多模态特征融合方法，所述方法包括：1)将多台摄像机摆放在三维模型周围，通过连续的拍摄获取一组表征三维模型的多视角视图；2)基于第一个LSTM网络获取多视图中包含的三维模型视觉特征，基于DeepSkeleton网络获取多视图中包含的三维模型骨架特征；3)将获取到的视觉特征和骨架特征输入第二个LSTM网络实现三维模型多模态特征的融合；本发明利用LSTM信息持久化的特点构建多模态融合模型，实现了模型视觉特征和结构特征的融合。

公开(公告)号：CN106951501B

公开(公告)日：2020-05-12

申请号：CN201710156413.2

申请日：2017-03-16

申请人： 天津大学

发明人： 刘安安 ,  郝雅惠 ,  聂为之

IPC分类号： G06F16/532

摘要： 本发明公开了一种基于多图匹配的三维模型检索方法，包括以下步骤：结合相似性最大原理、一元或二元匹配一致性原理，对初始匹配矩阵进行一元或二元逐步一致性正则化计算，找到多视图中最佳的中间级图；根据节点匹配一致性、掩膜、最佳的中间级图，获取转换后的一元匹配一致性或二元匹配一致性；重复上述步骤，构建相似性超图或一致性超图，利用最大生成树算法生成最终匹配矩阵；对最终匹配矩阵进行归一化处理，获取到的列序列即为数据库中两两三维模型之间的相似度；对相似度进行排序，从而实现三维模型的检索。本发明有效避免了变形噪声和异常值的产生，将图匹配与三维模型数据库的整体信息相结合，提高了图匹配检索的效率和精度。

公开(公告)号：CN106844620B

公开(公告)日：2020-05-12

申请号：CN201710038391.X

申请日：2017-01-19

申请人： 天津大学

发明人： 刘安安 ,  师阳 ,  聂为之

IPC分类号： G06F16/583 ,  G06K9/62

摘要： 本发明公开了一种基于视图的特征匹配三维模型检索方法，包括：将多视角高斯核和跨视角高斯核合并为多视角训练特征，将单视角高斯核和跨视角高斯核合并为单视角训练特征，利用多视角训练特征和单视角训练特征构建目标函数并使其最小化得到特征匹配矩阵；从多视角模型库和单视角模型库中分别选择一些物体作为测试集，将多视角高斯核和跨视角高斯核合并为多视角测试特征，将单视角高斯核和跨视角高斯核合并为单视角测试特征；将多视角测试特征乘以转换函数得到映射后的特征，将单视角测试特征乘以另一转换函数得到映射后的特征；计算特征间的cos距离进而获得模型之间的相似度。本发明可以应用于任何基于视图的多视角和单视角目标数据库。

公开(公告)号：CN111078916A

公开(公告)日：2020-04-28

申请号：CN201911061497.7

申请日：2019-11-01

申请人： 天津大学

发明人： 刘安安 ,  郭富宾 ,  周河宇 ,  宋丹 ,  聂为之

IPC分类号： G06F16/532 ,  G06F16/583 ,  G06T7/66

摘要： 本发明公开了一种基于多层次特征对齐网络的跨域三维模型检索方法，所述方法包括：利用虚拟相机对三维模型数据库中的三维模型进行虚拟拍照，生成多视图数据；构建多层次特征对齐网络；通过对齐网络、鉴别器对图像和三维模型的特征进行域层次的特征对齐；基于对齐网络，计算出图像和三维模型这两个域中每一个类的所有特征的质心，将同一类的质心之间的距离作为损失函数的一部分，利用反向传播算法最小化损失函数；当损失函数最小化时，利用训练好的多层次特征对齐网络分别提取图像和三维模型的特征，进行跨域的三维模型检索。本发明提出了一个新的网络框架：多层次的特征对齐网络，在域层次和类层次两个层次上对图像和三维模型两个域进行了特征对齐，提高了跨域三维模型检索精度。