-
公开(公告)号:CN118470220B
公开(公告)日:2024-09-03
申请号:CN202410917489.2
申请日:2024-07-10
申请人: 中国海洋大学
摘要: 本发明公开了一种基于声呐和光学图像融合的快速水下三维重建方法及系统,属于计算机视觉领域。本发明利用声呐图像和光学图像融合进行三维重建,声呐图像粗糙重建阶段负责重建物体粗糙形状,光学图像细节重建阶段负责重建物体细节,充分利用了声学图像和光学图像的特点,声学图像更多包括物体的粗糙几何形状信息,而光学图像更多包括物体的细节信息。经过实际验证,本发明可在5分钟内重建出高精度的物体三维形状,在精度领先于目前最先进方法的同时,速度提高了10倍到20倍,在水下三维声呐领域实现了最先进的性能。本发明构建的方法和系统重建效果优异,且兼顾了高效率和高准确度。
-
公开(公告)号:CN118470219B
公开(公告)日:2024-09-03
申请号:CN202410917485.4
申请日:2024-07-10
申请人: 中国海洋大学
IPC分类号: G06T17/00 , G06T9/00 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/08
摘要: 本发明公开了一种基于无标定图像的多视角三维重建方法和系统,属于计算机视觉领域。首先通过SAM模型从背景中分割出前景图像,并作为训练的图像数据;将其作为点云扩散模型PointE的输入,生成粗阶段的点云表达,通过ResNet图像编码器进行编码,获得图像特征数据;通过点云编码器进行编码,获得点云特征数据;基于注意力机制,将单个图像的特征与粗阶段点云特征进行融合,弥补粗阶段点云特征的不足,基于交叉注意力机制,对多个图像特征进行融合;结合融合的多图像特征对点云的细节恢复,并与真实点云基于倒角距离的损失函数去进行模型参数学习进而对物体点云重建。经过实际验证,本发明提供的三维建方法具有高效、精度高的特点。
-
公开(公告)号:CN118470515A
公开(公告)日:2024-08-09
申请号:CN202410917487.3
申请日:2024-07-10
申请人: 中国海洋大学
摘要: 本发明提出了一种针对水下目标物的自监督三维点云补全方法,属于计算机视觉技术领域。本发明包括:收集水下三维点云数据,并将残缺点云分为训练数据和测试数据;使用最远点采样算法提取点云轮廓集,并通过最近邻采样算法构建点云块集;构建点云特征编码器模块、点云特征解码器模块、形状特征编码器模块、文本特征编码器模块以及形状‑文本特征匹配模块,并引入跨注意力机制以增强特征融合;通过多模态约束构建自监督补全神经网络模型,并利用训练数据进行训练;利用训练好的模型对残缺点云进行补全。本发明结合了多模态信息和自监督学习技术,显著提升了水下目标物三维点云数据的完整性和精度。
-
公开(公告)号:CN117611930A
公开(公告)日:2024-02-27
申请号:CN202410089394.6
申请日:2024-01-23
申请人: 中国海洋大学
IPC分类号: G06V10/764 , G06T7/00 , G06V10/82 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种基于CLIP的医学图像的细粒度分类方法,属于计算机视觉技术领域。本发明利用clip模型以及特征对齐的思想,搭建了医学图像细粒度图像分类的通用模型,可以通过先粗粒度后细粒度分类的方式,对于不同类型的医学图像数据集进行很好的分类,并进一步在各个医学图像数据集中实现细粒度分类。本发明能够成为医学图像细粒度分类领域中的通用模型,预测效果较好,具有广阔的应用前景。
-
公开(公告)号:CN118470222A
公开(公告)日:2024-08-09
申请号:CN202410917497.7
申请日:2024-07-10
申请人: 中国海洋大学
摘要: 本发明公开了一种基于SDF扩散的医学超声影像三维重建方法和系统,属于计算机视觉技术领域。首先使用在医学数据上预训练的视觉模型对输入超声图像提取特征。随后开始SDF扩散过程,反向扩散过程由完全随机噪声开始,逐步去噪以得到干净的SDF场,其中使用状态空间模型和交叉注意力对SDF特征和超声图像特征进行融合,以实现SDF场所表示三维表面与超声图像一致。经过实际验证,本发明提供的基于SDF扩散的医学超声影像三维重建方法具有高效、高精确度的特点。
-
公开(公告)号:CN118470221A
公开(公告)日:2024-08-09
申请号:CN202410917490.5
申请日:2024-07-10
申请人: 中国海洋大学
摘要: 本发明公开了一种基于非标定单视图的三维目标重建方法,属于计算机视觉领域。首先通过SAM模型从图像中有效的从背景中分割出物体数据,将这些物体数据作为训练的图像数据;然后通过多模态大模型CLIP的图像编码器进行编码,获得图像特征数据;随后基于高斯模型先后进行粗粒度和细粒度的物体点云生成;然后把生成的点云分成点云簇,传入一个点云特征编码器生成点特征,再基于交叉注意力机制,对图像特征和点云特征进行两阶段的融合;最后结合融合特征对密集点云的细节恢复与真实点云基于倒角距离的损失函数去进行模型参数学习进而对物体点云重建。经过实际验证,本发明提供的目标重建方法具有高效、精度高的特点。
-
公开(公告)号:CN118470219A
公开(公告)日:2024-08-09
申请号:CN202410917485.4
申请日:2024-07-10
申请人: 中国海洋大学
IPC分类号: G06T17/00 , G06T9/00 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/08
摘要: 本发明公开了一种基于无标定图像的多视角三维重建方法和系统,属于计算机视觉领域。首先通过SAM模型从背景中分割出前景图像,并作为训练的图像数据;将其作为点云扩散模型PointE的输入,生成粗阶段的点云表达,通过ResNet图像编码器进行编码,获得图像特征数据;通过点云编码器进行编码,获得点云特征数据;基于注意力机制,将单个图像的特征与粗阶段点云特征进行融合,弥补粗阶段点云特征的不足,基于交叉注意力机制,对多个图像特征进行融合;结合融合的多图像特征对点云的细节恢复,并与真实点云基于倒角距离的损失函数去进行模型参数学习进而对物体点云重建。经过实际验证,本发明提供的三维建方法具有高效、精度高的特点。
-
公开(公告)号:CN117952993B
公开(公告)日:2024-06-18
申请号:CN202410353448.5
申请日:2024-03-27
申请人: 中国海洋大学
IPC分类号: G06T7/11 , G06T7/00 , G06V10/764 , G06V10/82 , G06N3/0895
摘要: 本发明公开了一种基于图像文本协同约束的半监督医学图像分割方法,属于医学图像处理技术领域。本发明包含一个由SAM模型和CLIP模型共享的编码器、CLIP模型分支以及SAM模型分支。SAM模型擅长图像分割和对象定位,具有良好的空间理解能力;而CLIP模型具有强大的跨模态理解能力,可以将文本和图像信息结合起来进行任务处理。将二者结合可以使模型在图像理解任务中既具有良好的空间定位能力,又能够充分利用文本信息进行理解,从而更全面地理解和处理图像。本发明结合SAM和CLIP模型可以通过相互补充的方式提升模型性能,并且可以灵活地根据任务需求调整模型的结构和参数,从而更好地适应不同的图像分割的任务及场景。
-
公开(公告)号:CN117611930B
公开(公告)日:2024-04-26
申请号:CN202410089394.6
申请日:2024-01-23
申请人: 中国海洋大学
IPC分类号: G06V10/764 , G06T7/00 , G06V10/82 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种基于CLIP的医学图像的细粒度分类方法,属于计算机视觉技术领域。本发明利用clip模型以及特征对齐的思想,搭建了医学图像细粒度图像分类的通用模型,可以通过先粗粒度后细粒度分类的方式,对于不同类型的医学图像数据集进行很好的分类,并进一步在各个医学图像数据集中实现细粒度分类。本发明能够成为医学图像细粒度分类领域中的通用模型,预测效果较好,具有广阔的应用前景。
-
公开(公告)号:CN117611601B
公开(公告)日:2024-04-23
申请号:CN202410096489.0
申请日:2024-01-24
申请人: 中国海洋大学
IPC分类号: G06T7/10 , G06T7/00 , G06N3/0895 , G06N3/088 , G06N3/0464
摘要: 本发明公开了一种基于文字辅助的半监督3D医学图像分割方法,属于医学图像处理技术领域。本发明在基于文字辅助正交注释的“几乎无监督”3D医学图像分割的时候,考虑到了整个过程中应最大化的减少人工标注的工作,降低相邻切片注释的冗余性,充分利用体积图片不同视角所带来的视差可以互相弥补的优势。克服两分支交叉监督是“非此即彼”的范式,引入了更多的惩罚因素,使得交叉伪监督的效果更好。本发明对减轻训练3D医学图像分割中所需要复杂的注释工作具有重要意义,为如何使用文本来指导3D医学分割的工作提供了一个新方向。
-
-
-
-
-
-
-
-
-