-
公开(公告)号:CN103413347A
公开(公告)日:2013-11-27
申请号:CN201310280435.1
申请日:2013-07-05
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于前景背景融合的单目图像深度图提取方法,属于计算机视觉的三维图像重建领域。本发明方法包括以下步骤:步骤A、采用非参数化机器学习的方法,提取原始单目图像的前景深度图;步骤B、对原始单目图像,采用线性透视方法估计具有整体分布趋势的背景深度图;步骤C、对原始单目图像的前景深度图、背景深度图进行全局融合,得到所述原始单目图像最终的深度图。相比现有技术,本发明不需要计算相机参数,计算复杂度低,简单易行。
-
公开(公告)号:CN102682477A
公开(公告)日:2012-09-19
申请号:CN201210150207.8
申请日:2012-05-16
Applicant: 南京邮电大学
IPC: G06T17/00
Abstract: 本发明公开了一种基于结构先验的规则场景三维信息提取方法。本发明包括:利用PMVS算法产生三维空间有向点云;利用无监督聚类算法对三维有向点的方向分布进行分类处理,得到空间显著平面法线方向;根据三维空间点云的坐标及其平面法线方向,计算三维空间点云在其平面法线方向上的位置偏移,并对这些三维点云的位置偏移聚类得到空间显著平面的偏移量;分别对各二维图像进行预分割,并对分段区域边缘做平滑处理,获得各二维图像的区域分段信息;以三维空间显著平面为标注,图像分段区域为节点,构建马尔科夫随机场模型,并基于全局优化方法求解该模型,以获取各视点图像中的分段共面深度信息。本发明方法具有更高的准确性及较低的计算复杂度。
-
公开(公告)号:CN114882412B
公开(公告)日:2024-06-25
申请号:CN202210511572.0
申请日:2022-05-11
Applicant: 南京邮电大学
IPC: G06V20/40 , G06V10/80 , G06V10/82 , G06V10/764 , G06V10/774 , G06F40/30 , G06F40/242 , G06F16/35
Abstract: 本发明公开了一种基于视觉和语言的标注关联型短视频情感识别方法及系统。首先分别提取出视频流在空间维和时间维上的低层视觉特征,将其输入多头自注意力网络,与视觉信息的高层情感特征在特征层予以融合,计算出短视频视觉模态的情感分值矩阵;接着使用词向量工具将短视频的文本内容转化为词向量并利用情感词典增强其情感极性;再从其中提取语言信息所包含的高层语义特征,并计算出短视频文本模态的情感分值矩阵;最后将情感分值矩阵与加权系数矩阵相乘,得到短视频的情感分类结果。本发明可以有效融合短视频视觉和语言的情感信息,兼顾视频流的空时变化和文本内容的前后语义关系,突破单模态情感分类的局限性,提高短视频情感分类的准确率。
-
公开(公告)号:CN118114105A
公开(公告)日:2024-05-31
申请号:CN202311718252.3
申请日:2023-12-14
Applicant: 南京邮电大学
IPC: G06F18/241 , G06F18/2415 , G06F18/15 , G06F18/213 , G06F18/25 , G06V10/80 , G06N3/0464 , G06N3/047 , G06N3/0455 , G06N3/082 , G06N3/0895 , G06V10/82
Abstract: 本发明公开了一种基于对比学习和Transformer结构的多模态情感识别方法及系统,该方法包括对数据集的数据样本进行预处理和划分,划分成训练集、测试集和验证集;利用图像特征提取模型和文本特征提取模型分别对图像数据和文本数据进行特征提取;计算图文对比损失,完成图像特征和文本特征的对齐;利用多层transformer‑encoder进行模态特征融合,通过softmax函数得到情感分类的结果;利用数据增强方法及随机dropout方法对数据样本进行正负样本构建,与原数据集特征进行对比学习,优化整个模型参数。本发明使用轻量化模型提取特征,并辅以模态对齐及对比学习任务,在不影响模型精度的同时,降低计算复杂度,提升运行速度。
-
公开(公告)号:CN114549523A
公开(公告)日:2022-05-27
申请号:CN202210436787.0
申请日:2022-04-25
Applicant: 南京邮电大学
IPC: G06T7/00 , G06V10/774 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于单步深度网络的曲面体层图正中多生牙自动检测方法,其特征在于,包括:采集新曲面体层图像;将新曲面体层图像输入训练获得的单步深度网络模型,获得多个候选边界框位置及包含目标类别属于正中多生牙的目标置信度;利用非极大值抑制方法从多个候选边界框中筛选出最终的边界框,获得正中多生牙的最终定位。本发明只需对曲面体层图像进行一次扫描,即可快速自动识别该图像中是否含有正中多生牙并同时给出其位置,以避免医生经验差异对精度的影响,辅助医生快速正确诊断正中多生牙。
-
公开(公告)号:CN110532911B
公开(公告)日:2021-11-26
申请号:CN201910763722.5
申请日:2019-08-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种协方差度量驱动小样本GIF短视频情感识别方法及系统。该方法首先从数据集中抽取样本构成支撑集和查询集,并将抽取的样本按照设定帧率分割为若干候选帧图像;然后利用C3D提取样本中的序列特征,同时利用CNN提取帧图像的视觉特征,然后逐帧进行哈达玛内积运算,得到最终的图像视觉特征,再采用ConvLSTM技术提取二者融合后的高层语义特征;再将支撑集样本提取的特征和查询集样本提取的特征进行拼接后通过协方差度量模块度量查询集样本和支撑集样本每类情感之间的相似性,最后利用softmax分类器预测最终的结果。本发明能有效关注GIF中图像的情感信息,同时兼顾视频流的时序特征,适用于小样本情况下的多分类视频情感分析,提高了分类准确率。
-
公开(公告)号:CN113643393A
公开(公告)日:2021-11-12
申请号:CN202110718003.9
申请日:2021-06-28
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于引导图滤波的CBCT图像金属伪影校正方法,包括以下步骤:将原始投影数据FDK重建为原始CBCT图像;在原始CBCT图像中分割出金属CBCT图像区域;对金属CBCT图像区域进行正投影得到金属投影数据区域;根据投影数据区域对原始投影数据进行插值;将插值后的投影数据进行引导图滤波并与原始数据进行拼接;将拼接后的投影数据进行FDK重建得到无金属的CBCT图像;将原始CBCT图像的金属区域与无金属的CBCT图像进行拼接,得到最终的CBCT图像金属伪影校正结果;本发明提出的金属伪影校正方法可以得到很好的校正结果,同时减少次生伪影的引入,保证了处理速度。
-
公开(公告)号:CN109815886B
公开(公告)日:2020-12-18
申请号:CN201910052953.5
申请日:2019-01-21
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于改进YOLOv3的行人和车辆检测方法及系统。本发明采用基于Darknet‑33改进型YOLOv3网络作为主干网络提取特征;采用可传递的特征图尺度缩减方法,跨层融合并重用主干网络中的多尺度特征;然后采用尺度放大方法构建特征金字塔网络。训练阶段,对训练集使用K‑means聚类方法以预测框和真实框的交并比作为相似度标准进行聚类选取先验框;然后依据损失函数做BBox回归和多标签分类。检测阶段,对所有检测框,根据置信度打分和IOU值采用非极大值抑制法去除冗余检测框,预测出最优的目标对象。本发明采用特征图尺度缩减融合的特征提取网络Darknet‑33、特征图尺度放大迁移融合构造特征金字塔和聚类选取先验框,能提高行人和车辆检测的速度和精度。
-
公开(公告)号:CN112085738A
公开(公告)日:2020-12-15
申请号:CN202010816515.4
申请日:2020-08-14
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于生成对抗网络的图像分割方法,首先,构建以VGG为原型的深度残差网络,作为基本的图像语义分割网络,以步长为2的卷积层执行下采样,网络以平均池化和具有Softmax的1000路全连接层结束,加重层数量为101,由预测层输出预测类别;然后,构建生成器,采用4层卷积和4层反卷积结构,以预测层输出和原始图像作为输入,产生对应于原始图像的重建图像;最后,构建判别器,采用4卷积层,除最后一层均使用ReLU作为激活函数,以原始图像和生成器输出的重建图像作为输入。本发明在能获取更高级别的特征同时又避免计算量过大;将基本分割网络产生的分割损失纳入生成对抗网络总损失函数使得模型参数的学习更加准确,分割结果更加精细。
-
公开(公告)号:CN109145712B
公开(公告)日:2020-10-16
申请号:CN201810686822.8
申请日:2018-06-28
Applicant: 南京邮电大学
Abstract: 本发明公开了一种融合文本信息的GIF短视频情感识别方法及系统,该方法首先利用3D卷积神经网络提取出GIF短视频中序列特征,同时利用卷积神经网络提取出序列中图像视觉特征;再采用卷积长短时记忆递归神经网络技术解码二者融合后的高层语义特征,计算出情感分类概率分布矩阵,将进行区间映射得到视频部分的情感得分。接着,从注释文本中的单词筛选出蕴含情感信息的词汇,采用情感打分工具计算出文本情感得分。最后,将视频情感得分与文本情感得分赋予不同的权重相加并做有效性判别,对GIF短视频进行情感分类。本发明能有效关注GIF视频中图像的情感信息,同时兼顾视频流的时序特征,并且文本信息与视频信息融合,提高了GIF视频情感分类的准确度和鲁棒性。
-
-
-
-
-
-
-
-
-