-
公开(公告)号:CN118378211A
公开(公告)日:2024-07-23
申请号:CN202410488975.7
申请日:2024-04-23
Applicant: 东南大学
IPC: G06F18/25 , G06F18/213 , G06V10/44 , G06F16/33 , G06F18/211 , G06N3/045 , G06N3/0464 , G06N3/0499
Abstract: 本申请公开了一种视觉语言混合模态特征的提取与融合方法,首先对于视觉信息处理,将图像的观测位姿信息向量化,与视觉特征向量拼接,得到融合位姿信息的视觉特征向量,对于自然语言处理,采用词元信息和位置信息提取后加和,得到语言特征向量,然后输入视觉、语言特征向量,最后通过构建视觉特征向量为键和值,语言特征向量为查询的模态注意力交叉机制混合提取融合,实现视觉语言信息的混合模态特征向量生成,该方法在视觉语言导航任务中表现出对跨模态对象较强的特征提取和理解能力,具有泛化能力高的特点。
-
公开(公告)号:CN116429089A
公开(公告)日:2023-07-14
申请号:CN202310408084.1
申请日:2023-04-17
Applicant: 东南大学
Abstract: 本发明公开了一种增强动态场景下SLAM系统精度和鲁棒性的方法,可以在动态场景下的同步定位与建图系统中对动态物体的运动性和场景流一致性判定,提高同步定位与建图的精度和鲁棒性。其思路是使用场景流对场景中可能的动态物体进行评估筛选,并通过因子图与相机位姿进行联合优化。该算法首先根据场景流的模值判断场景中物体运动状态,然后对运动的物体进行场景流自动聚类,以评估场景流一致性的强弱,场景流一致性较强的动态物体的位姿会通过因子图模型与相机位姿进行联合优化。本发明可以对评估场景中动态物体并解算其位姿,降低动态物体对SLAM系统求解精度的影响,增强动态场景中SLAM系统定位和建图的精度和鲁棒性。
-
公开(公告)号:CN110084169B
公开(公告)日:2023-07-04
申请号:CN201910323850.8
申请日:2019-04-22
Applicant: 东南大学
IPC: G06V20/52 , G06V20/40 , G06V10/44 , G06V10/762 , G06V10/74 , G06V10/764
Abstract: 本发明公开了一种基于K‑Means聚类和轮廓拓扑约束的违章建筑物识别方法,包括以下步骤:采集到的图像信息经预处理后得到图像直线段,通过K‑Means聚类对图像直线中点进行分类;检测每类直线簇的直线数量,并计算直线间相对位置距离及角度关系;构建常见违章建筑物直线轮廓角度分布直方图,并将其与检测图像的直线角度分布情况相匹配,计算欧氏距离;然后根据每个直线簇直线数量、位置距离约束及角度分布与常见违章建筑物角度分布直方图相似度对违章建筑物特征进行识别。本发明解决了利用定点视频监控自动发现违章建筑物时,违章建筑物特征提取困难及受自然场景下各种物体干扰多的问题,大大提高了违章建筑物自动识别的效率和检测结果的鲁棒性。
-
公开(公告)号:CN110717527B
公开(公告)日:2023-06-27
申请号:CN201910903123.9
申请日:2019-09-24
Applicant: 东南大学
IPC: G06F18/241 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种结合空洞空间金字塔结构的目标检测模型确定方法,通过将输入特征图分别输入k个空洞卷积层分支,分别在各个空洞卷积层分支对输入特征图进行空洞卷积操作,得到各个输出特征图,以将输入特征图与k个输出特征图进行融合,构造空洞空间金字塔结构,并将空洞空间金字塔结构融入基于卷积网络的目标检测模型,上述空洞空间金字塔结构通过利用具体不同扩张率的空洞卷积对输入特征图进行重采样,得到具有不同感受野的输出特征图,再通过将输入与输出进行特征融合以获取多尺度信息,将空洞空间金字塔结构融入基于深度学习的目标检测模型中,能够提高基于深度学习的目标检测模型对多尺度目标的检测能力。
-
公开(公告)号:CN109766924B
公开(公告)日:2023-05-26
申请号:CN201811561702.1
申请日:2018-12-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于图像信息熵与自适应阈值DAISY特征点的图像检测方法。由于常见图像检测算法会出现特征点分布不均匀且在局部区域稀少的问题,导致后续重建中点云会出现空洞现象。本发明首先通过统计分析确定了图像信息熵与SIFT特征点密度的约束关系;其次提出了一种基于图像信息熵的自适应阈值SIFT特征检测器,解决了特征点分布不均的问题;然后针对SIFT特征点在非极值特征点处可靠性降低,提出采用改进的DAISY特征点,提高了特征点的可靠性;最后将自适应阈值检测器中的特征点替换为DAISY特征点,并用于图像检测。实验表明本发明提出的方法在保证了特征点较高的可靠性,且改善了特征点分布,达到了预期目标。
-
公开(公告)号:CN108920765B
公开(公告)日:2021-11-30
申请号:CN201810573137.4
申请日:2018-06-06
Applicant: 东南大学
Abstract: 本发明公开了一种基于建筑物三维线段模型的假设平面拟合方法,针对目前尚无有效的仅以三维线段模型为源数据的建筑物假设平面模型拟合方法的问题,本发明仅以三维线段模型为源数据,实现了建筑物假设平面模型的快速提取。本发明的方法主要流程包括:(1)基于线段夹角对三维线段进行初步聚类;(2)从线段初始聚类中提取轴方向和非轴方向线段聚类,并以其为基准,对未分类的三维线段进行二次聚类和线段过滤,最终获取准确的线段聚类;(3)从线段模型中获取点云数据,根据线段聚类结果确定轴方向和非轴方向假设平面的法向量方向,依据这些法向量方向使用不同的方法分别对轴方向和非轴方向假设平面进行拟合,得到建筑物的假设平面模型。
-
公开(公告)号:CN108052917B
公开(公告)日:2021-06-11
申请号:CN201711419679.8
申请日:2017-12-25
Applicant: 东南大学
IPC: G06K9/00
Abstract: 本发明公开了一种基于新旧时相变化发现的违章建筑自动识别的方法,包括如下步骤:将采集到的大量视频信息经过跳帧处理,通过高斯混合模型得到新旧时相背景图像;对其设定灰度阈值,剔除雾天视频信息;配准新旧时相背景图片以获得差值图片,进行形态学的去噪处理得到新时相图像的多个变化区域,分析各变化区域的纹理确定是否存在违章建筑物空间结构特征,得到疑似违章建筑变化;检测挖掘机,排除常见运动物体停留造成的误判,并以此为先验知识进一步筛选建筑物;本发明解决了视频监控自动发现违章建筑过程中,违章建筑与合法建筑区分的困难,并去除了新旧时相背景图片差值后产生的各种干扰因素,大大提高了违章建筑的识别率和检测结果的鲁棒性。
-
公开(公告)号:CN110070109B
公开(公告)日:2021-02-26
申请号:CN201910241213.6
申请日:2019-03-28
Applicant: 东南大学
IPC: G06K9/62
Abstract: 本发明公开了一种适用于建筑排列密集区的地物散乱点自动聚类的方法,首先,获取建筑物散乱点数据,并对数据进行预处理;其次,计算每个点的邻近两个点及对应距离,判断原建筑物间是否存在宽阔道路;若存在宽阔道路计算宽阔道路所在直线方程,将散乱点分割为独立的建筑群点集;若不存在宽阔道路,计算细窄道路所在直线方程,将独立建筑群点集分割为独立的建筑点集。本发明可适用于建筑物普遍比较方正且排列极其密集区域的人工地物散乱点自动聚类的任务,具有广阔的应用前景。
-
公开(公告)号:CN107564105B
公开(公告)日:2021-01-12
申请号:CN201710755532.X
申请日:2017-08-29
Applicant: 东南大学
IPC: G06T17/20
Abstract: 本发明公开了一种针对不光滑表面考虑面积和法向量的网格简化方法,包括:读取三维网格中所有的顶点和面,计算其基础二次方矩阵和初始二次误差矩阵;计算每条边折叠的估计误差和新顶点的位置,在折叠后新顶点的代价中包含法向量约束,将最小的折叠代价以及对应的新顶点和原顶点的位置存入顶点属性中,将折叠误差插入优先队列;从队列中取出折叠代价最小的边,对其折叠操作,并更新相关顶点和面;判断满足设定的简化条件为止。本发明能够在快速精简网格的同时,尽可能的保持原模型的细节特征。尤其是对于一些非流体、不光滑的表面,本方法相较于传统方法能够更好的保留细节特征,能够取得更为突出的简化效果,从而提升整体的简化效果。
-
公开(公告)号:CN112132877A
公开(公告)日:2020-12-25
申请号:CN202011057538.8
申请日:2020-09-30
Applicant: 东南大学
Abstract: 本发明设计了一种基于SIFT特征的图像配准改进算法,通过在低尺度图像上进行SIFT特征提取、运用RANSAC特征匹配算法,对低尺度图像变换矩阵进行求解,并由此得到原始输入图像的变换矩阵,最后得到改进后的图像配准结果,主要包括以下几个步骤:先将新时相图像和旧时相图像分别缩小a倍,再对缩小后的低尺度图像分别进行特征提取和特征匹配,得到低尺度图像的变换矩阵,利用矩阵缩放操作和低尺度的变换矩阵,得到原始图像的变换矩阵,最后进行配准。本方法有效地减少了配准算法整体的计算量,在不损失细节信息的前提下,对图像配准算法进行了加速,极大地提高了算法的效率。
-
-
-
-
-
-
-
-
-