公开(公告)号：CN116503553A

公开(公告)日：2023-07-28

申请号：CN202310436658.6

申请日：2023-04-21

申请人： 淮阴工学院

发明人： 陆文豪 ,  胡荣林 ,  邵逸达 ,  张亚光 ,  魏福 ,  蔡进恒 ,  王佳雯 ,  马奕菲 ,  张海艳 ,  邵鹤帅

IPC分类号： G06T17/00 ,  G06T5/00 ,  G06T7/80 ,  G06N3/0464

摘要： 本发明公开了一种基于双目视觉和扩散模型的三维重建方法及装置，三维重建方法包括双目相机标定；利用标定好的双目相机采集待重建物体图像，得到左目相机拍摄图像Imagel和Imager；对图像Imagel和Imager进行畸变矫正和立体校正处理，得到图像Il和Ir；对图像Il和Ir采用半全局块匹配算法计算视差值，构建视差图，并计算出粗略深度图Imaged；构建扩散模型，利用训练数据集对扩散模型进行训练；将粗略深度图Imaged输入到预训练好的扩散模型Modeld中，得到精确深度图Id；根据精确深度图Id，通过坐标系变换得到三维点云模型。本发明三维重建效率高，效果好。

公开(公告)号：CN117292192A

公开(公告)日：2023-12-26

申请号：CN202311282250.4

申请日：2023-09-28

申请人： 淮阴工学院

发明人： 徐贵龙 ,  胡荣林 ,  李文超 ,  郁延山 ,  陈楚璇 ,  邵逸达 ,  王忆雯 ,  李轩雨

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/096

摘要： 本发明公开了一种基于知识蒸馏的目标检测方法，包括构建教师‑助教‑学生模型，利用预训练的教师模型获取图像的多层次特征图；利用助教模块对特征图上采样、拼接，空间注意力处理后，将教师模型提取的多尺度特征图融合为一张特征图；利用学生模型对传递来的特征图进行多次反卷积计算获得与教师模型提取的特征维度相同的特征图；对教师模型和学生模型两者得出的特征图计算余弦相似度并通过双线性插值采样还原计算结果图至输入图像大小，再取积得到特征图Ma1，计算特征图Ma1中每一个值的特征得分，绘制图像热力图。本发明提升了目标检测效果。

公开(公告)号：CN116824058A

公开(公告)日：2023-09-29

申请号：CN202310802924.2

申请日：2023-06-30

申请人： 淮阴工学院

发明人： 邵逸达 ,  胡荣林 ,  王佳雯 ,  陆文豪 ,  宋怡欣 ,  董甜甜 ,  林剑楚 ,  何艳婷

IPC分类号： G06T17/00 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0499 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/08

摘要： 本发明公开了一种单视图三维模型重建方法、设备及存储介质，方法包括以下步骤：(1)获取目标物体的二维图像，并将二维图像预处理为矢量嵌入图片序列；(2)将矢量嵌入图片序列输入训练好的二维特征提取网络中，得到二维特征图，其中，所述二维特征提取网络包括依次连接的图像嵌入层、第一协同自注意力阶段、第二协同自注意力阶段、过渡层、第一全局自注意力阶段、第二全局自注意力阶段和平均池化层；(3)将二维特征图输入训练好的三维特征提取网络中，得到三维特征图；(4)将三维特征图输入训练好的三维体素提取网络中，生成三维体素；(5)根据生成的三维体素进行三维模型重建。本发明成本低、效率高、重建效果好。

公开(公告)号：CN115512195A

公开(公告)日：2022-12-23

申请号：CN202211194469.4

申请日：2022-09-28

申请人： 淮阴工学院

发明人： 胡荣林 ,  张新新 ,  张亚光 ,  邵逸达 ,  冯万利 ,  张海艳 ,  肖绍章 ,  朱全银 ,  强豪 ,  王忆雯

IPC分类号： G06V10/80 ,  G06V10/764 ,  G06V10/774 ,  G06F40/49 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

摘要： 本发明涉及计算机视觉与自然语言处理领域，公开了一种基于多交互信息融合的图像描述方法，采用目标检测模型提取预处理后训练集的图像显著区域特征，然后使用多视觉语义信息交互模块进行编码显著区域特征得到多层增强图像融合特征，通过对多层增强图像融合特征进行平均池化生成全局图像融合特征；利用多模态交互信息网络挖掘全局图像融合特征与文本语义信息间的关系，从而得到该时间步上下文信息；再经语义解码的线性单元解码上下文信息生成输出单词序列的概率分布。与现有技术相比，本发明能够充分捕获图像视觉信息间的交互信息以及图像视觉信息与文本语义信息间交互信息的多种互补信息，实现对图像语义更加全面的理解。

公开(公告)号：CN115496857A

公开(公告)日：2022-12-20

申请号：CN202211177730.X

申请日：2022-09-22

申请人： 淮阴工学院

发明人： 胡荣林 ,  付浩志 ,  陆文豪 ,  邵逸达 ,  徐贵龙 ,  魏福 ,  邵鹤帅 ,  王媛媛 ,  董甜甜 ,  张海艳 ,  冯万利

IPC分类号： G06T17/00 ,  G06T7/80 ,  G06V10/74 ,  G06T3/40 ,  G06N3/04

摘要： 本发明公开了一种基于深度学习的多视角三维重建方法，包括：利用相机对重建目标进行多角度图像采集并选取一张图像作为参考图像；将采集的图像输入图像特征提取模块生成对应的特征图；通过单应性变换算法将特征图转换成参考图像视角下的特征图，并通过逐像素计算图像一致性构建代价体；将构建的代价体输入代价体正则化模块生成参考图像的稀疏深度图；将稀疏深度图输入深度图细化模块生成稠密深度图；根据稠密深度图生成重建目标的空间点云结构，实现三维重建。上述方法是一种基于图像的深度学习重建方法，具有较高稳定性，不受光照强度等环境因素影响，重建效果好，并采用端到端的重建方式，提高了重建效率。