-
公开(公告)号：CN116051648A
公开(公告)日：2023-05-02
申请号：CN202211534553.6
申请日：2022-12-02
Applicant: 东南大学 , 南京英麒智能科技有限公司
Abstract: 本发明公开了一种基于交叉视角多人体语义匹配的相机内外参数标定方法，该方法首先搭建多视角相机系统并采集多人体运动视频得到多人多视角视频序列；选取一段采集到的多人多视角视频序列，利用开源二维姿态估计方法获取人体二维关节点，使用开源三维姿态估计方法，对每个视角单独进行估计，获得相机坐标系下的所有人体三维关节点；然后分别进行初始相机内参估计以及初始相机外参估计；再构建姿态‑几何约束项，建立不同视角间二维关节点之间的匹配关系；再获得全局坐标系下的三维关节点；最后优化人体运动及相机参数，获得更精确的全局位置以及相机内外参数。本发明能够同时优化相机参数和人体姿态，对噪声输入更鲁棒。
-
公开(公告)号：CN115965765A
公开(公告)日：2023-04-14
申请号：CN202211534535.8
申请日：2022-12-02
Applicant: 东南大学 , 南京英麒智能科技有限公司
Abstract: 本发明公开了一种基于神经变形的可变形场景中人体运动捕捉方法，该方法首先使用三维人体姿态估计器初始化人体运动学模型的三维人体姿态，这产生了相对于根节点的三维姿态。接下来，估计三维人体姿态下的人体网格的接触概率图，获得与场景接触的人体网格顶点，并通过光线投射来找到场景网格上相应的接触点，利用人体网格和场景网格的接触点对优化获得全局三维人体姿态。然后，搭建基于Transformer的神经变形网络，根据当前人体网格和场景网格的交互状态对场景网格执行非刚性变形。最后，迭代交替优化全局人体姿态和执行场景网格非刚性变形，实现高质量的无标记单目三维人体运动捕捉和非刚性三维场景变形。
-
公开(公告)号：CN111753698A
公开(公告)日：2020-10-09
申请号：CN202010553044.2
申请日：2020-06-17
Abstract: 本发明公开了一种多模态三维点云分割系统和方法，本发明能够很好地对对模态的数据进行融合，并且引入了先验掩膜，得到的场景分割的结果鲁棒性更好，且具有更高的分割精度；针对不同的场景，比如卫生间、会议室、办公室等场景都能有较好地预测结果，模型具有较好的泛化性；对于不用的用于提取点云特征的骨架网络，都可以尝试利用这里的特征和决策融合的模块，改善精度；如果计算条件允许，可以尝试更多的点，利用更大的区域，例如以同样的倍数扩大使用的点的个数和场景区域的大小，以提升整个模型的感受野，提升模型对整个场景的感知能力。
-
公开(公告)号：CN110070595B
公开(公告)日：2020-11-24
申请号：CN201910270322.0
申请日：2019-04-04
Abstract: 本发明公开了一种基于深度学习的单张图像3D对象重建方法，包括：1、输入包含多对象的单彩色图像；2、利用预训练的RPN，输出指定类别的域候选的各个区域；3、将各区域并行送入形状‑姿态预测子网络；4、预测出原对象在三维空间中的形状参数和姿态参数；5、形状采样子网络根据形状参数解码出对应形状空间的点云模型；6、对生成的点云模型进行姿态参数进行刚性变换；7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示，使得网络对3D数据具备更好的理解能力，同时利用“采样点数”而非“采样量化单元大小”进行精度控制，可以更好的控制复杂度，且保证了对象刚性运动中的不变性。
-
公开(公告)号：CN111753698B
公开(公告)日：2024-08-09
申请号：CN202010553044.2
申请日：2020-06-17
IPC: G06V20/64 , G06V10/26 , G06V10/56 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了一种多模态三维点云分割系统和方法，本发明能够很好地对对模态的数据进行融合，并且引入了先验掩膜，得到的场景分割的结果鲁棒性更好，且具有更高的分割精度；针对不同的场景，比如卫生间、会议室、办公室等场景都能有较好地预测结果，模型具有较好的泛化性；对于不用的用于提取点云特征的骨架网络，都可以尝试利用这里的特征和决策融合的模块，改善精度；如果计算条件允许，可以尝试更多的点，利用更大的区域，例如以同样的倍数扩大使用的点的个数和场景区域的大小，以提升整个模型的感受野，提升模型对整个场景的感知能力。
-
Patent Agency Ranking
公开(公告)号：CN115601295A
公开(公告)日：2023-01-13
申请号：CN202211018646.3
申请日：2022-08-24
Applicant: 东南大学(CN)
IPC: G06T7/00 , G06T7/11 , G06V10/46 , G06V10/77 , G06V10/774 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明提供了一种基于深度神经网络和模型先验的3D心脏形状重建方法，包括：构建心脏的三维模型集，执行主成分分析从而产生低维的参数隐空间；数据增强，从得到的参数空间采样，生成参数回归网络的训练集；构建参数回归网络，使用生成的训练集训练参数回归网络；生成分割网络的训练集，构建分割网络，使用生成的数据集训练分割网络；将经过训练的分割网络与经过训练的参数网络连接构成联合网络，使用真实数据构成的训练集对联合网络进行训练，用训练好的联合网络执行三维重建任务。本发明使得推理过程高效快速；结果更为合理；分割和重建效果都有提升；提出了一种数据增强方法，从大量合成数据的训练中提升参数估计网络的泛化性能。
-
公开(公告)号：CN112785692B
公开(公告)日：2022-11-18
申请号：CN202110128917.X
申请日：2021-01-29
Applicant: 东南大学
Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。本发明方法包括：构建基于变分自编码器的人体UV先验网络；训练人体重建网络；使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息，保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。
-
公开(公告)号：CN115170758A
公开(公告)日：2022-10-11
申请号：CN202210663156.2
申请日：2022-06-13
Applicant: 东南大学
Abstract: 本发明提出了一种基于物理引擎的三维手物交互重建方法和系统，包括以下步骤：1、按照预期目标，搭建所需要的神经网络，从单张彩色图像中获得手物交互的姿态参数；2、根据已获得的姿态参数，使用堆叠椭球体表示三维手物模型；3、将三维手物交互模型，输入到物理引擎Bullet仿真平台中，通过测试手物交互过程中合外力的大小，判断手物交互是否稳定；4、基于当前的姿态参数进行采样，获得新的姿态参数；5、再次在物理引擎中估计手物交互的稳定性，直至达到设定的迭代次数，在重建结果中选择最优结果作为手物交互的最终结果。本发明只需要单张RGB图像，便可以将稳定的抓取过程重建出来，实现了端到端的建模方式，减少了手物交互重建过程中的复杂度。
-
公开(公告)号：CN114998520A
公开(公告)日：2022-09-02
申请号：CN202210619894.7
申请日：2022-06-02
Applicant: 东南大学
Abstract: 本发明提出了一种基于隐式表示的三维交互手重建方法和系统，包括以下步骤：1、搭建特征提取神经网络，先从单张输入彩色图像中获取全局和区域特征，再根据输入图像和区域特征进一步获取实例和关节特征；2、利用获取的区域特征、实例特征和关节特征，根据查询策略选取查询点，并构建查询条件；3、构建参数化的隐式神经网络，基于查询点和查询条件，进行隐式重建；4、对重建的模型进行物理优化，惩罚不合理的穿透，调整并更新重建的模型；5、迭代优化重建的模型，直到最大穿透深度小于2mm，则将优化结果作为交互手的最终重建结果。本发明只需要单张彩色图像，便可以将图像中任意手性和数量的手重建出来，实现了端到端的建模方式，提高了三维手势和形状重建的质量。
-
公开(公告)号：CN111339870B
公开(公告)日：2022-04-26
申请号：CN202010099358.X
申请日：2020-02-18
Applicant: 东南大学
Abstract: 本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下，获得不带遮挡情况下包含人体形状信息的UV图像；对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；将获得的虚拟遮挡数据训练编码‑解码结构的UV贴图修复网络；输入真实物体遮挡人体彩色图像，以掩膜图像作为真值构建编码‑解码结构的显著性检测网络；使用编码得到的隐空间特征监督人体编码网络训练；输入遮挡人体彩色图像，得到完整的UV图像；使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.142 seconds)
