公开(公告)号：US20120154393A1

公开(公告)日：2012-06-21

申请号：US13333825

申请日：2011-12-21

申请人： Ji-Hyung LEE ,  Bon-Ki Koo ,  Yoon-Seok Choi ,  Jeung-Chul Park ,  Do-Hyung Kim ,  Bon-Woo Hwang ,  Kap-Kee Kim ,  Seong-Jae Lim ,  Han-Byul Joo ,  Seung-Uk Yoon

发明人： Ji-Hyung LEE ,  Bon-Ki Koo ,  Yoon-Seok Choi ,  Jeung-Chul Park ,  Do-Hyung Kim ,  Bon-Woo Hwang ,  Kap-Kee Kim ,  Seong-Jae Lim ,  Han-Byul Joo ,  Seung-Uk Yoon

IPC分类号： G06T13/00 ,  G06T15/00

CPC分类号： G06T13/40 ,  G06T7/251 ,  G06T17/20

摘要： Disclosed herein are an apparatus and method for creating animation by capturing the motions of a non-rigid object. The apparatus includes a geometry mesh reconstruction unit, a motion capture unit, and a content creation unit. The geometry mesh reconstruction unit receives moving images captured by a plurality of cameras, and generates a reconstruction mesh set for each frame. The motion capture unit generates mesh graph sets for the reconstruction mesh set and generates motion data, including motion information, using the mesh graph sets. The content creation unit creates three-dimensional (3D) content for a non-rigid object by generating a final transformation mesh set, having a topology similar to that of the reconstruction mesh set, using the motion data.

摘要翻译： 本文公开了一种通过捕获非刚性对象的运动来创建动画的装置和方法。 该装置包括几何网格重建单元，运动捕捉单元和内容创建单元。 几何网格重建单元接收由多个摄像机拍摄的运动图像，并为每个帧生成重建网格集。 运动捕捉单元生成用于重建网格集的网格图集，并使用网格图集生成运动数据，包括运动信息。 内容创建单元通过使用运动数据生成具有类似于重建网格集的拓扑的拓扑结构的最终变换网格集，来为非刚性对象创建三维（3D）内容。

公开(公告)号：US08610710B2

公开(公告)日：2013-12-17

申请号：US12970008

申请日：2010-12-16

申请人： Seong Jae Lim ,  Ho Won Kim ,  Han Byul Joo ,  Bon Ki Koo

发明人： Seong Jae Lim ,  Ho Won Kim ,  Han Byul Joo ,  Bon Ki Koo

IPC分类号： G06T15/00

CPC分类号： G06T13/40

摘要： Provided is a method for automatic rigging and shape surface transfer of a 3-D standard mesh model based on muscles and Nurbs by using parametric control. In some embodiments, the method includes: extracting a joint-skeleton structure from scan data of dynamic objects having a skeleton structure, or input 3-D mesh models, generating a muscle and an appearance surface based on anatomy information, and generating a standard mesh model that approximates the appearance of the dynamic objects by using the joint-skeleton structure and the generated muscle and appearance surface; and performing the shape surface transfer of the standard mesh model by comparing multi-view image information of the dynamic objects with projection image information of the standard mesh model.

摘要翻译： 提供了一种通过使用参数控制，基于肌肉和Nurbs的3-D标准网格模型的自动索具和形状表面传递的方法。 在一些实施例中，该方法包括：从具有骨架结构的动态对象的扫描数据或基于解剖信息生成肌肉和外观表面的输入3-D网格模型提取关节骨架结构，以及生成标准网格 通过使用关节骨架结构和产生的肌肉和外观表面近似动态对象的外观的模型; 并通过将动态对象的多视点图像信息与标准网格模型的投影图像信息进行比较来执行标准网格模型的形状表面传送。

公开(公告)号：US08922547B2

公开(公告)日：2014-12-30

申请号：US13335055

申请日：2011-12-22

申请人： Seong-Jae Lim ,  Han-Byul Joo ,  Seung-Uk Yoon ,  Ji-Hyung Lee ,  Bon-Ki Koo

发明人： Seong-Jae Lim ,  Han-Byul Joo ,  Seung-Uk Yoon ,  Ji-Hyung Lee ,  Bon-Ki Koo

IPC分类号： G06T15/00 ,  G06T15/20 ,  G06T19/00

CPC分类号： G06T15/205 ,  G06T19/00

摘要： Disclosed herein is a 3D model shape transformation apparatus. The 3D model shape transformation apparatus includes a camera unit, a shape restoration unit, a skeleton structure generation unit, and a skeleton transformation unit. The camera unit obtains a plurality of 2D images in a single frame by capturing the shape of an object. The shape restoration unit generates a 3D volume model by restoring the shape of the object based on the plurality of 2D images. The skeleton structure generation unit generates the skeleton structure of the 3D volume model. The skeleton transformation unit transforms the size and posture of the 3D volume model into those of a template model by matching the skeleton structure of the template model with the skeleton structure of the 3D volume model.

摘要翻译： 这里公开了一种3D模型形状变换装置。 3D模型形状变换装置包括摄像单元，形状恢复单元，骨架结构生成单元和骨架变形单元。 相机单元通过捕获对象的形状来获得单个帧中的多个2D图像。 形状恢复单元通过基于多个2D图像恢复对象的形状来生成3D体积模型。 骨架结构生成单元生成3D体积模型的骨架结构。 骨架变换单元通过将模板模型的骨架结构与3D体积模型的骨架结构相匹配，将3D体模型的大小和姿态转换为模板模型。

公开(公告)号：US20120163675A1

公开(公告)日：2012-06-28

申请号：US13335120

申请日：2011-12-22

申请人： Han-Byul JOO ,  Seong-Jae LIM ,  Ji-Hyung LEE ,  Bon-Ki KOO

发明人： Han-Byul JOO ,  Seong-Jae LIM ,  Ji-Hyung LEE ,  Bon-Ki KOO

IPC分类号： G06K9/00

CPC分类号： G06T7/251 ,  G06T7/13 ,  G06T2207/20044

摘要： Disclosed herein is a motion capture apparatus and method. The motion capture apparatus includes a three-dimensional (3D) appearance reconstruction unit for reconstructing a 3D appearance of an entity using a multi-view image obtained by capturing the entity at a T+1-th frame. A 3D skeleton generation unit generates a 3D skeleton of the T+1-th frame using the 3D appearance and a model of the entity having a motion of a T-th frame. A motion reconstruction unit reconstructs a motion of the T+1-th frame of the model by changing the motion of the model based on the 3D skeleton of the T+1-th frame.

摘要翻译： 这里公开了一种运动捕捉装置和方法。 运动捕捉装置包括三维（3D）外观重建单元，用于使用通过在第T + 1帧捕获实体而获得的多视图图像来重构实体的3D外观。 3D骨架生成单元使用3D外观和具有第T帧的运动的实体的模型来生成第T + 1帧的3D骨架。 运动重建单元通过基于第T + 1帧的3D骨架改变模型的运动来重建模型的第T + 1帧的运动。

公开(公告)号：US20120162217A1

公开(公告)日：2012-06-28

申请号：US13335055

申请日：2011-12-22

申请人： Seong-Jae LIM ,  Han-Byul Joo ,  Seung-Uk Yoon ,  Ji-Hyung Lee ,  Bon-Ki Koo

发明人： Seong-Jae LIM ,  Han-Byul Joo ,  Seung-Uk Yoon ,  Ji-Hyung Lee ,  Bon-Ki Koo

IPC分类号： G06T15/00

CPC分类号： G06T15/205 ,  G06T19/00

摘要： Disclosed herein is a 3D model shape transformation apparatus. The 3D model shape transformation apparatus includes a camera unit, a shape restoration unit, a skeleton structure generation unit, and a skeleton transformation unit. The camera unit obtains a plurality of 2D images in a single frame by capturing the shape of an object. The shape restoration unit generates a 3D volume model by restoring the shape of the object based on the plurality of 2D images. The skeleton structure generation unit generates the skeleton structure of the 3D volume model. The skeleton transformation unit transforms the size and posture of the 3D volume model into those of a template model by matching the skeleton structure of the template model with the skeleton structure of the 3D volume model.

摘要翻译： 这里公开了一种3D模型形状变换装置。 3D模型形状变换装置包括摄像单元，形状恢复单元，骨架结构生成单元和骨架变形单元。 相机单元通过捕获对象的形状来获得单个帧中的多个2D图像。 形状恢复单元通过基于多个2D图像恢复对象的形状来生成3D体积模型。 骨架结构生成单元生成3D体积模型的骨架结构。 骨架变换单元通过将模板模型的骨架结构与3D体积模型的骨架结构相匹配，将3D体模型的大小和姿态转换为模板模型。

公开(公告)号：US20110148875A1

公开(公告)日：2011-06-23

申请号：US12970561

申请日：2010-12-16

申请人： Ho-Won KIM ,  Seong-Jae Lim ,  Han-Byul Joo ,  Hyun Kang ,  Bon-Ki Koo ,  Chang-Woo Chu

发明人： Ho-Won KIM ,  Seong-Jae Lim ,  Han-Byul Joo ,  Hyun Kang ,  Bon-Ki Koo ,  Chang-Woo Chu

IPC分类号： G06T17/00

CPC分类号： G06T13/40

摘要： The present invention relates to a method and apparatus for capturing a motion of a dynamic object, and restore appearance information of an object making a dynamic motion and motion information of main joints from multi-viewpoint video images of motion information of a dynamic object such as a human body, making a motion through a motion of a skeletal structure on the basis of the skeletal structure, acquired by using multiple cameras. According to the exemplary embodiments of the present invention, it is possible to restore motion information of the object making a dynamic motion by using only an image sensor for a visible light range and to reproduce a multi-viewpoint image by effectively storing the restored information. Further, it is possible to restore motion information of the dynamic object without attaching a specific marker.

摘要翻译： 本发明涉及一种用于捕获动态对象的运动的方法和装置，并且从动态对象的运动信息的多视点视频图像恢复进行主关节的动态运动和运动信息的外观信息，例如 通过使用多个摄像机获取的基于骨骼结构的骨骼结构的运动进行运动。 根据本发明的示例性实施例，可以通过仅使用用于可见光范围的图像传感器来恢复进行动态运动的对象的运动信息，并且通过有效地存储恢复的信息来再现多视点图像。 此外，可以在不附加特定标记的情况下恢复动态对象的运动信息。

公开(公告)号：US20110148865A1

公开(公告)日：2011-06-23

申请号：US12970008

申请日：2010-12-16

申请人： Seong Jae LIM ,  Ho Won Kim ,  Han Byul Joo ,  Bon Ki Koo

发明人： Seong Jae LIM ,  Ho Won Kim ,  Han Byul Joo ,  Bon Ki Koo

IPC分类号： G06T15/00

CPC分类号： G06T13/40

摘要： The present invention relates to a method for automatic rigging and shape surface transfer of a 3-D standard mesh model based on muscles and Nurbs by using parametric control. The method for automatic rigging and appearance surface transfer of 3-D standard mesh model based on muscle and Nurbs by using parametric control includes: extracting a joint-skeleton structure from scan data of dynamic objects having a skeleton structure, or input 3-D mesh models, generating a muscle and a appearance surface based on anatomy information, and generating a standard mesh model that approximates the appearance of the models by using the extracted joint-skeleton structure and the generated muscle and appearance surface; and performing the transfer of the standard mesh model by controlling the parameter so that the occupying error between the multi-view image information of the dynamic objects and the projection image information of the approximating standard mesh model is in the predetermined allowable error range.

摘要翻译： 本发明涉及一种通过使用参数控制，基于肌肉和Nurbs的3-D标准网格模型的自动索具和形状表面传递的方法。 通过使用参数控制，基于肌肉和Nurbs的3-D标准网格模型的自动索具和外观表面传递方法包括：从具有骨架结构的动态对象的扫描数据中提取关节骨架结构，或输入3-D网格 模型，基于解剖信息产生肌肉和外观表面，并且通过使用提取的关节骨架结构和产生的肌肉和外观表面来生成近似模型外观的标准网格模型; 并且通过控制参数来执行标准网格模型的传送，使得动态对象的多视图图像信息与近似标准网格模型的投影图像信息之间的占有误差在预定的可允许误差范围内。

公开(公告)号：US08805024B2

公开(公告)日：2014-08-12

申请号：US13335120

申请日：2011-12-22

申请人： Han-Byul Joo ,  Seong-Jae Lim ,  Ji-Hyung Lee ,  Bon-Ki Koo

发明人： Han-Byul Joo ,  Seong-Jae Lim ,  Ji-Hyung Lee ,  Bon-Ki Koo

IPC分类号： G06K9/00

CPC分类号： G06T7/251 ,  G06T7/13 ,  G06T2207/20044

摘要： Disclosed herein is a motion capture apparatus and method. The motion capture apparatus includes a three-dimensional (3D) appearance reconstruction unit for reconstructing a 3D appearance of an entity using a multi-view image obtained by capturing the entity at a T+1-th frame. A 3D skeleton generation unit generates a 3D skeleton of the T+1-th frame using the 3D appearance and a model of the entity having a motion of a T-th frame. A motion reconstruction unit reconstructs a motion of the T+1-th frame of the model by changing the motion of the model based on the 3D skeleton of the T+1-th frame.

摘要翻译： 这里公开了一种运动捕捉装置和方法。 运动捕捉装置包括三维（3D）外观重建单元，用于使用通过在第T + 1帧捕获实体而获得的多视图图像来重构实体的3D外观。 3D骨架生成单元使用3D外观和具有第T帧的运动的实体的模型来生成第T + 1帧的3D骨架。 运动重建单元通过基于第T + 1帧的3D骨架改变模型的运动来重建模型的第T + 1帧的运动。

公开(公告)号：US08659594B2

公开(公告)日：2014-02-25

申请号：US12970561

申请日：2010-12-16

申请人： Ho-Won Kim ,  Seong-Jae Lim ,  Han-Byul Joo ,  Hyun Kang ,  Bon-Ki Koo ,  Chang-Woo Chu

发明人： Ho-Won Kim ,  Seong-Jae Lim ,  Han-Byul Joo ,  Hyun Kang ,  Bon-Ki Koo ,  Chang-Woo Chu

IPC分类号： G06T15/00

CPC分类号： G06T13/40

摘要： The present invention relates to a method and apparatus for capturing a motion of a dynamic object, and restore appearance information of an object making a dynamic motion and motion information of main joints from multi-viewpoint video images of motion information of a dynamic object such as a human body, making a motion through a motion of a skeletal structure on the basis of the skeletal structure, acquired by using multiple cameras. According to the exemplary embodiments of the present invention, it is possible to restore motion information of the object making a dynamic motion by using only an image sensor for a visible light range and to reproduce a multi-viewpoint image by effectively storing the restored information. Further, it is possible to restore motion information of the dynamic object without attaching a specific marker.

摘要翻译： 本发明涉及一种用于捕获动态对象的运动的方法和装置，并且从动态对象的运动信息的多视点视频图像恢复进行主关节的动态运动和运动信息的外观信息，例如 通过使用多个摄像机获取的基于骨骼结构的骨骼结构的运动进行运动。 根据本发明的示例性实施例，可以通过仅使用用于可见光范围的图像传感器来恢复进行动态运动的对象的运动信息，并且通过有效地存储恢复的信息来再现多视点图像。 此外，可以在不附加特定标记的情况下恢复动态对象的运动信息。