公开(公告)号：US09053553B2

公开(公告)日：2015-06-09

申请号：US12714028

申请日：2010-02-26

申请人： Jovan Popović ,  Jen-Chan Chien ,  Chintan Intwala ,  Sarah A. Kong

发明人： Jovan Popović ,  Jen-Chan Chien ,  Chintan Intwala ,  Sarah A. Kong

IPC分类号： G06T15/30 ,  G06T3/00

CPC分类号： G06T3/0093 ,  G06T11/60

摘要： Methods and apparatus for manipulating digital images. A warping module is described that enables the manipulation of a surface by selectively deforming portions of the surface while maintaining local rigidity. The user may position multiple control points on a surface to constrain deformation. The user may specify multiple properties (e.g., translation, rotation, depth, and scale) at each control point. A mesh may be overlaid on the surface. The warping module may perform an initialization in which the properties are propagated other vertices in the mesh to generate an initial deformed mesh. The warping module may then perform an iterative optimization operation on the deformed mesh to improve the deformation while retaining local rigidity. Thus, instead of moving every pixel in the surface, the warping module moves or adjusts coordinates of the vertices of the mesh. The surface is then deformed according to the deformed mesh.

摘要翻译： 用于操纵数字图像的方法和装置。 描述了一种翘曲模块，其能够通过在保持局部刚性的同时选择性地使表面的部分变形来操纵表面。 用户可以在表面上放置多个控制点以约束变形。 用户可以在每个控制点处指定多个属性（例如，平移，旋转，深度和缩放）。 网格可以覆盖在表面上。 翘曲模块可以执行初始化，其中属性在网格中传播其他顶点以生成初始变形的网格。 然后，翘曲模块可以对变形的网格进行迭代优化操作，以改善变形，同时保持局部刚度。 因此，翘曲模块不是移动表面中的每个像素，而是移动或调整网格顶点的坐标。 然后根据变形的网格使表面变形。

公开(公告)号：US20130120457A1

公开(公告)日：2013-05-16

申请号：US12714028

申请日：2010-02-26

申请人： Jovan Popovic ,  Jen-Chan Chien ,  Chintan Intwala ,  Sarah A. Kong

发明人： Jovan Popovic ,  Jen-Chan Chien ,  Chintan Intwala ,  Sarah A. Kong

IPC分类号： G09G5/00

CPC分类号： G06T3/0093 ,  G06T11/60

摘要： Methods and apparatus for manipulating digital images. A warping module is described that enables the manipulation of a surface by selectively deforming portions of the surface while maintaining local rigidity. The user may position multiple control points on a surface to constrain deformation. The user may specify multiple properties (e.g., translation, rotation, depth, and scale) at each control point. A mesh may be overlaid on the surface. The warping module may perform an initialization in which the properties are propagated other vertices in the mesh to generate an initial deformed mesh. The warping module may then perform an iterative optimization operation on the deformed mesh to improve the deformation while retaining local rigidity. Thus, instead of moving every pixel in the surface, the warping module moves or adjusts coordinates of the vertices of the mesh. The surface is then deformed according to the deformed mesh.

摘要翻译： 用于操纵数字图像的方法和装置。 描述了一种翘曲模块，其能够通过在保持局部刚性的同时选择性地使表面的部分变形来操纵表面。 用户可以在表面上放置多个控制点以约束变形。 用户可以在每个控制点处指定多个属性（例如，平移，旋转，深度和缩放）。 网格可以覆盖在表面上。 翘曲模块可以执行初始化，其中属性在网格中传播其他顶点以生成初始变形的网格。 然后，翘曲模块可以对变形的网格进行迭代优化操作，以改善变形，同时保持局部刚度。 因此，翘曲模块不是移动表面中的每个像素，而是移动或调整网格顶点的坐标。 然后根据变形的网格使表面变形。

公开(公告)号：US08270765B1

公开(公告)日：2012-09-18

申请号：US12183942

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

IPC分类号： G06K9/00

CPC分类号： G06T3/0012

摘要： A system and method for expansion and reduction of images uses a hybrid resizing technique that combines seam carving and image scaling techniques to reduce or expand an image. Seam carving techniques may be used to remove or add seams having an average or total energy cost below a configurable threshold, where the cost of each seam is dependent on the energy values of the pixels of the seam. If a target size and/or ratio for the resized version of the image is not reached by removing or adding these seams, the hybrid resizing technique may apply standard or custom image scaling techniques to further reduce or expand the image to achieve the target size and/or ratio. The hybrid technique may be implemented by program instructions of an image editing application, and the cost threshold may be configurable by a user through a user interface of the image editing application.

摘要翻译： 用于扩展和缩小图像的系统和方法使用混合尺寸调整技术，其结合了缝合雕刻和图像缩放技术来减少或展开图像。 可以使用接缝雕刻技术去除或添加具有低于可配置阈值的平均或总能量成本的接缝，其中每个接缝的成本取决于接缝的像素的能量值。 如果通过移除或添加这些接缝来达不到图像尺寸缩放版本的目标尺寸和/或比率，则混合尺寸调整技术可以应用标准或定制图像缩放技术来进一步减少或扩大图像以实现目标尺寸， /或比例。 混合技术可以通过图像编辑应用的程序指令来实现，并且成本阈值可以由用户通过图像编辑应用的用户界面来配置。

公开(公告)号：US08280187B1

公开(公告)日：2012-10-02

申请号：US12184071

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

IPC分类号： G06K9/32

CPC分类号： G06T3/0012

摘要： A system and method for expansion and reduction of images in an image editing application uses the frequency of pixels values (e.g., absolute color and/or intensity values) of an input image to determine respective energy values for each pixel of the image. The energy values may vary inversely with the frequency of the pixel values. The energy values may be used to determine one or more low-cost seams of the image to be removed for an image reduction operation or replicated for an image expansion operation, where the cost of each seam is dependent on the energy values of the pixels of the seam. Determining the frequency of pixel values of the image may involve determining the number of pixels having an absolute pixel value in each of a plurality of pixel value ranges, and the absolute pixel values included in each range may be configurable by the user.

摘要翻译： 用于在图像编辑应用中展开和缩小图像的系统和方法使用输入图像的像素值（例如，绝对颜色和/或强度值）的频率来确定图像的每个像素的各自的能量值。 能量值可以与像素值的频率成反比变化。 能量值可用于确定用于图像缩小操作要被去除的图像的一个或多个低成本接缝，或者用于图像展开操作的复制，其中每个接缝的成本取决于像素的能量值 接缝。 确定图像的像素值的频率可以包括确定在多个像素值范围中的每一个中具有绝对像素值的像素的数量，并且每个范围中包括的绝对像素值可以由用户配置。

公开(公告)号：US08290300B2

公开(公告)日：2012-10-16

申请号：US12184060

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala ,  Jue Wang

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala ,  Jue Wang

IPC分类号： G06K9/32

CPC分类号： H04N1/3872 ,  G06T3/0012 ,  H04N1/393

摘要： A system and method for expansion and reduction of images uses an absolute value associated with each pixel of an input image (e.g., a color and/or intensity value) to determine a respective energy value for each pixel. For example, a given color or range of colors (e.g., skin tones, or other high-priority colors) may be assigned higher energy values than other colors and/or color ranges, and may be protected during image reduction and/or expansion. These energy values may be used to determine a cost associated with various seams of the image, which may represent the priority of the seams in the image. One or more low-cost seams may be identified for removal or replication to produce a resized image. The methods may be used in conjunction with an automated skin tone detector or a user interface that allows selection of one or more high priority colors or color ranges.

摘要翻译： 用于扩展和缩小图像的系统和方法使用与输入图像的每个像素（例如，颜色和/或强度值）相关联的绝对值来确定每个像素的相应能量值。 例如，给定的颜色或范围的颜色（例如，肤色或其他高优先级颜色）可被赋予比其他颜色和/或颜色范围更高的能量值，并且可以在图像缩小和/或扩展期间被保护。 这些能量值可以用于确定与图像的各种接缝相关联的成本，其可以表示图像中的接缝的优先级。 可以识别一个或多个低成本接缝用于去除或复制以产生调整大小的图像。 所述方法可以与允许选择一个或多个高优先级颜色或颜色范围的自动肤色检测器或用户界面结合使用。

公开(公告)号：US08280186B1

公开(公告)日：2012-10-02

申请号：US12184039

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

IPC分类号： G06K9/32

CPC分类号： G06T3/0012

摘要： A system and method for expansion and reduction of images uses a look-up table to define an arbitrary mapping of data (e.g., pixel values) representing an image to respective energy values. Each pixel value may represent an absolute color or intensity value, a difference in color or intensity values, or an average, derivative, minimum, or maximum of two or more pixel values. The energy values may then be used to determine one or more low-cost seams of the image to be removed for an image reduction operation or replicated for an image expansion operation, where the cost of each seam is dependent on the energy values of the pixels of the seam. The look-up table may be used to apply a threshold and/or cap on the energy values mapped to pixel values. The look-up table may also provide a mechanism for reconfiguring mappings, thresholds, and/or caps.

摘要翻译： 用于扩展和缩小图像的系统和方法使用查找表来将表示图像的数据（例如，像素值）的任意映射定义为各自的能量值。 每个像素值可以表示绝对颜色或强度值，颜色或强度值的差异，或两个或多个像素值的平均，导数，最小值或最大值。 然后可以使用能量值来确定用于图像缩小操作要被去除的图像的一个或多个低成本接缝，或者用于图像展开操作的复制，其中每个接缝的成本取决于像素的能量值 的接缝。 查找表可以用于对映射到像素值的能量值应用阈值和/或上限。 查找表还可以提供用于重新配置映射，阈值和/或上限的机制。

公开(公告)号：US08218900B1

公开(公告)日：2012-07-10

申请号：US12183974

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

IPC分类号： G06K9/20

CPC分类号： G06T3/0012

摘要： A system and method for expansion and reduction of images uses a hybrid resizing technique that combines seam carving and image scaling techniques to reduce or expand an image. Seam carving techniques may be used to identify one or more low-cost seams of an input image, and these low-cost seams may be scaled up or down to expand or reduce the overall input image and produce a resized image. A different scaling factor may be applied to different ones of the low-cost seams, dependent on the average or total energy value of each of the seams. The scaling factor applied to each seam may be dependent on the number of low-cost seams identified for scaling, which may be configurable by a user. A configurable look-up table may map seam costs to scaling factors, and may be accessed to determine a respective scaling factor to be applied to each identified seam.

摘要翻译： 用于扩展和缩小图像的系统和方法使用混合尺寸调整技术，其结合了缝合雕刻和图像缩放技术来减少或展开图像。 可以使用接缝雕刻技术来识别输入图像的一个或多个低成本接缝，并且可以将这些低成本接缝放大或缩小，以扩大或缩小整个输入图像并产生调整大小的图像。 取决于每个接缝的平均或总能量值，可以将不同的缩放因子应用于不同的低成本接缝。 应用于每个接缝的缩放因子可以取决于识别用于缩放的低成本接缝的数量，其可以由用户配置。 可配置的查找表可以将接缝成本映射到缩放因子，并且可以被访问以确定要应用于每个识别的接缝的各自的缩放因子。

公开(公告)号：US08265424B1

公开(公告)日：2012-09-11

申请号：US12183997

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

IPC分类号： G06K9/00

CPC分类号： G06T3/0012

摘要： A system and method for expansion and reduction of images uses variable seam replication to expand an image. Seam carving techniques may be used to identify one or more low-cost seams of an input image, and these low-cost seams may be replicated to produce a resized version of the image. A different replication factor may be applied to different ones of the low-cost seams, dependent on the average or total energy value of each seam. For example, the lowest cost seam may be replicated twice as many times as the next lowest cost seam. The replication factor applied to each seam may be dependent on the number of low-cost seams identified for replication, which may be configurable by users. A configurable look-up table may map seam costs to replication factors, and may be accessed to determine a respective replication factor to be applied to each of the identified low-cost seams.

摘要翻译： 用于扩展和缩小图像的系统和方法使用可变的接缝复制来展开图像。 可以使用接缝雕刻技术来识别输入图像的一个或多个低成本接缝，并且可以复制这些低成本接缝以产生图像的调整大小的版本。 不同的复制因子可以应用于不同的低成本接缝，这取决于每个接缝的平均或总能量值。 例如，最低成本的接缝可以复制为下一个最低成本接缝的两倍。 应用于每个接缝的复制因子可以取决于被识别用于复制的低成本接缝的数量，其可以由用户配置。 可配置的查找表可以将接缝成本映射到复制因子，并且可以被访问以确定要应用于每个所识别的低成本接缝的相应复制因子。

公开(公告)号：US20100027876A1

公开(公告)日：2010-02-04

申请号：US12184060

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala ,  Jue Wang

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala ,  Jue Wang

IPC分类号： G06K9/32 ,  G06K9/00

CPC分类号： H04N1/3872 ,  G06T3/0012 ,  H04N1/393

摘要： A system and method for expansion and reduction of images uses an absolute value associated with each pixel of an input image (e.g., a color and/or intensity value) to determine a respective energy value for each pixel. For example, a given color or range of colors (e.g., skin tones, or other high-priority colors) may be assigned higher energy values than other colors and/or color ranges, and may be protected during image reduction and/or expansion. These energy values may be used to determine a cost associated with various seams of the image, which may represent the priority of the seams in the image. One or more low-cost seams may be identified for removal or replication to produce a resized image. The methods may be used in conjunction with an automated skin tone detector or a user interface that allows selection of one or more high priority colors or color ranges.

摘要翻译： 用于扩展和缩小图像的系统和方法使用与输入图像的每个像素（例如，颜色和/或强度值）相关联的绝对值来确定每个像素的相应能量值。 例如，给定的颜色或范围的颜色（例如，肤色或其他高优先级颜色）可被赋予比其它颜色和/或颜色范围更高的能量值，并且可以在图像缩小和/或扩展期间被保护。 这些能量值可以用于确定与图像的各种接缝相关联的成本，其可以表示图像中的接缝的优先级。 可以识别一个或多个低成本接缝用于去除或复制以产生调整大小的图像。 所述方法可以与允许选择一个或多个高优先级颜色或颜色范围的自动肤色检测器或用户界面结合使用。

公开(公告)号：US08280191B1

公开(公告)日：2012-10-02

申请号：US12184019

申请日：2008-07-31

申请人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

发明人： Shmuel Avidan ,  Jen-Chan Chien ,  Chintan Intwala

IPC分类号： G06K9/32

CPC分类号： G06T3/0012

摘要： A system and method for expansion and reduction of images uses pyramidal retargeting to reduce complexity in image resizing. An image pyramid may be generated dependent on a function of pixel data or energy values for each pixel of an input image. An image resizing solution may be developed by applying seam carving techniques to a lower-resolution version of the input image represented by the image pyramid, and may identify bands in the higher-resolution input image to be resized. A resizing operation may then be applied the bands based on local content. The resizing operation may include seam carving techniques, scaling techniques, and/or hybrid resizing techniques, and may be selectable by a user. Identified bands may be expanded to obtain a smoother solution. Different bands may be expanded by different amounts, based on local content. The number of bands and the expansion factors may be configurable based on user input.

摘要翻译： 用于扩展和缩小图像的系统和方法使用金字塔式重定向来降低图像调整大小的复杂性。 可以根据输入图像的每个像素的像素数据或能量值的函数来生成图像金字塔。 可以通过将缝刻技术应用于由图像金字塔表示的输入图像的较低分辨率版本来开发图像调整大小解决方案，并且可以识别要调整大小的较高分辨率输入图像中的频带。 然后可以基于本地内容对频段应用调整大小的操作。 调整大小操作可以包括缝刻技术，缩放技术和/或混合尺寸调整技术，并且可由用户选择。 可以扩展识别的频带以获得更平滑的解决方案。 不同的频段可能会根据本地内容扩大不同的数量。 频带数量和扩展因子可以基于用户输入来配置。