公开(公告)号：US08659592B2

公开(公告)日：2014-02-25

申请号：US12585784

申请日：2009-09-24

申请人： Haohong Wang ,  Glenn Adler

发明人： Haohong Wang ,  Glenn Adler

IPC分类号： G06T15/00

CPC分类号： G06T7/194 ,  G06T7/11 ,  G06T7/50 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20012 ,  H04N13/261

摘要： A method for real-time 2D to 3D video conversion includes receiving a decoded 2D video frame having an original resolution, downscaling the decoded 2D video frame into an associated 2D video frame having a lower resolution, and segmenting objects present in the downscaled 2D video frame into background objects and foreground objects. The method also includes generating a background depth map and a foreground depth map for the downscaled 2D video frame based on the segmented background and foreground objects, and deriving a frame depth map in the original resolution based on the background depth map and the foreground depth map. The method further includes providing a 3D video frame for display at a real-time playback rate. The 3D video frame is generated in the original resolution based on the frame depth map.

摘要翻译： 一种用于实时2D到3D视频转换的方法包括接收具有原始分辨率的解码的2D视频帧，将解码的2D视频帧缩小成具有较低分辨率的相关联的2D视频帧，以及分割存在于缩小的2D视频帧中的对象 进入背景对象和前景对象。 该方法还包括基于分割的背景和前景对象生成用于缩小的2D视频帧的背景深度图和前景深度图，并且基于背景深度图和前景深度图导出原始分辨率中的帧深度图 。 该方法还包括提供用于以实时重放速率显示的3D视频帧。 基于帧深度图以原始分辨率生成3D视频帧。

公开(公告)号：US20120287233A1

公开(公告)日：2012-11-15

申请号：US13519565

申请日：2009-12-29

申请人： Haohong Wang ,  Glenn Adler

发明人： Haohong Wang ,  Glenn Adler

IPC分类号： H04N13/00

CPC分类号： H04N13/128

摘要： A method for personalized video depth adjustment includes receiving a video frame, obtaining a frame depth map based on the video frame, and determining content genre of the video frame by classifying content of the video frame into one or more categories. The method also includes identifying a user viewing the video frame, retrieving depth preference information for the user from a user database, and deriving depth adjustment parameters based on the content genre and the depth preference information for the user. The method further includes adjusting the frame depth map based on the depth adjustment parameters, and providing a 3D video frame for display at a real-time playback rate on a user device of the user. The 3D video frame is generated based on the adjusted frame depth map.

摘要翻译： 用于个性化视频深度调整的方法包括：接收视频帧，基于视频帧获得帧深度图，以及通过将视频帧的内容分类为一个或多个类别来确定视频帧的内容类型。 该方法还包括识别观看视频帧的用户，从用户数据库检索用户的深度偏好信息，以及基于用户的内容类型和深度偏好信息导出深度调整参数。 该方法还包括基于深度调整参数来调整帧深度图，并且提供用于在用户的用户设备上以实时回放速率显示的3D视频帧。 基于经调整的帧深度图生成3D视频帧。

公开(公告)号：US20110069152A1

公开(公告)日：2011-03-24

申请号：US12585784

申请日：2009-09-24

申请人： Haohong Wang ,  Glenn Adler

发明人： Haohong Wang ,  Glenn Adler

IPC分类号： H04N13/02

CPC分类号： G06T7/194 ,  G06T7/11 ,  G06T7/50 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20012 ,  H04N13/261

摘要： A method for real-time 2D to 3D video conversion includes receiving a decoded 2D video frame having an original resolution, downscaling the decoded 2D video frame into an associated 2D video frame having a lower resolution, and segmenting objects present in the downscaled 2D video frame into background objects and foreground objects. The method also includes generating a background depth map and a foreground depth map for the downscaled 2D video frame based on the segmented background and foreground objects, and deriving a frame depth map in the original resolution based on the background depth map and the foreground depth map. The method further includes providing a 3D video frame for display at a real-time playback rate. The 3D video frame is generated in the original resolution based on the frame depth map.

摘要翻译： 一种用于实时2D到3D视频转换的方法包括接收具有原始分辨率的解码的2D视频帧，将解码的2D视频帧缩小成具有较低分辨率的相关联的2D视频帧，以及分割存在于缩小的2D视频帧中的对象 进入背景对象和前景对象。 该方法还包括基于分割的背景和前景对象生成用于缩小的2D视频帧的背景深度图和前景深度图，并且基于背景深度图和前景深度图导出原始分辨率中的帧深度图 。 该方法还包括提供用于以实时重放速率显示的3D视频帧。 基于帧深度图以原始分辨率生成3D视频帧。

公开(公告)号：US08970680B2

公开(公告)日：2015-03-03

申请号：US11497906

申请日：2006-08-01

申请人： Haohong Wang ,  Hsiang-Tsun Li ,  Sharath Manjunath

发明人： Haohong Wang ,  Hsiang-Tsun Li ,  Sharath Manjunath

IPC分类号： H04N13/02 ,  H04N13/00 ,  H04N5/222 ,  G06T7/00 ,  H04N5/232

CPC分类号： H04N13/261 ,  G06T7/571 ,  G06T2207/10012 ,  H04N5/2226 ,  H04N5/23212 ,  H04N13/128 ,  H04N13/161 ,  H04N13/207 ,  H04N13/236 ,  H04N13/271 ,  H04N13/275

摘要： A monoscopic low-power mobile device is capable of creating real-time stereo images and videos from a single captured view. The device uses statistics from an autofocusing process to create a block depth map of a single capture view. Artifacts in the block depth map are reduced and an image depth map is created. Stereo three-dimensional (3D) left and right views are created from the image depth map using a Z-buffer based 3D surface recover process and a disparity map which is a function of the geometry of binocular vision.

摘要翻译： 单视低功率移动设备能够从单个捕获的视图创建实时立体图像和视频。 该设备使用自动对焦过程的统计信息来创建单个捕获视图的块深度图。 减少块深度图中的人工制品，并创建图像深度图。 使用基于Z缓冲的3D表面恢复过程和作为双目视觉几何的函数的视差图，从图像深度图创建立体三维（3D）左视图和右视图。

公开(公告)号：US08869211B2

公开(公告)日：2014-10-21

申请号：US13663706

申请日：2012-10-30

申请人： Haohong Wang

发明人： Haohong Wang

IPC分类号： G06F3/00 ,  G06F13/00 ,  H04N5/445 ,  H04N21/482 ,  H04N21/443 ,  G06F17/22 ,  H04N21/466 ,  H04N21/25 ,  H04N21/45 ,  H04N21/431

CPC分类号： H04N21/4826 ,  G06F17/2241 ,  G06F17/30058 ,  H04N21/25 ,  H04N21/251 ,  H04N21/431 ,  H04N21/4312 ,  H04N21/4438 ,  H04N21/45 ,  H04N21/466 ,  H04N21/4668 ,  H04N21/482

摘要： A method is provided for a content recommendation module. The method includes receiving a user input related to viewing contents from a user and determining whether a recommendation pool containing a plurality of selected recommendation candidates has been changed corresponding to the input. The method also includes, when the recommendation pool has been changed, mapping the plurality of selected recommendation candidates in the changed recommendation pool into a hierarchical data structure with a plurality of levels such that each of the plurality of levels acts as a stage of a zoom operation on the selected recommendation candidates. Further, the method includes rendering mapped recommendation candidates from the plurality of levels to be displayed to the user.

摘要翻译： 提供了一种用于内容推荐模块的方法。 该方法包括从用户接收与观看内容相关的用户输入，并且确定包含多个所选推荐候选的推荐池是否已经相应于输入而改变。 该方法还包括当推荐池已经被改变时，将改变的推荐池中的多个选择的推荐候选映射到具有多个级别的分级数据结构，使得多个级别中的每一个级别作为缩放级 对所选推荐候选人的操作。 此外，该方法包括将来自多个级别的映射的推荐候选图像呈现给用户。

公开(公告)号：US08456515B2

公开(公告)日：2013-06-04

申请号：US11493434

申请日：2006-07-25

申请人： Hsiang-Tsun Li ,  Behnam Katibian ,  Haohong Wang ,  Sharath Manjunath

发明人： Hsiang-Tsun Li ,  Behnam Katibian ,  Haohong Wang ,  Sharath Manjunath

IPC分类号： H04N13/00

CPC分类号： H04N21/42204 ,  H04N5/2257 ,  H04N13/10 ,  H04N13/239 ,  H04N13/334 ,  H04N21/4126

摘要： A method and apparatus for generating stereoscopic images of a scene is described. The apparatus may have a first image sensor, a second image sensor spaced apart from the first image sensor, a diversity combine module to combine image data from the first and second image sensors, and an image processing module configured to process combined image data from the diversity combine module may be used to generate stereoscopic images of a scene.

摘要翻译： 描述用于产生场景的立体图像的方法和装置。 该装置可以具有第一图像传感器，与第一图像传感器间隔开的第二图像传感器，用于组合来自第一和第二图像传感器的图像数据的分集组合模块，以及被配置为处理来自第一图像传感器的组合图像数据的图像处理模块 分集组合模块可用于生成场景的立体图像。

公开(公告)号：US08363969B1

公开(公告)日：2013-01-29

申请号：US12534632

申请日：2009-08-03

申请人： Haohong Wang ,  Li Sha

发明人： Haohong Wang ,  Li Sha

IPC分类号： G06K9/36

CPC分类号： H04N19/423 ,  H04N19/12 ,  H04N19/126 ,  H04N19/13 ,  H04N19/15 ,  H04N19/18 ,  H04N19/184 ,  H04N19/30

摘要： Embodiments of the present invention include systems and methods for processing and coding image data. In one embodiment, image data is coded using a first image coding process. If a bit rate constraint is satisfied, the image data is output. If the bit rate constraint is not satisfied, the image data is coded using a second different coding process. In one embodiment, the second coding process is a layered coding process. In another embodiment, if the constraint is satisfied, quantization data may be included in the output, and may be coded using layered coding. Variable length coding processes and hardware implementations are further disclosed for efficient image processing.

摘要翻译： 本发明的实施例包括用于处理和编码图像数据的系统和方法。 在一个实施例中，使用第一图像编码处理对图像数据进行编码。 如果满足比特率约束，则输出图像数据。 如果不满足比特率约束，则使用第二不同的编码处理对图像数据进行编码。 在一个实施例中，第二编码处理是分层编码处理。 在另一个实施例中，如果约束被满足，量化数据可以被包括在输出中，并且可以使用分层编码进行编码。 进一步公开了可变长度编码处理和硬件实现用于有效的图像处理。

公开(公告)号：US08315466B2

公开(公告)日：2012-11-20

申请号：US11615470

申请日：2006-12-22

申请人： Khaled Helmi El-Maleh ,  Vijay Mahadevan ,  Haohong Wang

发明人： Khaled Helmi El-Maleh ,  Vijay Mahadevan ,  Haohong Wang

IPC分类号： G06K9/36

CPC分类号： H04N21/4621 ,  H04N19/117 ,  H04N19/126 ,  H04N19/159 ,  H04N19/17 ,  H04N19/176 ,  H04N19/186 ,  H04N19/44 ,  H04N19/46 ,  H04N19/48 ,  H04N19/70 ,  H04N19/895 ,  H04N21/4728

摘要： The disclosure is directed to decoder-side region-of-interest (ROI) video processing. A video decoder determines whether ROI assistance information is available. If not, the decoder defaults to decoder-side ROI processing. The decoder-side ROI processing may estimate the reliability of ROI extraction in the bitstream domain. If ROI reliability is favorable, the decoder applies bitstream domain ROI extraction. If ROI reliability is unfavorable, the decoder applies pixel domain ROI extraction. The decoder may apply different ROI extraction processes for intra-coded (I) and inter-coded (P or B) data. The decoder may use color-based ROI generation for intra-coded data, and coded block pattern (CBP)-based ROI generation for inter-coded data. ROI refinement may involve shape-based refinement for intra-coded data, and motion- and color-based refinement for inter-coded data.

摘要翻译： 本公开涉及解码器侧感兴趣区域（ROI）视频处理。 视频解码器确定ROI辅助信息是否可用。 如果不是，则解码器默认为解码器侧ROI处理。 解码器侧ROI处理可以估计比特流域中的ROI提取的可靠性。 如果ROI可靠性较好，则解码器应用比特流域ROI提取。 如果ROI可靠性不利，则解码器应用像素域ROI提取。 解码器可以对帧内编码（I）和帧间编码（P或B）数据应用不同的ROI提取处理。 解码器可以使用用于帧内编码数据的基于颜色的ROI生成，以及用于帧间编码数据的基于编码块模式（CBP）的ROI生成。 ROI细化可能涉及帧内编码数据的基于形状的细化，以及帧间编码数据的基于运动和颜色的细化。

公开(公告)号：US08189100B2

公开(公告)日：2012-05-29

申请号：US11493439

申请日：2006-07-25

申请人： Hsiang-Tsun Li ,  Behnam Katibian ,  Haohong Wang ,  Sharath Manjunath

发明人： Hsiang-Tsun Li ,  Behnam Katibian ,  Haohong Wang ,  Sharath Manjunath

IPC分类号： H04N5/225 ,  H04N7/00 ,  H04N13/02

CPC分类号： H04N5/225 ,  H04N5/2258 ,  H04N5/23238 ,  H04N13/239 ,  H04N13/296

摘要： A mobile device comprising a first image sensor, a second image sensor configured to change position with respect to the first image sensor, a controller configured to control the position of the second image sensor, and an image processing module configured to process and combine images captured by the first and second image sensors.

摘要翻译： 一种移动设备，包括第一图像传感器，被配置为相对于第一图像传感器改变位置的第二图像传感器，被配置为控制第二图像传感器的位置的控制器，以及被配置为处理和组合捕获的图像的图像处理模块 由第一和第二图像传感器。

公开(公告)号：US07982733B2

公开(公告)日：2011-07-19

申请号：US11620621

申请日：2007-01-05

申请人： Haohong Wang ,  Hsiang-Tsun Li ,  Sharath Manjunath ,  Yingyong Qi

发明人： Haohong Wang ,  Hsiang-Tsun Li ,  Sharath Manjunath ,  Yingyong Qi

IPC分类号： G06T15/40

CPC分类号： G06T15/10 ,  H04N13/275

摘要： The rendering of 3D video images on a stereo-enabled display (e.g., stereoscopic or autostereoscopic display) is described. The process includes culling facets facing away from a viewer, defining foreground facets for Left and Right Views and common background facets, determining lighting for these facets, and performing screen mapping and scene rendering for one view (e.g., Right View) using computational results for facets of the other view (i.e., Left View). In one embodiment, visualization of images is provided on the stereo-enabled display of a low-power device, such as mobile phone, a computer, a video game platform, or a Personal Digital Assistant (PDA) device.

摘要翻译： 描述了在支持立体声的显示器上（例如，立体显示或自动立体显示）上的3D视频图像的呈现。 该过程包括面向远离观察者的剔除面，定义用于左视图和右视图以及常见背景面的前景面，确定这些面的照明，以及使用计算结果为一个视图（例如，右视图）执行屏幕映射和场景渲染 另一个视图的方面（即左视图）。 在一个实施例中，在诸如移动电话，计算机，视频游戏平台或个人数字助理（PDA）设备的低功率设备的支持立体声的显示器上提供图像的可视化。