公开(公告)号：US09789608B2

公开(公告)日：2017-10-17

申请号：US12415354

申请日：2009-03-31

申请人： Brandon D. Itkowitz ,  Daniel J. Halabe ,  Tao Zhao ,  Simon Dimaio ,  Christopher J. Hasser ,  Catherine J. Mohr ,  Paul W. Mohr ,  David Q. Larkin ,  Wenyi Zhao ,  Brian D. Hoffman

发明人： Brandon D. Itkowitz ,  Daniel J. Halabe ,  Tao Zhao ,  Simon Dimaio ,  Christopher J. Hasser ,  Catherine J. Mohr ,  Paul W. Mohr ,  David Q. Larkin ,  Wenyi Zhao ,  Brian D. Hoffman

IPC分类号： A61B17/00 ,  B25J9/16 ,  G05B19/42 ,  A61B90/00 ,  A61B34/30 ,  A61B34/37 ,  A61B34/20 ,  A61B34/00

CPC分类号： B25J9/1697 ,  A61B34/20 ,  A61B34/25 ,  A61B34/30 ,  A61B34/37 ,  A61B90/36 ,  A61B90/361 ,  A61B90/37 ,  A61B2034/2061 ,  A61B2090/371 ,  B25J9/1666 ,  B25J9/1671 ,  B25J9/1689 ,  B25J9/1692 ,  G05B19/4202 ,  G05B2219/36432 ,  G05B2219/39083 ,  G05B2219/39096 ,  G05B2219/39449 ,  G05B2219/40607 ,  G05B2219/45117 ,  G05B2219/45123 ,  G06F19/00

摘要： A synthetic representation of a robot tool for display on a user interface of a robotic system. The synthetic representation may be used to show the position of a view volume of an image capture device with respect to the robot. The synthetic representation may also be used to find a tool that is outside of the field of view, to display range of motion limits for a tool, to remotely communicate information about the robot, and to detect collisions.

公开(公告)号：US20090192524A1

公开(公告)日：2009-07-30

申请号：US12415354

申请日：2009-03-31

申请人： Brandon D. Itkowitz ,  Daniel J. Halabe ,  Tao Zhao ,  Simon Dimaio ,  Christopher J. Hasser ,  Catherine J. Mohr ,  Paul W. Mohr ,  David Q. Larkin ,  Wenyi Zhao ,  Brian D. Hoffman

发明人： Brandon D. Itkowitz ,  Daniel J. Halabe ,  Tao Zhao ,  Simon Dimaio ,  Christopher J. Hasser ,  Catherine J. Mohr ,  Paul W. Mohr ,  David Q. Larkin ,  Wenyi Zhao ,  Brian D. Hoffman

IPC分类号： A61B19/00

CPC分类号： B25J9/1697 ,  A61B34/20 ,  A61B34/25 ,  A61B34/30 ,  A61B34/37 ,  A61B90/36 ,  A61B90/361 ,  A61B90/37 ,  A61B2034/2061 ,  A61B2090/371 ,  B25J9/1666 ,  B25J9/1671 ,  B25J9/1689 ,  B25J9/1692 ,  G05B19/4202 ,  G05B2219/36432 ,  G05B2219/39083 ,  G05B2219/39096 ,  G05B2219/39449 ,  G05B2219/40607 ,  G05B2219/45117 ,  G05B2219/45123 ,  G06F19/00

摘要： A synthetic representation of a robot tool for display on a user interface of a robotic system. The synthetic representation may be used to show the position of a view volume of an image capture device with respect to the robot. The synthetic representation may also be used to find a tool that is outside of the field of view, to display range of motion limits for a tool, to remotely communicate information about the robot, and to detect collisions.

摘要翻译： 用于在机器人系统的用户界面上显示的机器人工具的合成表示。 合成表示可以用于显示图像捕获装置相对于机器人的视图体积的位置。 合成表示还可以用于找到在视野之外的工具，以显示工具的运动限制的范围，远程地传达关于机器人的信息以及检测碰撞。

公开(公告)号：US20100164950A1

公开(公告)日：2010-07-01

申请号：US12465020

申请日：2009-05-13

申请人： Wenyi Zhao ,  Chenyu Wu ,  David Hirvonen ,  Christopher J. Hasser ,  Brian E. Miller ,  Catherine J. Mohr ,  Myriam J. Curet ,  Tao Zhao ,  Simon Dimaio ,  Brian D. Hoffman

发明人： Wenyi Zhao ,  Chenyu Wu ,  David Hirvonen ,  Christopher J. Hasser ,  Brian E. Miller ,  Catherine J. Mohr ,  Myriam J. Curet ,  Tao Zhao ,  Simon Dimaio ,  Brian D. Hoffman

IPC分类号： G06T15/00

CPC分类号： A61B34/25 ,  A61B34/20 ,  A61B2034/2057 ,  A61B2034/2065 ,  A61B2090/371 ,  A61B2090/373 ,  G06T7/593 ,  G06T11/00 ,  G06T2207/10068 ,  G06T2207/20096 ,  G06T2207/20101 ,  G06T2207/30004 ,  H04N13/10 ,  H04N13/20 ,  H04N13/30 ,  H04N2013/0092

摘要： An apparatus is configured to show telestration in 3-D to a surgeon in real time. A proctor is shown one side of a stereo image pair, such that the proctor can draw a telestration line on the one side with an input device. Points of interest are identified for matching to the other side of the stereo image pair. In response to the identified points of interest, regions and features are identified and used to match the points of interest to the other side. Regions can be used to match the points of interest. Features of the first image can be matched to the second image and used to match the points of interest to the second image, for example when the confidence scores for the regions are below a threshold value. Constraints can be used to evaluate the matched points of interest, for example by excluding bad points.

摘要翻译： 一种装置被配置为实时地向外科医生示出3-D的远程化。 监视器被显示为立体图像对的一侧，使得监视器可以在一侧用输入装置绘制远距离信号线。 识别兴趣点以匹配立体图像对的另一侧。 响应于所识别的兴趣点，区域和特征被识别并用于将感兴趣点与另一侧匹配。 区域可用于匹配兴趣点。 第一图像的特征可以匹配第二图像，并且用于将感兴趣的点与第二图像匹配，例如当区域的置信度得分低于阈值时。 限制可用于评估匹配的兴趣点，例如排除不良点。

公开(公告)号：US08169468B2

公开(公告)日：2012-05-01

申请号：US12164363

申请日：2008-06-30

申请人： David Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Paul Lilagan ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern ,  Tao Zhao

发明人： David Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Paul Lilagan ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern ,  Tao Zhao

IPC分类号： H04N13/00 ,  G06F12/00

CPC分类号： A61B1/043 ,  A61B1/00009 ,  A61B1/0005 ,  A61B1/00149 ,  A61B1/00186 ,  A61B1/00193 ,  A61B1/05 ,  A61B1/063 ,  A61B1/0638 ,  A61B1/313 ,  A61B5/0071 ,  A61B5/0075 ,  A61B5/0084 ,  A61B34/30 ,  A61B34/37 ,  A61B90/30 ,  A61B90/361 ,  A61B2034/301 ,  A61B2090/364 ,  G01N21/6456 ,  H04N13/0239 ,  H04N13/207 ,  H04N13/239

摘要： A robotic surgical system positions and holds an endoscope. A visible imaging system is coupled to the endoscope. The visible imaging system captures a visible image of tissue. An alternate imaging system is also coupled to the endoscope. The alternate imaging system captures a fluorescence image of at least a portion of the tissue. A stereoscopic video display system is coupled to the visible imaging system and to the alternate imaging system. The stereoscopic video display system outputs a real-time stereoscopic image comprising a three-dimensional presentation of a blend of a fluorescence image associated with the captured fluorescence image, and the visible image.

摘要翻译： 机器人手术系统定位并保持内窥镜。 可见成像系统连接到内窥镜。 可见成像系统捕获组织的可见图像。 替代的成像系统也耦合到内窥镜。 替代成像系统捕获组织的至少一部分的荧光图像。 立体视频显示系统耦合到可见成像系统和替代成像系统。 立体视频显示系统输出包括与所捕获的荧光图像相关联的荧光图像的混合物和可见图像的三维呈现的实时立体图像。

公开(公告)号：US08830224B2

公开(公告)日：2014-09-09

申请号：US12465020

申请日：2009-05-13

申请人： Wenyi Zhao ,  Chenyu Wu ,  David Hirvonen ,  Christopher J. Hasser ,  Brian E. Miller ,  Catherine J. Mohr ,  Myrian J. Curet ,  Tao Zhao ,  Simon Di Maio ,  Brian D. Hoffman

发明人： Wenyi Zhao ,  Chenyu Wu ,  David Hirvonen ,  Christopher J. Hasser ,  Brian E. Miller ,  Catherine J. Mohr ,  Myrian J. Curet ,  Tao Zhao ,  Simon Di Maio ,  Brian D. Hoffman

IPC分类号： G06T15/00 ,  G06K9/68

CPC分类号： A61B34/25 ,  A61B34/20 ,  A61B2034/2057 ,  A61B2034/2065 ,  A61B2090/371 ,  A61B2090/373 ,  G06T7/593 ,  G06T11/00 ,  G06T2207/10068 ,  G06T2207/20096 ,  G06T2207/20101 ,  G06T2207/30004 ,  H04N13/10 ,  H04N13/20 ,  H04N13/30 ,  H04N2013/0092

摘要： An apparatus is configured to show telestration in 3-D to a surgeon in real time. A proctor is shown one side of a stereo image pair, such that the proctor can draw a telestration line on the one side with an input device. Points of interest are identified for matching to the other side of the stereo image pair. In response to the identified points of interest, regions and features are identified and used to match the points of interest to the other side. Regions can be used to match the points of interest. Features of the first image can be matched to the second image and used to match the points of interest to the second image, for example when the confidence scores for the regions are below a threshold value. Constraints can be used to evaluate the matched points of interest, for example by excluding bad points.

摘要翻译： 一种装置被配置为实时地向外科医生示出3-D的远程化。 监视器被显示为立体图像对的一侧，使得监视器可以在一侧用输入装置绘制远距离信号线。 识别兴趣点以匹配立体图像对的另一侧。 响应于所识别的兴趣点，区域和特征被识别并用于将感兴趣点与另一侧匹配。 区域可用于匹配兴趣点。 第一图像的特征可以匹配第二图像，并且用于将感兴趣的点与第二图像匹配，例如当区域的置信度得分低于阈值时。 限制可用于评估匹配的兴趣点，例如排除不良点。

公开(公告)号：US08228368B2

公开(公告)日：2012-07-24

申请号：US12164976

申请日：2008-06-30

申请人： Wenyi Zhao ,  Catherine J. Mohr ,  Christopher J. Hasser ,  Brian D. Hoffman ,  John D. Stern ,  Tao Zhao

发明人： Wenyi Zhao ,  Catherine J. Mohr ,  Christopher J. Hasser ,  Brian D. Hoffman ,  John D. Stern ,  Tao Zhao

IPC分类号： H04N13/00

CPC分类号： A61B1/043 ,  A61B1/00009 ,  A61B1/0005 ,  A61B1/00149 ,  A61B1/00186 ,  A61B1/00193 ,  A61B1/05 ,  A61B1/063 ,  A61B1/0638 ,  A61B1/313 ,  A61B5/0071 ,  A61B5/0075 ,  A61B5/0084 ,  A61B34/30 ,  A61B34/37 ,  A61B90/30 ,  A61B90/361 ,  A61B2034/301 ,  A61B2090/364 ,  G01N21/6456 ,  H04N13/0239 ,  H04N13/207 ,  H04N13/239

摘要： An illumination channel, a stereoscopic optical channel and another optical channel are held and positioned by a robotic surgical system. A first capture unit captures a stereoscopic visible image from the first light from the stereoscopic optical channel while a second capture unit captures a fluorescence image from the second light from the other optical channel. An intelligent image processing system receives the captured stereoscopic visible image and the captured fluorescence image and generates a stereoscopic pair of fluorescence images. An augmented stereoscopic display system outputs a real-time stereoscopic image comprising a three-dimensional presentation of a blend of the stereoscopic visible image and the stereoscopic pair of fluorescence images.

摘要翻译： 照明通道，立体光学通道和另一个光学通道由机器人手术系统保持和定位。 第一捕获单元从来自立体光学信道的第一光捕获立体可视图像，而第二捕获单元从来自另一光信道的第二光捕获荧光图像。 智能图像处理系统接收捕获的立体可视图像和捕获的荧光图像并产生立体对的荧光图像。 增强立体显示系统输出包括立体可视图像和立体视觉对荧光图像的混合的三维呈现的实时立体图像。

公开(公告)号：US20090268015A1

公开(公告)日：2009-10-29

申请号：US12164363

申请日：2008-06-30

申请人： David D. Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Paul Lilagan ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern ,  Tao Zhao

发明人： David D. Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Paul Lilagan ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern ,  Tao Zhao

IPC分类号： H04N7/18 ,  H04N13/04

CPC分类号： A61B1/043 ,  A61B1/00009 ,  A61B1/0005 ,  A61B1/00149 ,  A61B1/00186 ,  A61B1/00193 ,  A61B1/05 ,  A61B1/063 ,  A61B1/0638 ,  A61B1/313 ,  A61B5/0071 ,  A61B5/0075 ,  A61B5/0084 ,  A61B34/30 ,  A61B34/37 ,  A61B90/30 ,  A61B90/361 ,  A61B2034/301 ,  A61B2090/364 ,  G01N21/6456 ,  H04N13/0239 ,  H04N13/207 ,  H04N13/239

摘要： A robotic surgical system positions and holds an endoscope. A visible imaging system is coupled to the endoscope. The visible imaging system captures a visible image of tissue. An alternate imaging system is also coupled to the endoscope. The alternate imaging system captures a fluorescence image of at least a portion of the tissue. A stereoscopic video display system is coupled to the visible imaging system and to the alternate imaging system. The stereoscopic video display system outputs a real-time stereoscopic image comprising a three-dimensional presentation of a blend of a fluorescence image associated with the captured fluorescence image, and the visible image.

摘要翻译： 机器人手术系统定位并保持内窥镜。 可见成像系统连接到内窥镜。 可见成像系统捕获组织的可见图像。 替代的成像系统也耦合到内窥镜。 替代成像系统捕获组织的至少一部分的荧光图像。 立体视频显示系统耦合到可见成像系统和替代成像系统。 立体视频显示系统输出包括与所捕获的荧光图像相关联的荧光图像的混合物和可见图像的三维呈现的实时立体图像。

公开(公告)号：US20090268010A1

公开(公告)日：2009-10-29

申请号：US12164976

申请日：2008-06-30

申请人： Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Catherine J. Mohr ,  John D. Stern ,  Tao Zhao

发明人： Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Catherine J. Mohr ,  John D. Stern ,  Tao Zhao

IPC分类号： H04N13/00 ,  A61B1/04

CPC分类号： A61B1/043 ,  A61B1/00009 ,  A61B1/0005 ,  A61B1/00149 ,  A61B1/00186 ,  A61B1/00193 ,  A61B1/05 ,  A61B1/063 ,  A61B1/0638 ,  A61B1/313 ,  A61B5/0071 ,  A61B5/0075 ,  A61B5/0084 ,  A61B34/30 ,  A61B34/37 ,  A61B90/30 ,  A61B90/361 ,  A61B2034/301 ,  A61B2090/364 ,  G01N21/6456 ,  H04N13/0239 ,  H04N13/207 ,  H04N13/239

摘要： An illumination channel, a stereoscopic optical channel and another optical channel are held and positioned by a robotic surgical system. A first capture unit captures a stereoscopic visible image from the first light from the stereoscopic optical channel while a second capture unit captures a fluorescence image from the second light from the other optical channel. An intelligent image processing system receives the captured stereoscopic visible image and the captured fluorescence image and generates a stereoscopic pair of fluorescence images. An augmented stereoscopic display system outputs a real-time stereoscopic image comprising a three-dimensional presentation of a blend of the stereoscopic visible image and the stereoscopic pair of fluorescence images.

摘要翻译： 照明通道，立体光学通道和另一个光学通道由机器人手术系统保持和定位。 第一捕获单元从来自立体光学信道的第一光捕获立体可视图像，而第二捕获单元从来自另一光信道的第二光捕获荧光图像。 智能图像处理系统接收捕获的立体可视图像和捕获的荧光图像并产生立体对的荧光图像。 增强立体显示系统输出包括立体可视图像和立体视觉对荧光图像的混合的三维呈现的实时立体图像。

公开(公告)号：US20090270678A1

公开(公告)日：2009-10-29

申请号：US12165189

申请日：2008-06-30

申请人： David Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern

发明人： David Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern

IPC分类号： A61B1/04

CPC分类号： A61B1/043 ,  A61B1/00009 ,  A61B1/0005 ,  A61B1/00149 ,  A61B1/00186 ,  A61B1/00193 ,  A61B1/05 ,  A61B1/063 ,  A61B1/0638 ,  A61B1/313 ,  A61B5/0071 ,  A61B5/0075 ,  A61B5/0084 ,  A61B34/30 ,  A61B34/37 ,  A61B90/30 ,  A61B90/361 ,  A61B2034/301 ,  A61B2090/364 ,  G01N21/6456 ,  H04N13/0239 ,  H04N13/207 ,  H04N13/239

摘要： An endoscope with a stereoscopic optical channel is again held and positioned by a robotic surgical system. A capture unit captures (1) at a first time, a first image from light from the channel; and (2) at a second time different from the first time, a second image from the light. Only one of the first image and the second image includes a combination of a fluorescence image and a visible image. The other of the first image and the second image is a visible image. An intelligent image processing system generates an artificial fluorescence image using the captured fluorescence image. An augmented stereoscopic display system outputs an augmented stereoscopic image of at least a portion of the tissue comprising the artificial fluorescence image.

摘要翻译： 具有立体光学通道的内窥镜再次由机器人手术系统保持和定位。 捕获单元在第一次捕获（1），来自通道的光的第一图像; 和（2）不同于第一次的第二时间，来自光的第二图像。 第一图像和第二图像中只有一个包括荧光图像和可视图像的组合。 第一个图像和第二个图像中的另一个是可见图像。 智能图像处理系统使用捕获的荧光图像生成人造荧光图像。 增强立体显示系统输出包含人造荧光图像的组织的至少一部分的增强立体图像。

公开(公告)号：US08167793B2

公开(公告)日：2012-05-01

申请号：US12165189

申请日：2008-06-30

申请人： David Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern

发明人： David Scott ,  Wenyi Zhao ,  Christopher J. Hasser ,  Brian D. Hoffman ,  Ian McDowall ,  Catherine J. Mohr ,  John D. Stern

IPC分类号： A61B1/06 ,  A61B1/04 ,  A61B1/00

CPC分类号： A61B1/043 ,  A61B1/00009 ,  A61B1/0005 ,  A61B1/00149 ,  A61B1/00186 ,  A61B1/00193 ,  A61B1/05 ,  A61B1/063 ,  A61B1/0638 ,  A61B1/313 ,  A61B5/0071 ,  A61B5/0075 ,  A61B5/0084 ,  A61B34/30 ,  A61B34/37 ,  A61B90/30 ,  A61B90/361 ,  A61B2034/301 ,  A61B2090/364 ,  G01N21/6456 ,  H04N13/0239 ,  H04N13/207 ,  H04N13/239

摘要： An endoscope with a stereoscopic optical channel is again held and positioned by a robotic surgical system. A capture unit captures (1) at a first time, a first image from light from the channel; and (2) at a second time different from the first time, a second image from the light. Only one of the first image and the second image includes a combination of a fluorescence image and a visible image. The other of the first image and the second image is a visible image. An intelligent image processing system generates an artificial fluorescence image using the captured fluorescence image. An augmented stereoscopic display system outputs an augmented stereoscopic image of at least a portion of the tissue comprising the artificial fluorescence image.

摘要翻译： 具有立体光学通道的内窥镜再次由机器人手术系统保持和定位。 捕获单元在第一次捕获（1），来自通道的光的第一图像; 和（2）不同于第一次的第二时间，来自光的第二图像。 第一图像和第二图像中只有一个包括荧光图像和可视图像的组合。 第一个图像和第二个图像中的另一个是可见图像。 智能图像处理系统使用捕获的荧光图像生成人造荧光图像。 增强立体显示系统输出包含人造荧光图像的组织的至少一部分的增强立体图像。