一种光电计算光场智能深度分类方法和装置

    公开(公告)号:CN113780258A

    公开(公告)日:2021-12-10

    申请号:CN202111340133.X

    申请日:2021-11-12

    申请人: 清华大学

    摘要: 本申请提出一种光电计算光场智能深度分类方法和装置,其中,方法包括:利用双目摄像头采集并识别深度数值内场景的双目图像;依据深度数值根据所述双目摄像头的排布方式,将深度数值映射为双目摄像头获得双目图像的视差值,以计算确定深度数值内场景的视差范围;根据视差范围对训练数据进行标注,获得预训练衍射神经网络模型;基于预训练衍射神经网络模型,将训练得到的网络各层权重以识别加载到对应位置的光学元件中;在网络各层权重加载后,对新的输入场景数据做前向传播推理,输出场景中每一个双目图像的像素位置对应深度分类结果。本发明搭建一个完整的光电计算光场智能深度分类神经网络,具有低能耗和高速度的优点,以输出深度分类图像。

    光电感算一体光场智能成像方法及装置

    公开(公告)号:CN113630517A

    公开(公告)日:2021-11-09

    申请号:CN202111168889.0

    申请日:2021-10-08

    申请人: 清华大学

    IPC分类号: H04N5/14 G06N3/04 G06N3/08

    摘要: 本申请提出一种光电感算一体光场智能成像方法和装置,其中,方法包括:待成像场景或物体的光信号,经过光学计算模块,得到光学计算结果;光学计算结果为待成像场景或物体的光场成像;获取光学计算结果,通过电学计算操作对光学计算结果进行计算,得到电学计算结果;根据电学计算结果,判断是否需要级联,如果需要,则将上一级电学计算结果作为下一级光学计算模块的输入,形成级联结构;如果不需要,则输出最终结果。本发明利用来自待成像物体或场景的光进行光计算,并通过设计模拟电路实现简单的电计算,不需要额外的模数转换和存储环节,避免了光电转换过程造成的信息损失,从而能够以感算一体的方式高效低功耗地完成不同类型的计算机视觉任务。

    一种用于扫描光场成像系统的动态场景拍摄方法及装置

    公开(公告)号:CN113487658A

    公开(公告)日:2021-10-08

    申请号:CN202111014061.X

    申请日:2021-08-31

    申请人: 清华大学

    摘要: 本申请提出一种用于扫描光场成像系统的动态场景拍摄方法和装置,其中,方法包括:通过扫描光场系统采集得到光场原始图像,将光场原始图像通过变换得到三维图像堆栈,将三维图像堆栈中的图像进行单独处理,组合得到图像对,对图像对进行配准,计算得到图像对的坐标变换关系,根据坐标变换关系进行散点插值,获得高分辨率扫描光场单视角图像。本发明通过采用上述方法,可以使用扫描光场进行动态场景的无伪影高分辨率拍摄。

    基于共聚焦模式的非视域动态成像系统

    公开(公告)号:CN112946990B

    公开(公告)日:2021-08-31

    申请号:CN202110520127.6

    申请日:2021-05-13

    申请人: 清华大学

    摘要: 本发明提出一种基于共聚焦模式的非视域动态成像系统,其中,包括:条纹相机、扫描转镜、漫反射板、成像目标、激光器、DAQ控制器、其中,激光器与条纹相机的接收的位置在同一点;条纹相机,用于获得成像目标不同位置处散射光子的时间信息;DAQ控制器,用于根据散射光子的时间信息做变换,以获得特定的激光位置的成像物体的信息,通过多次高速扫描获得三维动态成像。由此,能够实现高效高质量的非视域成像。

    高精度深度计算装置及方法

    公开(公告)号:CN113280754A

    公开(公告)日:2021-08-20

    申请号:CN202110828555.5

    申请日:2021-07-22

    申请人: 清华大学

    IPC分类号: G01B11/22

    摘要: 本发明本发明公开了一种高精度深度计算装置及方法,其中,装置包括:镜头组,用于记录目标场景的光学信号;透镜阵列,用于对光学信号进行光学编码;扫描平台,用于控制透镜阵列进行空间二维扫描,得到光场信息;传感器,用于接收光场信息;计算模块,用于对光场信息进行深度计算,得到目标场景的深度信息。本发明通过利用二维扫描平台控制透镜阵列进行空间扫描,提高空间采样效率,最终解决现有深度计算精度不足等问题。

    用于扫描光场成像系统的镜头标定方法及装置

    公开(公告)号:CN113256741A

    公开(公告)日:2021-08-13

    申请号:CN202110792338.5

    申请日:2021-07-14

    申请人: 清华大学

    IPC分类号: G06T7/80

    摘要: 本申请公开了一种用于扫描光场成像系统的镜头标定方法和装置,该方案包括:采集包含不同角度信息的多个光场原始图像;将多个光场原始图像划分为中心视角图像和非中心视角图像,将每个中心视角图像与每个非中心视角图像两两配对形成图像对,并获取图像对不同阶像差的全局分布;根据图像对不同阶像差的全局分布,生成非全局一致的点扩散函数,并根据非全局一致的点扩散函数的求解对镜头进行标定。上述方案可以根据获得光学镜头的不同阶像差的全局分布生成非全局一致的点扩散函数,并根据非全局一致的点扩散函数的求解对镜头进行标定,进而快速通过计算方式获得衍射极限成像结果,实现全局的像差矫正需要花费大量的计算资源与计算时间。

    一种自适应多对象光场三维重建方法、装置及设备

    公开(公告)号:CN112819937B

    公开(公告)日:2021-07-06

    申请号:CN202110416959.3

    申请日:2021-04-19

    申请人: 清华大学

    IPC分类号: G06T15/00 G06T17/00

    摘要: 本发明实施例公开了一种自适应多对象光场三维重建方法、装置及设备。其中,该方法包括:获取全局图像采集设备拍摄的第一图像,并根据第一图像确定候选区域集合;根据候选区域集合中包括的候选区域的个数以及局部图像采集设备的总个数的大小关系,确定局部图像采集设备对应的拍摄策略以及获取局部图像采集设备按照拍摄策略进行拍摄得到的第二图像集合;针对拍摄区域集合中的每个拍摄区域,根据第一图像以及第二图像集合对当前拍摄区域中包含的每个对象进行三维重建,得到每个对象所对应的三维重建模型。本发明实施例提供的技术方案,能够实现多对象光场三维重建,有利于提高生成的三维模型的准确性。

    基于共聚焦模式的非视域动态成像系统

    公开(公告)号:CN112946990A

    公开(公告)日:2021-06-11

    申请号:CN202110520127.6

    申请日:2021-05-13

    申请人: 清华大学

    摘要: 本发明提出一种基于共聚焦模式的非视域动态成像系统,其中,包括:条纹相机、扫描转镜、漫反射板、成像目标、激光器、DAQ控制器、其中,激光器与条纹相机的接收的位置在同一点;条纹相机,用于获得成像目标不同位置处散射光子的时间信息;DAQ控制器,用于根据散射光子的时间信息做变换,以获得特定的激光位置的成像物体的信息,通过多次高速扫描获得三维动态成像。由此,能够实现高效高质量的非视域成像。

    一种跨尺度自适应映射的光场成像方法

    公开(公告)号:CN112884805A

    公开(公告)日:2021-06-01

    申请号:CN202110019681.6

    申请日:2021-01-07

    申请人: 清华大学

    IPC分类号: G06T7/246

    摘要: 本发明实施例公开了一种跨尺度自适应映射的光场成像方法,该方法包括:获取光场相机采集的光场图像和事件相机采集的灰度图,并根据光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各动态对象对应的运动速度;根据光场图像、当前区域分布图像和各动态对象对应的运动速度确定运动显著性指标;根据运动显著性指标对各动态对象进行筛选,得到目标运动对象;根据目标运动对象确定目标图像。解决了在采集监控区域图像时由于微小变动导致的图像频繁、大量采集和处理的问题,可以有效过滤图像中不需要或者不期望关注的动态对象,减少数据处理量,提高数据分析速度,通过目标图像直观观察目标运动对象,方便后续数据处理。

    一种场景语义分割方法、装置、电子设备

    公开(公告)号:CN112446385A

    公开(公告)日:2021-03-05

    申请号:CN202110125033.9

    申请日:2021-01-29

    申请人: 清华大学

    摘要: 本发明公开了一种场景语义分割方法、装置、电子设备,该方法包括:如果场景原始点云对应体素块的粒度大于粒度阈值,则根据所述体素块特征和原始点云特征,得到下一分割点云;如果所述有效体素块细分后下一体素块粒度小于等于所述粒度阈值,则根据所述下一分割点云添加语义标签作为场景语义分割结果;如果所述有效体素块细分后下一体素块粒度大于所述粒度阈值,则根据所述下一体素块特征和下一分割点云特征,得到新下一分割点云;直至所述有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值,则将所述新下一分割点云添加语义标签作为场景语义分割结果。本发明实施例在场景不同粒度下有足够上下文信息进行整合,减少计算复杂度。