基于相机阵列的高动态十亿像素视频采集方法及装置

    公开(公告)号:CN108156383A

    公开(公告)日:2018-06-12

    申请号:CN201711481644.7

    申请日:2017-12-29

    申请人: 清华大学

    摘要: 本发明公开了一种基于相机阵列的高动态十亿像素视频采集方法及装置,多尺度相机阵列具有参考相机和至少一个长焦相机,其中,方法包括以下步骤:通过镜头焦距差距对所示至少一个长焦相机的长焦相机图像进行降采样;通过匹配算法获取至少一个长焦相机在参考相机中的位置;将对参考相机中的位置的图像块进行上采样,得到参考块;将长焦相机图像与参考块对齐,以将长焦相机图像嵌入参考相机图像中,并进行图像增强与颜色校正,得到视频采集结果。该方法可以实现十亿像素的视频合成,大大提高了相机阵列的灵活性,使得相机可以自由分配到有需要的区域,增加了CMOS传感器的利用率,且具有非常高的并行度。

    基于骨架跟踪的动态实时三维人体重建方法及系统

    公开(公告)号:CN108122275A

    公开(公告)日:2018-06-05

    申请号:CN201711408848.8

    申请日:2017-12-22

    申请人: 清华大学

    IPC分类号: G06T15/00 G06T7/20

    摘要: 本发明公开了一种基于骨架跟踪的动态实时三维人体重建方法及系统,其中,方法包括:对人体进行深度图拍摄以得到单张深度图像;将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对建立能量函数,共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数;对能量函数进行求解,以根据求解结果将重建模型与三维点云进行对齐,并使用深度图更新和补全对齐后的模型,以实现三维人体重建。该方法可以利用深度相机对人体进行拍摄,从而获得深度图像作为系统输入信息,并基于该深度图像完成对动态人体进行实时三维重建的功能,求解准确鲁棒,简单易实现。

    全光智能计算三维感知系统及装置

    公开(公告)号:CN117146730B

    公开(公告)日:2024-01-19

    申请号:CN202311411802.7

    申请日:2023-10-27

    申请人: 清华大学

    摘要: 本发明公开了全光智能计算三维感知系统及装置,该系统,包括参考光输入模块用于产生激光束;全光学结构光编码模块,用于基于激光束调制波前相位以生成空间模式随深度变化的结构光;结构光照明模块用于将生成的结构光照射到物体表面;全光学反射光解码模块,用于对物体反射的结构光中的深度信息在输出平面进行光强映射;三维信息采集模块用于利用光电探测器在输出平面获取光强信息以进行深度信息采集实现三维感知。本发明通过光线在被动光学系统中的传播过程来实现深度信息感知,且除了光源之外无需消耗其他能量,具有光速、低功耗的优势。

    信息路径可重构的光学神经网络芯片、设计方法及设备

    公开(公告)号:CN117055274A

    公开(公告)日:2023-11-14

    申请号:CN202310819769.5

    申请日:2023-07-05

    申请人: 清华大学

    摘要: 本申请涉及光学神经网络芯片技术领域,特别涉及一种信息路径可重构的光学神经网络芯片、设计方法及设备,其中,芯片包括:芯片基底和设置于芯片基底上的光学衍射层,其中,光学衍射层包括多个可重构衍射调制单元,光学衍射层基于可重构衍射调制单元的自身光学特性、数量、层数和空间分布动态重构折射率,并利用可重构衍射调制单元对光信号的集群调制效应,实现对一个或多个光信号波前传播特性的多自由度调制。由此,解决了相关技术中重构的光学神经网络芯片存在调制器物理尺寸大、集成度低且调控灵敏度和精度受限等问题。

    大范围光场语义驱动智能表征与实时重建方法

    公开(公告)号:CN116721222A

    公开(公告)日:2023-09-08

    申请号:CN202311004245.7

    申请日:2023-08-10

    申请人: 清华大学

    发明人: 方璐 营海洋 于涛

    IPC分类号: G06T17/00 G06V10/74 G06V20/70

    摘要: 本发明公开了大范围光场语义驱动智能表征与实时重建方法,本发明属于三维重建与智能理解、人工智能技术领域;该方法包括构建语义驱动智能表征;基于当前RGB‑D图像检测得到当前语义基元,并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新语义列表;基于更新后的语义列表对语义体中的体素进行更新得到更新后的语义体;基于更新后的语义体得到基于射线采样的3D空间采样点的坐标,并基于3D空间采样点的坐标得到射线RGB色彩值,以根据RGB色彩值进行基于所有RGB‑D图像的大范围光场的实时重建得到大范围光场的实时重建结果。本发明能够以增量的形式更新光场智能表征中的语义信息和场景属性,实现大范围光场的实时重建和实时渲染。

    全光非线性调制的超表面衍射光计算器件及其制备方法

    公开(公告)号:CN116027608B

    公开(公告)日:2023-07-25

    申请号:CN202310309887.1

    申请日:2023-03-27

    申请人: 清华大学

    IPC分类号: G02F1/35 G02F1/355 G02B5/00

    摘要: 本发明提供全光非线性调制的超表面衍射光计算器件及其制备方法,全光非线性调制的超表面衍射光计算器件包括层叠设置的光学衍射超表面、金属层、第一绝缘层、非线性二维材料层、第二绝缘层、等离子体激元和保护层,由此,本申请将光学衍射超表面与等离子体激元、非线性二维材料层进行复合,可以实现低功耗和低光学阈值的非线性光学吸收,应用于低功耗衍射光计算器件,可满足目前人工智能光计算芯片中非线性调制器件的需求。

    对光计算器件进行调控的方法和光计算器件

    公开(公告)号:CN115933224B

    公开(公告)日:2023-07-21

    申请号:CN202310118828.6

    申请日:2023-02-01

    申请人: 清华大学

    摘要: 本申请公开了对光计算器件进行调控的方法和光计算器件,包括:S100:提供平板波导,平板波导包括至少一个子波导,子波导包括多个间隔排布的第一凹槽和第二凹槽,第一凹槽为衍射槽内部未填充相变材料,第二凹槽为可调控衍射槽内部填充所述相变材料;S200:向平板波导输入光信号,光信号在相邻所述凹槽之间传播,并记录平板波导的输出值;S300:计算预设值与输出值之间的差值,当差值大于标准值时,执行S400;S400:利用调控装置对第二凹槽中的相变材料的晶体状态进行调控;S500:重复执行S200和S300,直至所述差值不大于所述标准值。由此可以提供可编辑、可重构的神经网络,进而获得具有宽谱范围的光计算器件。

    沉浸式光场智能感算系统、方法与装置

    公开(公告)号:CN116449642A

    公开(公告)日:2023-07-18

    申请号:CN202310721988.X

    申请日:2023-06-19

    申请人: 清华大学

    发明人: 方璐 于涛

    IPC分类号: G03B37/00 H04N23/90 H04N5/262

    摘要: 本发明公开了沉浸式光场智能感算系统、方法与装置,该系统,包括移动平台、支架、采集阵列、控制系统和计算系统,其中,控制系统和采集阵列固定于半球形的支架上;支架通过移动平台进行位姿变化;采集阵列包括多视角的采集相机,通过连接件均匀分散固定在支架上,采集相机的镜头从球心指向外部,用于采集多种俯仰角度下的视频图像;与采集阵列相连的控制系统,用于将视频图像传输至控制设备中进行数据存储,计算系统用于获取控制设备中的视频图像并基于视频图像生成沉浸式光场视频。本发明能为沉浸式光场通讯提供采集端支持,可降低光场采集操作难度,提高采集精度。

    一种实时大场景三维语义建模的方法

    公开(公告)号:CN111311663B

    公开(公告)日:2023-04-18

    申请号:CN202010095361.4

    申请日:2020-02-17

    摘要: 本发明提供一种实时大场景三维语义建模的方法,包括如下步骤:S1:通过传感器扫描场景得到的RGB图和深度图构建三维几何模型;S2:将所述三维几何模型输入三维卷积神经网络完成语义分割;S3:将所述三维卷积神经网络输出的语义标签整合到所述三维几何模型中完成语义建模;其中,构建所述三维几何模型与所述语义分割以多线程的方式结合,同时进行。实现联合实时三维几何重建与语义重建;通过采用稀疏卷积神经网络并对卷积网络的计算的加速,可以达到实时运行的性能;使用三维卷积替代了UNet中的二维卷积,同时增大UNet网络的深度,使卷积网络的容量更大,提高语义分割的精确度。