一种神经网络训练方法及三维手势姿态估计方法

    公开(公告)号:CN107622257A

    公开(公告)日:2018-01-23

    申请号:CN201710954487.0

    申请日:2017-10-13

    摘要: 本发明公开了一种神经网络训练方法及三维手势姿态估计方法,包括:S1:通过深度相机采集包含多个手势深度图的数据集;S2:采用步骤S1的数据集来训练随机森林学习器;S3:采用随机森林学习器对步骤S1的数据集中的多个手势深度图进行分割,分割出手势子图,再对所述手势子图进行处理得到处理图,将所述处理图和步骤S1的数据集中的多个手势深度图进行乱序划分成训练集和测试集;S4:将步骤S3得到的训练集和测试集用于训练卷积神经网络,训练得到网络模型。三维手势姿态估计方法是采用该网络模型对单张深度图片中的三维手势姿态进行估计。本发明能够精确地识别出手势中手掌手指的具体位置与姿态。

    一种图像拼接装置及图像拼接方法

    公开(公告)号:CN106886979A

    公开(公告)日:2017-06-23

    申请号:CN201710203020.2

    申请日:2017-03-30

    IPC分类号: G06T3/40 G06T7/33 G06T7/38

    摘要: 本发明公开了一种图像拼接装置及图像拼接方法,其中图像拼接装置包括彩色相机、深度相机和分光镜,分光镜用于将入射光线分成透射光和反射光,其中彩色相机设置在分光镜的透射光的光路上,深度相机设置在分光镜的反射光的光路上,且分光镜到彩色相机和到深度相机的距离相等;图像拼接方法包括:通过至少两个图像拼接装置分别拍摄不同视角的图像,获取有重叠区域的图像序列;从图像序列中选取相邻的两幅图像,提取特征点并匹配,计算得到全局单应性矩阵;获取相邻的两幅图像的重叠区域的图像层次信息,根据图像层次信息对重叠区域的图像进行投影得到拼接图像。本发明提出的图像拼接装置及图像拼接方法,实现无缝拼接,大大减少重影和视差。

    虚化背景下人体骨骼关键点检测结果的过滤方法

    公开(公告)号:CN108510491A

    公开(公告)日:2018-09-07

    申请号:CN201810299569.0

    申请日:2018-04-04

    摘要: 本发明公开了一种虚化背景下人体骨骼关键点检测结果的过滤方法,包括:对RGB图像进行人体骨骼关键点的初步检测,得到初步结果;对RGB图像进行深度估计得到深度估计图;对深度估计图进行深度聚类,以将深度估计图划分为N个区域,计算每个区域的平均深度;其中,N≥1;对所述初步结果进行过滤,包括:若N=1,则不进行过滤,将所述初步结果作为最终的检测结果;若N≥2,首先对经所述初步检测得到的每一个人,分别统计其在所述深度估计图的N个区域中的骨骼关键点数量;然后找出每个人的骨骼关键点数量最多的区域,判定相应的人属于该区域;最后将属于平均深度最大的区域的人的骨骼关键点检测结果从所述初步结果中去除,得到最终的检测结果。

    一种十亿像素虚拟现实视频采集装置、系统与方法

    公开(公告)号:CN111343367A

    公开(公告)日:2020-06-26

    申请号:CN202010095418.0

    申请日:2020-02-17

    IPC分类号: H04N5/225 H04N5/232

    摘要: 本发明提供一种十亿像素虚拟现实视频采集装置、系统与方法,装置包括:非结构化的相机阵列、支撑件、相机云台、相机机架;所述相机阵列包括至少5列呈扇形分布的相机列组合,每一个所述相机列组合包括两个全局相机为一组组成的双目相机和至少一个局部相机,所述局部相机的焦距可调;所述支撑件,用于支撑所述相机云台,所述相机云台,与所述相机机架连接;所述相机机架,用于通过连接件分别固定所述相机阵列中的每一列所述相机列组合。使用结构自适应非结构化的全景360虚拟现实采集装置;并将局部相机的视频数据中的RGB图像嵌入所述全景图,用户能够拉近视角放大观察感兴趣区域的细节信息。

    一种十亿像素虚拟现实视频采集装置、系统与方法

    公开(公告)号:CN111343367B

    公开(公告)日:2021-06-08

    申请号:CN202010095418.0

    申请日:2020-02-17

    IPC分类号: H04N5/225 H04N5/232

    摘要: 本发明提供一种十亿像素虚拟现实视频采集装置、系统与方法,装置包括:非结构化的相机阵列、支撑件、相机云台、相机机架;所述相机阵列包括至少5列呈扇形分布的相机列组合,每一个所述相机列组合包括两个全局相机为一组组成的双目相机和至少一个局部相机,所述局部相机的焦距可调;所述支撑件,用于支撑所述相机云台,所述相机云台,与所述相机机架连接;所述相机机架,用于通过连接件分别固定所述相机阵列中的每一列所述相机列组合。使用结构自适应非结构化的全景360虚拟现实采集装置;并将局部相机的视频数据中的RGB图像嵌入所述全景图,用户能够拉近视角放大观察感兴趣区域的细节信息。

    对于工艺误差鲁棒的光学神经网络训练方法、装置及设备

    公开(公告)号:CN116523015B

    公开(公告)日:2024-09-10

    申请号:CN202310300927.6

    申请日:2023-03-24

    申请人: 清华大学

    IPC分类号: G06N3/067 G06N3/084

    摘要: 本申请涉及光学神经网络技术领域,特别涉及一种对于工艺误差鲁棒的光学神经网络训练方法、装置及设备,其中,方法包括:获取光学神经网络中神经元权重参数的加工误差分布得到权重误差模型;在对光学神经网络训练过程中,按照权重误差模型随机叠加噪声至神经元权重参数上,直到训练结束,得到训练完成的神经元权重参数;将训练完成的神经元权重参数映射为光学神经网络芯片的加工参数。由此,解决了相关技术中的光学神经网络芯片加工存在偏差,无法保证理论模型与芯片加工的完美映射,且通过对光的相位和幅度误差进行补偿,存在校准时间长,难度大等问题。

    时空角融合动态光场智能成像方法

    公开(公告)号:CN118154430B

    公开(公告)日:2024-07-16

    申请号:CN202410573481.9

    申请日:2024-05-10

    申请人: 清华大学

    IPC分类号: G06T3/4053 G06T5/50

    摘要: 本发明公开了时空角融合动态光场智能成像方法,该方法,包括对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;利用光流对齐方法对光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;根据对时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;对时空角信息融合特征进行特征重建以输出高分辨率重建结果。本发明能够充分有效地利用光场的时空角信息,进一步提升光场成像能力。

    数字自适应光学架构与系统

    公开(公告)号:CN118154411B

    公开(公告)日:2024-07-16

    申请号:CN202410573482.3

    申请日:2024-05-10

    申请人: 清华大学

    IPC分类号: G06T3/18 G06T5/60

    摘要: 本发明公开了数字自适应光学架构与系统,包括对原始光场图像进行像素重排得到低空间采样率的子孔径图像;利用TIS算法对低空间采样率的子孔径图像进行处理得到高空间采样率的子孔径图像;利用由粗粒度到细粒度的波前梯度估计算法对高空间采样率的子孔径图像的空间偏移量进行估计得到第一波前梯度,并利用训练好的MLP模型将第一波前梯度转换为第一波前像差;基于第一波前像差对高空间采样率的子孔径图像进行相空间解卷积运算得到局部图像的图像重建结果。本发明能够进行高速宽视场波前检测,采用湍流诱导扫描算法提高采样率,使用非相干孔径合成算法实现去像差、高分辨成像。