基于三维骨骼与LSTM的工人动作识别方法及装置

    公开(公告)号:CN111553229B

    公开(公告)日:2021-04-16

    申请号:CN202010319002.2

    申请日:2020-04-21

    申请人: 清华大学

    IPC分类号: G06K9/00 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于三维骨骼与LSTM的工人动作识别方法及装置,其中,该方法包括:采集特征动作库中的二维图像数据和三维点云数据;结合二维图像数据和三维点云数据提取其中的三维人体骨骼特征,并根据三维人体骨骼特征进行关节夹角计算,以形成特征向量;对三维人体骨骼特征进行检测,将关节点误识别形成的异常关节数据进行修复;将训练图像数据输入长短期记忆网络中进行有监督训练,获得具备识别能力的模型,并将测试图像数据输入具备识别能力的模型中,以输出动作类别。该方法以计算机视觉技术和深度学习算法为基础,逐步实现了特征提取与动作表示,以及对异常数据的检测修复,最终能够准确识别施工现场工人的不安全行为。

    施工塔吊的监管方法、装置、电子设备及存储介质

    公开(公告)号:CN116226977A

    公开(公告)日:2023-06-06

    申请号:CN202310034714.3

    申请日:2023-01-10

    摘要: 本申请涉及施工监测与管理技术领域,特别涉及一种施工塔吊的监管方法、装置、电子设备及存储介质,其中,方法包括:获取施工塔吊的运行数据和图像数据;在建立的塔吊坐标系中对运行数据进行三维映射,得到运行数据的表达参数,根据图像数据计算吊物的摆动数据,并获取施工现场建筑信息模型BIM数据和施工进度数据;将运行数据的表达参数、吊物的摆动数据、BIM数据和施工进度数据导入三维仿真平台,基于三维仿真平台进行可视化展示,以对施工塔吊的进行运行状态及动态危险源进行监控和管理。由此,解决了相关技术中需人工评估塔吊运行状态的风险,容易导致评估准确性不高,难以及时有效的对风险预警做出提示、安全性较低等问题。

    基于场景理解的施工现场工人不安全行为识别方法

    公开(公告)号:CN111445524A

    公开(公告)日:2020-07-24

    申请号:CN202010244878.5

    申请日:2020-03-31

    申请人: 清华大学

    摘要: 本发明公开了一种基于场景理解的施工现场工人不安全行为识别方法,包括以下步骤:采集实体的二维彩色图像和三维点云数据;对二维彩色图像进行标注,得到标注文件,其中,标注文件包括训练集、验证集和测试集;将训练集输入Mask R-CNN中进行训练,获得多个候选实体识别模型,利用验证集比选候选实体识别模型的平均精度均值,得到最优实体识别模型;根据最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标,通过实体间距离计算和方位关系判别实现不安全行为的识别,从而构建基于场景理解的施工现场工人不安全行为识别方法。该方法可以有效识别靠近危险源、PPE使用不当等不安全行为,并为动作识别提供环境信息。

    施工质量智能检测方法及装置
    5.
    发明公开

    公开(公告)号:CN116152218A

    公开(公告)日:2023-05-23

    申请号:CN202310206061.2

    申请日:2023-02-27

    IPC分类号: G06T7/00 G06T7/70

    摘要: 本申请涉及质量检测技术领域,特别涉及一种施工质量智能检测方法及装置,其中,方法包括:基于双目相机,获取待检测平面的彩色图像数据和三维点云数据,对彩色图像数据中所检测平面进行区域网格划分,以计算评估区域中网格顶点和交点的像素坐标,根据区域中网格顶点和交点的像素坐标和三维点云数据之间的映射计算各交点在空间位置中相对于绝对平整平面的方差值,评估待检测平面的平整度水平。本申请实施例可以基于作业平面的三维点云数据,通过对作业平面进行网格划分及点云数据的计算和处理,实现了对作业平面平整度智能化精确评估,提高了平整度的检测效率,更加智能化。

    施工现场工人空间管理方法、装置、电子设备及存储介质

    公开(公告)号:CN115982824A

    公开(公告)日:2023-04-18

    申请号:CN202310034617.4

    申请日:2023-01-10

    IPC分类号: G06F30/13 G06T17/00

    摘要: 本申请涉及建筑施工管理技术领域,特别涉及一种施工现场工人空间管理方法、装置、电子设备及存储介质,其中,方法包括:构建施工现场的三维动态仿真平台和监控网络;利用监控网络收集施工现场的图像数据,基于图像数据识别施工现场中工人的空间位置信息,并获取施工现场的施工项目建筑信息模型BIM数据和施工进度数据;将空间位置信息、BIM数据和施工进度数据导入三维动态仿真平台,基于三维动态仿真平台进行可视化展示,以对施工现场中工人的空间位置进行管理。由此,解决了相关技术中通常是针对施工前期的决策和预警以及特定行为场景对施工环境和工人信息的识别等,难以实现对施工现场整体进度的把握和工人行为的管理,导致适用性较低等问题。

    一种建造场景下吊装对象的识别方法

    公开(公告)号:CN112561989B

    公开(公告)日:2022-11-01

    申请号:CN202011532797.1

    申请日:2020-12-23

    申请人: 清华大学

    摘要: 本发明属于建筑施工自动化技术领域,尤其涉及一种建造场景下吊装对象的识别方法。本发明包括图像采集和预处理、图像处理、特征提取以及数据库检索。首先基于收集的原始数据,使用Faster R‑CNN检索并分割吊装对象的二维图像。然后,由Canny检测,霍夫变换,端点聚类分析和基于顶点判断模型组成的循环图像处理,以确定吊装对象的顶点和边缘。此外,通过数据融合,即具有颜色信息的二维图像像素点到三维空间点的映射,确定特征点的颜色信息,二维像素坐标和三维空间坐标,从而提取吊装对象的可见特征,最后根据提取的吊装对象可见特征通过数据库检索进一步获取吊装对象的不可见特征,为自动化吊装、智能建造提供信息基础。

    图像处理方法、装置、设备、存储介质及程序产品

    公开(公告)号:CN114972433A

    公开(公告)日:2022-08-30

    申请号:CN202210613568.5

    申请日:2022-05-31

    申请人: 清华大学

    摘要: 本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备、存储介质及程序产品。方法包括:获取连续的至少两帧点云图像,其中,点云图像是以点云数据形式存储的图像,每一帧点云图像分别包含至少一个动态障碍物;从每一帧点云图像中,提取每一个动态障碍物分别对应的至少一种特征的特征值;基于特征值,构建动态障碍物的组合特征矩阵;对组合特征矩阵中的特征值进行聚类,根据聚类结果获取每一个动态障碍物分别在每一帧点云图像中对应的位置信息。本发明用以解决现有技术中对复杂场景中的动态障碍物进行位置跟踪时可靠性较差的缺陷,实现高可靠性的位置跟踪。

    基于三维骨骼与LSTM的工人动作识别方法及装置

    公开(公告)号:CN111553229A

    公开(公告)日:2020-08-18

    申请号:CN202010319002.2

    申请日:2020-04-21

    申请人: 清华大学

    IPC分类号: G06K9/00 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于三维骨骼与LSTM的工人动作识别方法及装置,其中,该方法包括:采集特征动作库中的二维图像数据和三维点云数据;结合二维图像数据和三维点云数据提取其中的三维人体骨骼特征,并根据三维人体骨骼特征进行关节夹角计算,以形成特征向量;对三维人体骨骼特征进行检测,将关节点误识别形成的异常关节数据进行修复;将训练图像数据输入长短期记忆网络中进行有监督训练,获得具备识别能力的模型,并将测试图像数据输入具备识别能力的模型中,以输出动作类别。该方法以计算机视觉技术和深度学习算法为基础,逐步实现了特征提取与动作表示,以及对异常数据的检测修复,最终能够准确识别施工现场工人的不安全行为。

    图像处理方法、装置、设备、存储介质及程序产品

    公开(公告)号:CN114972433B

    公开(公告)日:2024-07-19

    申请号:CN202210613568.5

    申请日:2022-05-31

    申请人: 清华大学

    摘要: 本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备、存储介质及程序产品。方法包括:获取连续的至少两帧点云图像,其中,点云图像是以点云数据形式存储的图像,每一帧点云图像分别包含至少一个动态障碍物;从每一帧点云图像中,提取每一个动态障碍物分别对应的至少一种特征的特征值;基于特征值,构建动态障碍物的组合特征矩阵;对组合特征矩阵中的特征值进行聚类,根据聚类结果获取每一个动态障碍物分别在每一帧点云图像中对应的位置信息。本发明用以解决现有技术中对复杂场景中的动态障碍物进行位置跟踪时可靠性较差的缺陷,实现高可靠性的位置跟踪。