基于多任务学习与全局循环卷积的微表情识别方法及装置

    公开(公告)号:CN116030516A

    公开(公告)日:2023-04-28

    申请号:CN202211618464.X

    申请日:2022-12-15

    摘要: 本发明公开了一种基于多任务学习与全局循环卷积的微表情识别方法及装置,先对训练数据集进行预处理,得到固定长度的扩增帧序列,计算相邻帧间光流得到光流序列,标注人脸五官的五点特征点坐标;再构建卷积神经网络模块I调整扩增帧序列的帧尺寸及通道数;再构建全局循环卷积模块II提取全局特征;再构建包括光流估计、人脸特征点回归与三维卷积神经网络微表情分类预测在内的多任务学习模块III,进行预测。本发明采用端到端的深度学习框架联合学习人脸微表情识别、光流估计和特征点回归,利用任务间的关联性促进微表情识别,能够有效识别人脸微表情在三维时空中的运动变化情况,实现人脸微表情识别系统构建。

    溺水行为分析方法及基于多目标跟踪与识别的防溺水系统

    公开(公告)号:CN118609200A

    公开(公告)日:2024-09-06

    申请号:CN202410624672.3

    申请日:2024-05-20

    摘要: 本发明公开了一种溺水行为分析方法及基于多目标跟踪与识别的防溺水系统,先采用多目标识别算法识别人体目标、定位人体位置并标注人体关键点,然后采用多目标跟踪算法跟踪人体目标、人体位置及人体关键点,接着基于人体位置、人体关键点建立人体目标的动态信息库,最后采用溺水行为分析算法对动态信息库进行分析,生成游泳者标定画面与预警信息。本发明通过计算机视觉技术,快速识别游泳者潜在溺水风险,防患于未然,具有准确稳定的优点,能够实现全时间段、全方位的监控,有效地减少了人力成本和资源消耗,利于降低溺水事故的发生率,提高了游泳运动的安全性。

    一种融合面部情绪与行为多特征的线上考试防作弊系统

    公开(公告)号:CN116894978B

    公开(公告)日:2024-03-29

    申请号:CN202310884470.8

    申请日:2023-07-18

    摘要: 本发明公开了一种融合面部情绪与行为多特征的线上考试防作弊系统,对考试时单个学生的监控图像进行预处理,得到预处理后的图像及人脸特征点,构建系列CNN模块,提取学生在考试过程中的面部微表情、头部姿态、眼神等多种特征,将多种特征的融合特征输入防作弊神经网络TestCNN进行训练,得到是否作弊的预测结果。系列CNN模块包括头部姿态跟踪单元、眼部区域提取单元、眼神追踪单元、面部微表情识别单元、行为状态预测单元等。使用本发明的系统可以对考生的考试情况进行监控,可以将预测结果实时发送给使用人员,该系统能够防止考生作弊,提高考试的公平性。

    一种融合面部情绪与行为多特征的线上考试防作弊系统

    公开(公告)号:CN116894978A

    公开(公告)日:2023-10-17

    申请号:CN202310884470.8

    申请日:2023-07-18

    摘要: 本发明公开了一种融合面部情绪与行为多特征的线上考试防作弊系统,对考试时单个学生的监控图像进行预处理,得到预处理后的图像及人脸特征点,构建系列CNN模块,提取学生在考试过程中的面部微表情、头部姿态、眼神等多种特征,将多种特征的融合特征输入防作弊神经网络TestCNN进行训练,得到是否作弊的预测结果。系列CNN模块包括头部姿态跟踪单元、眼部区域提取单元、眼神追踪单元、面部微表情识别单元、行为状态预测单元等。使用本发明的系统可以对考生的考试情况进行监控,可以将预测结果实时发送给使用人员,该系统能够防止考生作弊,提高考试的公平性。