公开(公告)号：CN118570888A

公开(公告)日：2024-08-30

申请号：CN202410752114.5

申请日：2024-06-12

申请人： 南京晓庄学院

发明人： 王燕清 ,  杨宁 ,  王晶 ,  朱媛媛 ,  李朔

IPC分类号： G06V40/70 ,  G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

摘要： 本发明公开了一种融合唇读识别的手势识别方法及系统，所述方法包括：获取目标图像；将所述目标图像输入至预先训练好的识别模型中，得到识别结果；所述识别模型包括特征提取模块、特征融合模块、分类模块和输出模块，其中，所述特征提取模块用于根据目标图像提取手势特征和唇语特征；所述特征融合模块用于基于注意力机制对手势特征和唇语特征进行融合，得到融合特征；所述分类模块用于对融合特征进行分类，得到识别结果。该融合唇读识别的手势识别方法及系统，通过综合利用手势和唇语特征，并采用注意力机制对提取的手势特征和唇语特征进行特征融合，提高了手势和唇语识别的准确性和效率，同时也增强了模型的适应性和实用性。