公开(公告)号：CN107025442B

公开(公告)日：2020-05-01

申请号：CN201710208523.9

申请日：2017-03-31

申请人： 北京大学深圳研究生院

发明人： 萧伟 ,  刘宏 ,  丁润伟

IPC分类号： G06K9/00 ,  G06T7/11 ,  G06T7/155

摘要： 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法，其步骤包括：1)使用彩色摄像机和深度摄像机同时对手势进行拍摄，得到手势的颜色和深度的原始数据；2)使用高斯平滑方法对颜色和深度的原始数据进行滤波，得到颜色和深度的平滑数据；3)将肤色和深度作为先验知识，对颜色和深度的平滑数据分别进行分割，得到肤色分割区域和深度分割区域；4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合，构成融合分割图；5)利用特征描述子对融合分割图提取特征，构成特征图；6)对特征图进行编码，构成手势编码；7)对手势编码进行识别，从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。

公开(公告)号：CN107025442A

公开(公告)日：2017-08-08

申请号：CN201710208523.9

申请日：2017-03-31

申请人： 北京大学深圳研究生院

发明人： 萧伟 ,  刘宏 ,  丁润伟

IPC分类号： G06K9/00 ,  G06T7/11 ,  G06T7/155

摘要： 本发明涉及一种基于颜色和深度信息的多模态融合手势识别方法，其步骤包括：1)使用彩色摄像机和深度摄像机同时对手势进行拍摄，得到手势的颜色和深度的原始数据；2)使用高斯平滑方法对颜色和深度的原始数据进行滤波，得到颜色和深度的平滑数据；3)将肤色和深度作为先验知识，对颜色和深度的平滑数据分别进行分割，得到肤色分割区域和深度分割区域；4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合，构成融合分割图；5)利用特征描述子对融合分割图提取特征，构成特征图；6)对特征图进行编码，构成手势编码；7)对手势编码进行识别，从而实现对手势的识别。本发明能够得到比现有技术更高的手势识别的准确率。