公开(公告)号：CN113327286B

公开(公告)日：2023-05-19

申请号：CN202110504362.4

申请日：2021-05-10

申请人： 中国地质大学(武汉)

发明人： 刘振焘 ,  龙映佐 ,  吴敏 ,  熊永华 ,  周莉 ,  金浩然

IPC分类号： G06T7/73 ,  G06T3/40 ,  G06V40/16 ,  G06V40/20

摘要： 本发明公开了一种360度全方位的说话人视觉空间定位方法，包括：开启环形规则分布的360度全景摄像头组，进行人脸检测，并判断目标用户存在交互意图，否则继续进行人脸和嘴唇跟踪；判断是否对存在交互意图的目标用户的人脸进行图像拼接，拼接好的图像将用于视觉空间定位；否则直接选择对应摄像画面；根据人脸图像画面进行人脸图像定位；依据图像定位结果和其对应摄像头组在环形规则分布的360度全景摄像头组的位置，进行坐标系转换，本发明可以在360度全方位对说话人进行精确、实时定位。

公开(公告)号：CN113312985B

公开(公告)日：2023-05-26

申请号：CN202110504371.3

申请日：2021-05-10

申请人： 中国地质大学(武汉)

发明人： 刘振焘 ,  龙映佐 ,  吴敏 ,  曹卫华 ,  陈略峰 ,  蹇栎为

IPC分类号： G06V40/16 ,  G01S5/22 ,  G06V10/80

摘要： 本发明公开了一种视听双模态的360度全方位说话人定位方法，所述方法包括：启用环形麦克风阵列接收声音信号并进行声音信息降维和声源粗定位；依据声源粗定位结果启用环形摄像头组中部分摄像头进行图像拼接决策和利用处理后的摄像画面进行视觉空间定位；使用信息融合方法完成视听双模态融合定位，本发明可以在360全方位的环境下准确高效的定位到目标说话人。

公开(公告)号：CN113327286A

公开(公告)日：2021-08-31

申请号：CN202110504362.4

申请日：2021-05-10

申请人： 中国地质大学(武汉)

发明人： 刘振焘 ,  龙映佐 ,  吴敏 ,  熊永华 ,  周莉 ,  金浩然

IPC分类号： G06T7/73 ,  G06T3/40 ,  G06K9/00

摘要： 本发明公开了一种360度全方位的说话人视觉空间定位方法，包括：开启环形规则分布的360度全景摄像头组，进行人脸检测，并判断目标用户存在交互意图，否则继续进行人脸和嘴唇跟踪；判断是否对存在交互意图的目标用户的人脸进行图像拼接，拼接好的图像将用于视觉空间定位；否则直接选择对应摄像画面；根据人脸图像画面进行人脸图像定位；依据图像定位结果和其对应摄像头组在环形规则分布的360度全景摄像头组的位置，进行坐标系转换，本发明可以在360度全方位对说话人进行精确、实时定位。

公开(公告)号：CN113312985A

公开(公告)日：2021-08-27

申请号：CN202110504371.3

申请日：2021-05-10

申请人： 中国地质大学(武汉)

发明人： 刘振焘 ,  龙映佐 ,  吴敏 ,  曹卫华 ,  陈略峰 ,  蹇栎为

IPC分类号： G06K9/00 ,  G01S5/22

摘要： 本发明公开了一种视听双模态的360度全方位说话人定位方法，所述方法包括：启用环形麦克风阵列接收声音信号并进行声音信息降维和声源粗定位；依据声源粗定位结果启用环形摄像头组中部分摄像头进行图像拼接决策和利用处理后的摄像画面进行视觉空间定位；使用信息融合方法完成视听双模态融合定位，本发明可以在360全方位的环境下准确高效的定位到目标说话人。

公开(公告)号：CN213303056U

公开(公告)日：2021-05-28

申请号：CN202021922354.9

申请日：2020-09-04

申请人： 中国地质大学(武汉)

发明人： 金浩然 ,  龙映佐 ,  陈兰波 ,  刘振焘

IPC分类号： G06K9/62

摘要： 本实用新型提供一种360°全景定位的多模态信息融合定位装置，包括底座，以及设置底座上的环形麦克风阵列、环形保护壳、承载平台和全景摄像头组，环形麦克风阵列包括若干颗麦克风，各麦克风均匀分布在底座的圆周边缘，环形保护壳位于环形麦克风阵列外侧，承载平台位于底座正上方，全景摄像头组包括若干个广角摄像头，各广角摄像头均匀分布在承载平台的圆周边缘，全景摄像头组上方还设有半球形的透明保护盖，透明保护盖盖合在承载平台上。本实用新型的有益效果：本实用新型通过环形麦克风阵列与全景摄像头组的配合，来获取说话人的声音和图像信息，实时定位说话人的方位，达到实时、精确把握说话人位置信息，为人机交互提供便利。