公开(公告)号：US08487867B2

公开(公告)日：2013-07-16

申请号：US12634148

申请日：2009-12-09

申请人： Chung-Hsien Wu ,  Jen-Chun Lin ,  Wen-Li Wei ,  Chia-Te Chu ,  Red-Tom Lin ,  Chin-Shun Hsu

发明人： Chung-Hsien Wu ,  Jen-Chun Lin ,  Wen-Li Wei ,  Chia-Te Chu ,  Red-Tom Lin ,  Chin-Shun Hsu

IPC分类号： G09G5/00

CPC分类号： G10L15/24 ,  G06F3/011 ,  G06F3/017 ,  G06F3/038 ,  G06F2203/011 ,  G06F2203/0381 ,  G06K9/00335

摘要： A behavior recognition system and method by combining an image and a speech are provided. The system includes a data analyzing module, a database, and a calculating module. A plurality of image-and-speech relation modules is stored in the database. Each image-and-speech relation module includes a feature extraction parameter and an image-and-speech relation parameter. The data analyzing module obtains a gesture image and a speech data corresponding to each other, and substitutes the gesture image and the speech data into each feature extraction parameter to generate image feature sequences and speech feature sequences. The data analyzing module uses each image-and-speech relation parameter to calculate image-and-speech status parameters. The calculating module uses the image-and-speech status parameters, the image feature sequences, and the speech feature sequences to calculate a recognition probability corresponding to each image-and-speech relation parameter, so as to take a maximum value among the recognition probabilities as a target parameter.

摘要翻译： 提供了一种组合图像和语音的行为识别系统和方法。 该系统包括数据分析模块，数据库和计算模块。 多个图像和语音关系模块被存储在数据库中。 每个图像和语音关系模块包括特征提取参数和图像和语音关系参数。 数据分析模块获得彼此对应的手势图像和语音数据，并将手势图像和语音数据代入每个特征提取参数，以生成图像特征序列和语音特征序列。 数据分析模块使用每个图像和语音关系参数来计算图像和语音状态参数。 计算模块使用图像和语音状态参数，图像特征序列和语音特征序列来计算与每个图像和语音关系参数对应的识别概率，以便在识别概率之中取最大值 作为目标参数。

公开(公告)号：US20110109539A1

公开(公告)日：2011-05-12

申请号：US12634148

申请日：2009-12-09

申请人： Chung-Hsien Wu ,  Jen-Chun Lin ,  Wen-Li Wei ,  Chia-Te Chu ,  Red-Tom Lin ,  Chin-Shun Hsu

发明人： Chung-Hsien Wu ,  Jen-Chun Lin ,  Wen-Li Wei ,  Chia-Te Chu ,  Red-Tom Lin ,  Chin-Shun Hsu

IPC分类号： G06F3/01 ,  G10L15/02 ,  G06K9/46

CPC分类号： G10L15/24 ,  G06F3/011 ,  G06F3/017 ,  G06F3/038 ,  G06F2203/011 ,  G06F2203/0381 ,  G06K9/00335

摘要： A behavior recognition system and method by combining an image and a speech are provided. The system includes a data analyzing module, a database, and a calculating module. A plurality of image-and-speech relation modules is stored in the database. Each image-and-speech relation module includes a feature extraction parameter and an image-and-speech relation parameter. The data analyzing module obtains a gesture image and a speech data corresponding to each other, and substitutes the gesture image and the speech data into each feature extraction parameter to generate image feature sequences and speech feature sequences. The data analyzing module uses each image-and-speech relation parameter to calculate image-and-speech status parameters. The calculating module uses the image-and-speech status parameters, the image feature sequences, and the speech feature sequences to calculate a recognition probability corresponding to each image-and-speech relation parameter, so as to take a maximum value among the recognition probabilities as a target parameter.

摘要翻译： 提供了一种通过组合图像和语音的行为识别系统和方法。 该系统包括数据分析模块，数据库和计算模块。 多个图像和语音关系模块被存储在数据库中。 每个图像和语音关系模块包括特征提取参数和图像和语音关系参数。 数据分析模块获得彼此对应的手势图像和语音数据，并将手势图像和语音数据代入每个特征提取参数，以生成图像特征序列和语音特征序列。 数据分析模块使用每个图像和语音关系参数来计算图像和语音状态参数。 计算模块使用图像和语音状态参数，图像特征序列和语音特征序列来计算与每个图像和语音关系参数对应的识别概率，以便在识别概率之中取最大值 作为目标参数。