公开(公告)号：CN113051420B

公开(公告)日：2022-07-05

申请号：CN202110405742.2

申请日：2021-04-15

申请人： 山东大学

发明人： 许庆阳 ,  周瑞 ,  姜聪 ,  宋勇 ,  李贻斌 ,  张承进 ,  袁宪锋 ,  庞豹 ,  王敏婕

IPC分类号： G06F16/58 ,  G06T17/20 ,  G06V30/41 ,  G06V10/774

摘要： 本发明公开了一种基于文本生成视频的机器人视觉人机交互方法及系统，包括：获取待识别的文本信息和源图像；根据文本信息检索动作数据库，选择匹配度最高的动作图像序列；基于源图像生成模型场景信息，结合匹配得到的参考动作图像序列，基于文本生成视频任务的网络模型，生成满足语义信息并含有源图像场景信息的视频/图像序列。本发明将检索与生成模型相结合，提出一种新的基于文本生成视频的方法，用于机器人视觉人机交互，该方法在生成视频的在语义相关性、多样性以及图像真实性方面具有更好的效果，能够提升机器人的视觉交互能力。

公开(公告)号：CN113051420A

公开(公告)日：2021-06-29

申请号：CN202110405742.2

申请日：2021-04-15

申请人： 山东大学

发明人： 许庆阳 ,  周瑞 ,  姜聪 ,  宋勇 ,  李贻斌 ,  张承进 ,  袁宪锋 ,  庞豹 ,  王敏婕

IPC分类号： G06F16/58 ,  G06T17/20 ,  G06K9/00

摘要： 本发明公开了一种基于文本生成视频的机器人视觉人机交互方法及系统，包括：获取待识别的文本信息和源图像；根据文本信息检索动作数据库，选择匹配度最高的动作图像序列；基于源图像生成模型场景信息，结合匹配得到的参考动作图像序列，基于文本生成视频任务的网络模型，生成满足语义信息并含有源图像场景信息的视频/图像序列。本发明将检索与生成模型相结合，提出一种新的基于文本生成视频的方法，用于机器人视觉人机交互，该方法在生成视频的在语义相关性、多样性以及图像真实性方面具有更好的效果，能够提升机器人的视觉交互能力。

公开(公告)号：CN112883737A

公开(公告)日：2021-06-01

申请号：CN202110236088.7

申请日：2021-03-03

申请人： 山东大学

发明人： 许庆阳 ,  姜聪 ,  周瑞 ,  李贻斌 ,  张承进 ,  宋勇 ,  袁宪锋 ,  庞豹

IPC分类号： G06F40/295 ,  G06F40/253 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于中文命名实体识别的机器人语言指令分析方法及系统，包括：基于输入指令内容获取中文文本信息；提取文本特征并进行特征增强；将增强后的特征输入命名体实体识别模型，产生每个汉字归属于每个命名实体类别的分数，构造重定位矩阵，将所述重定位矩阵用于实体类别推理，通过自监督的方式输出每个汉字的命名实体类别属性；基于提取到的命名实体驱动机器人执行相应的指令。本发明使用自监督学习机制进行中文命名实体识别的，这使我们的网络彻底摆脱了对人工标注数据集的依赖。

公开(公告)号：CN112883737B

公开(公告)日：2022-06-14

申请号：CN202110236088.7

申请日：2021-03-03

申请人： 山东大学

发明人： 许庆阳 ,  姜聪 ,  周瑞 ,  李贻斌 ,  张承进 ,  宋勇 ,  袁宪锋 ,  庞豹

IPC分类号： G06F40/295 ,  G06F40/253 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于中文命名实体识别的机器人语言指令分析方法及系统，包括：基于输入指令内容获取中文文本信息；提取文本特征并进行特征增强；将增强后的特征输入命名体实体识别模型，产生每个汉字归属于每个命名实体类别的分数，构造重定位矩阵，将所述重定位矩阵用于实体类别推理，通过自监督的方式输出每个汉字的命名实体类别属性；基于提取到的命名实体驱动机器人执行相应的指令。本发明使用自监督学习机制进行中文命名实体识别的，这使我们的网络彻底摆脱了对人工标注数据集的依赖。