基于人工智能的绘本阅读方法及装置

    公开(公告)号:CN111723653B

    公开(公告)日:2023-09-26

    申请号:CN202010397465.0

    申请日:2020-05-12

    摘要: 本发明提供的基于人工智能的绘本阅读方法,其包含:步骤一:在绘本阅读模式下,采集得到绘本图像,对绘本图像进行视觉识别;步骤二:对绘本图像进行翻页检测,判断绘本是否处于翻页阅读状态;步骤三:若绘本处于非翻页阅读状态,对绘本图像进行指读检测,判断绘本是否处于指读阅读状态或执手阅读状态;步骤四:在翻页阅读状态或指读阅读状态或执手阅读状态下,向用户反馈多模态阅读数据。本发明将用户阅读状态分为翻页阅读状态、指读阅读状态以及执手阅读状态,在用户进行阅读时能够分辨不同的阅读状态,针对性的提供相应的辅助阅读服务,改善了用户的阅读体验,减少了阅读的误判率,进一步提升了阅读舒适度。

    一种获取用户标签的方法及用户标签系统

    公开(公告)号:CN109086351B

    公开(公告)日:2022-03-22

    申请号:CN201810781856.5

    申请日:2018-07-17

    发明人: 谢巧菁 魏晨

    IPC分类号: G06F16/22

    摘要: 本发明公开了一种获取用户标签的方法以及用户标签系统。方法包括:基于外部输入的用户信息获取用户标签;根据已获取的用户标签预测并生成新的用户标签。相较于现有技术,根据本发明的方法及系统,可以获取更为全面的用户画像数据,从而提高智能机器人交互回应的准确性以及交互回应与当前用户的匹配度,从而大大提高智能机器人的用户体验。

    一种面向智能机器人的故事数据处理方法

    公开(公告)号:CN109241331B

    公开(公告)日:2022-03-15

    申请号:CN201811114587.3

    申请日:2018-09-25

    发明人: 贾志强

    摘要: 本发明公开了一种面向智能机器人的故事数据处理方法以及系统。方法包括:获取故事文本数据;解析所述故事文本数据,其中,对所述故事文本数据进行文本识别及分词处理;基于故事音效模型对故事文本分词结果进行音效数据匹配,获取与所述故事文本分词结果对应的音效数据并确定所述音效数据与其对应的文本分词结果间的相互关系;基于所述相互关系,融合所述音效数据与所述故事文本数据,生成故事内容音频数据并输出。相较于现有技术,根据本发明的方法及系统,可以将文本形式的故事转化为带有音效的故事内容音频数据,从而大大提高讲述故事时聆听者的用户体验。

    一种基于虚拟人的交互方法及系统

    公开(公告)号:CN109086860B

    公开(公告)日:2022-03-15

    申请号:CN201810523371.6

    申请日:2018-05-28

    IPC分类号: G06N3/00

    摘要: 本发明公开了一种基于虚拟人的交互方法以及系统。方法包括:采集用户多模态数据并解析,获取包含用户表情意图的用户交互意图,其中:从所述用户多模态数据中提取用户表情数据;对所述用户表情数据进行解析,生成对应的用户表情意图;针对所述用户交互意图,生成对应的多模态交互回应数据,所述多模态交互回应数据包含表情回应数据;基于所述虚拟人输出所述多模态交互回应数据,其中,利用所述虚拟人展示所述表情回应数据对应的表情。根据本发明的方法及系统,可以令虚拟人展现与当前交互内容自然匹配的表情,从而大大提高虚拟人的亲切感,提高用户体验。

    一种面向绘本阅读机器人的人机交互方法和系统

    公开(公告)号:CN109940627B

    公开(公告)日:2021-07-27

    申请号:CN201910084132.X

    申请日:2019-01-29

    发明人: 俞晓君 贾志强

    摘要: 本发明公开了一种面向绘本阅读机器人的人机交互方法和系统,所述方法包括如下步骤:步骤一,在启动绘本阅读进程或在绘本阅读的过程中,判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件;步骤二,若不满足,则采集当前用户的用户特征数据;步骤三,基于采集到的用户特征数据,确定针对当前用户的教育、培养目标以推送绘本书籍。本发明在进行绘本阅读的同时,能够根据收集到的用户特征数据向用户推荐符合教育目标的绘本,有助于用户进行个性化学习。

    一种面向智能机器人的故事数据处理方法及系统

    公开(公告)号:CN109065019B

    公开(公告)日:2021-06-15

    申请号:CN201810981546.8

    申请日:2018-08-27

    发明人: 贾志强

    IPC分类号: G10L13/04 G10L13/08 G10L13/10

    摘要: 本发明公开了一种面向智能机器人的故事数据处理方法以及系统。所述方法包括:获取故事文本数据;解析所述故事文本数据,识别故事文本中的对话以及旁白;调用故事数据处理模型,对所述故事文本中的对话以及旁白进行音效处理,生成带有音效的对话及旁白数据;生成并输出匹配所述故事文本的多模态数据,所述多模态数据包括所述带有音效的对话及旁白数据。相较于现有技术,根据本发明的方法及系统,可以将文本形式的故事转化为可多模态展现的多模态数据并对故事中的对话以及旁白的展现方式进行针对性优化,从而大大提高讲述故事时聆听者的用户体验。

    一种用于人机交互的知识图谱更新方法及系统

    公开(公告)号:CN108920588B

    公开(公告)日:2021-02-26

    申请号:CN201810668754.2

    申请日:2018-06-26

    发明人: 邱模武

    IPC分类号: G06F16/36 G06F16/951

    摘要: 一种用于人机交互的知识图谱更新方法及系统,其中,该方法包括:步骤一、对预设网站进行数据爬取,将爬取到的实体与知识图谱所包含的实体进行检索匹配,根据匹配结果获得更新实体;步骤二、利用更新实体对知识图谱进行更新。本方法并不会像现有技术那样对知识图谱进行全网更新,而是通过对某些垂直网站、或是某些网站所确定出的热门话题进行数据爬取,以此确定出更新实体。相较于现有的知识图谱更新方法,本发明所提供的方法所需要处理的数据量显然会小很多,这样也就使得本方法的效率得到了大大提高。

    用于语音合成的音频数据生成方法及系统

    公开(公告)号:CN109036371B

    公开(公告)日:2020-12-18

    申请号:CN201810796789.4

    申请日:2018-07-19

    发明人: 马达标 陆羽皓

    IPC分类号: G10L13/02

    摘要: 本发明提供的用于语音合成的音频数据生成方法,其包含以下步骤:对文本数据中的文本特征进行提取,得到文本特征数据;通过神经网络结构对文本特征数据进行加速转化处理,将文本特征数据转化为声学特征数据;根据声学特征数据进行声音合成或选择拼接,得到音频数据。本发明,由于采用了特殊的反卷积结构,在不包含任何auto‑regressive结构,且使用极少的参数的前提下也能达到很好的语音合成效果,能够通过神经网络结构在保证声学特征预测精度的同时,减少计算延迟,减少计算资源需求,提高并发量,提升语音合成的速度,为改善人机交互体验做出贡献。