一种扫读笔的用户意图识别方法、系统、电子设备及介质

    公开(公告)号:CN114299498A

    公开(公告)日:2022-04-08

    申请号:CN202111665680.5

    申请日:2021-12-31

    摘要: 本申请提供了一种扫读笔的用户意图识别方法、系统、电子设备及介质。当扫读笔被按压时,摄像头每隔预设时间拍摄一张图片,并在图片上增加时间戳,当被按压结束后,以时间戳为依据,比较多个图片中的图像信息,并根据图片中的图像信息的重复率判断扫读笔的动作类型,相比于现有的识别方法,上述扫读笔的识别方法,识别准确率高,能够准确识别扫读笔的动作类型,并准确地判断用户意图。

    一种面向智能机器人的故事数据处理方法及系统

    公开(公告)号:CN109460548B

    公开(公告)日:2022-03-15

    申请号:CN201811154925.6

    申请日:2018-09-30

    发明人: 贾志强

    IPC分类号: G06F40/279 G09B5/04

    摘要: 本发明公开了一种面向智能机器人的故事数据处理方法以及系统。所述方法包括:获取故事文本数据;解析所述故事文本数据,其中,对所述故事文本数据进行分词处理以及文本识别;调用故事数据处理模型,基于所述故事文本数据的解析结果针对每一文本片段进行音效匹配,当存在匹配的音效时调用对应的音效数据;根据所述故事文本数据以及所述音效数据生成用于讲述故事内容的多模态数据。相较于现有技术,根据本发明的方法及系统,可以将文本形式的故事转化为带有音效的、可多模态展现的多模态数据,从而大大提高讲述故事时聆听者的用户体验。

    一种面向智能机器人的故事数据处理方法及装置

    公开(公告)号:CN109522427B

    公开(公告)日:2021-12-10

    申请号:CN201811154962.7

    申请日:2018-09-30

    发明人: 贾志强

    IPC分类号: G06F16/438 G09B5/06

    摘要: 一种面向智能机器人的故事数据处理方法及装置,其中,该方法包括:步骤一、获取当前待播放的文本信息,文本信息为故事内容经自然语言处理后的文本片段,文本信息携带有文本及文本属性;步骤二、根据文本属性调取相应的音乐音频并播放。本方法能够在播放故事文本的过程中根据不同的播放情景来播放不同的背景音乐,这样也就可以利用背景音乐来烘托、承载和连接所播放的故事文本,从而使得用户能够更加融入到故事中,进而提高了用户体验。

    基于绘本阅读的多模态交互方法及系统

    公开(公告)号:CN109871450B

    公开(公告)日:2021-10-19

    申请号:CN201910026411.0

    申请日:2019-01-11

    发明人: 贾志强 俞晓君

    摘要: 本发明提供基于绘本阅读的多模态交互方法,其包含:在绘本阅读模式下,获取多模态交互数据,确定多模态交互数据中包含的针对目标物内容的交互意图;结合目标物内容,在绘本对应的知识图谱中检索与交互意图匹配的多模态应答数据并输出,其中,知识图谱与用户画像以及用户身份所指向的内容关联。本发明提供了一种儿童专用智能设备,具备阅读绘本内容的能力,能够向用户输出绘本中的内容并能针对绘本内容与用户进行交互,降低了儿童用户阅读故事的难度。并且,本发明还能够根据与绘本关联的知识图谱,生成匹配用户交互意图的多模态应答数据,能够更精确的满足用户的意图,提升了用户的使用体验。

    基于儿童专用穿戴智能设备的交互方法及系统

    公开(公告)号:CN110825164A

    公开(公告)日:2020-02-21

    申请号:CN201910884788.X

    申请日:2019-09-19

    发明人: 贾志强 俞晓君

    IPC分类号: G06F1/16

    摘要: 本发明提供的基于儿童专用穿戴智能设备的交互方法,其包含:启动儿童专用穿戴智能设备上的视觉识别模块,接收用户输入的多模态输入数据,依据多模态输入数据选择场景类型;在场景类型对应交互模式下,调用视觉识别模块中的视觉识别能力,采集当前视野下的图像信息;将图像信息上传至云端进行解析,得到与图像信息对应的多模态回应数据;接收并输出云端传送的所述多模态回应数据。本发明能够接收用户输入的多模态输入数据确定场景类型及交互模式,在确定的交互模式下采集图像信息传送至云端进行解析,生成多模态回应数据。本发明能够完成用户搜题、翻译、批改、百科等交互需求,给儿童用户提供更加便捷的交互服务,提升了用户的使用体验。

    用于讲故事机器人的多模态交互方法及系统

    公开(公告)号:CN109359177A

    公开(公告)日:2019-02-19

    申请号:CN201811057250.3

    申请日:2018-09-11

    发明人: 贾志强

    IPC分类号: G06F16/332 G09B5/04 B25J11/00

    摘要: 本发明公开了一种用于讲故事机器人的多模态交互方法及系统,该方法包括如下步骤:响应讲故事指令并输出与讲故事指令对应的故事内容,同时,实时监测是否有来自用户输入的多模态输入数据;解析所述多模态输入数据,并当用户发起提问时,决策向用户输出的多模态输出数据。本发明提供的用于讲故事机器人的多模态交互方法,在讲故事机器人讲述故事的过程中,实时监测是否有来自用户输入的多模态输入数据,在用户发起提问时,暂停故事内容的讲述并完成与用户的多模态交互。据此,能够改善用户的体验,提高用户与讲故事机器人之间的粘度。

    一种虚拟偶像技能开启及演绎的方法及系统

    公开(公告)号:CN108037825A

    公开(公告)日:2018-05-15

    申请号:CN201711276859.5

    申请日:2017-12-06

    发明人: 贾志强 俞晓君

    IPC分类号: G06F3/01 G06F3/16 G06K9/00

    摘要: 本申请提供的一种虚拟偶像技能开启及演绎的方法及系统,其中,所述方法包括:获取多模态输入数据;解析所述多模态输入数据并获得解析结果;当所述解析结果中包含指示技能开启的意图时,根据当前所述虚拟偶像的状态响应所述技能开启的意图;当所述技能开启时,输出与开启的所述技能匹配的多模态输出数据,并由所述虚拟偶像演绎;本申请可以采用多模态交互输入实现所述虚拟偶像技能的开启与演绎,并且所述虚拟偶像可以通过全息投影设备呈现更加真实、立体的三维效果,与用户进行多模态交互时所述虚拟偶像的五官、面部表情和肢体动作配合更加协调、真实,用户体验效果好。

    一种基于全息的多模态交互系统及方法

    公开(公告)号:CN107908385A

    公开(公告)日:2018-04-13

    申请号:CN201711249480.5

    申请日:2017-12-01

    发明人: 贾志强 俞晓君

    IPC分类号: G06F3/14 G03H1/22

    CPC分类号: G06F3/1407 G03H1/22

    摘要: 本发明提供一种基于全息的多模态交互系统,其包含:移动设备,装载并运行虚拟形象,移动设备配置多模态交互模块,并与云端大脑互联,通过云端大脑解析及计算,以生成及控制输出多模态输出数据;成像设备,其用于将特定虚拟形象转化为全息影像,以将全息影像显示在预设区域,并输出全息影像及多模态输出数据中的展示数据;支撑体,其用于承载移动设备以及成像设备。本发明提供了一种基于全息的多模态交互系统及方法能够将移动设备上的虚拟形象转换为全息影像后显示出来。并且,本发明还能够通过移动设备与成像设备配合的系统与用户展开生动虚拟形象的多模态交互。

    用于绘本的内容识别方法及装置

    公开(公告)号:CN110929684B

    公开(公告)日:2023-04-18

    申请号:CN201911253237.X

    申请日:2019-12-09

    IPC分类号: G06V30/40 G06V10/24

    摘要: 本发明提供的用于绘本的内容识别方法,其包含:步骤一:对绘本进行图像采集,采集得到包含绘本封面信息的封面图像数据以及包含绘本内页信息的内页图像数据;步骤二:对封面图像数据进行内容识别,记录内容识别成功时对应的用于表征绘本摆放角度的矫正角度信息;步骤三:在进行内页识别过程时,调取矫正角度信息,对内页图像数据进行内页角度转换,得到转换后的内页图像数据;步骤四:对转换后的内页图像数据进行内容识别。本发明能够在儿童专用智能设备的支持下对绘本封面以及内页进行内容识别,辅助儿童进行绘本阅读;并且,在进行绘本内容识别时,可以进行多角度的封面识别,克服歪斜的绘本摆放角度对于内容识别的影响。

    一种绘本识别方法和装置
    10.
    发明公开

    公开(公告)号:CN115705754A

    公开(公告)日:2023-02-17

    申请号:CN202110900472.2

    申请日:2021-08-06

    发明人: 贾志强

    IPC分类号: G06V40/20 G06V10/28

    摘要: 本发明公开了一种绘本识别方法及装置,包括:按照预设的采集频率,采集当前正在展示的绘本内页的多幅图像;基于获取的图像信息,初步判断此时用户阅读该绘本的动作模式,动作模式包括翻页模式和指读模式;针对确定的动作模式,从多幅图像中删除无效图像,并识别该动作模式下的动作状态,其中,动作状态用来指示用户在相应的动作模式下所对应的时间阶段。本发明能够减少动作识别的计算成本,提高动作识别速度,提升用户体现,拓展动作识别结果的种类。