公开(公告)号：CN118444819A

公开(公告)日：2024-08-06

申请号：CN202410556453.6

申请日：2024-05-07

申请人： 深圳幻影未来信息科技有限公司

发明人： 王聪 ,  陈国峰 ,  姜龙 ,  陈亮 ,  梁东耀

IPC分类号： G06F3/0483 ,  G06F3/0482 ,  G06F3/04815 ,  G06F3/04847 ,  G06F3/04842 ,  G16H40/20 ,  G06T13/40 ,  G06F16/332 ,  G06F16/34 ,  G06N3/045

摘要： 本发明涉及一种基于3D虚拟人的多模态人机交互方法、装置及医疗自助机，其中方法包括：连续接收环境信息，检测是否有用户靠近，如果检测到有用户靠近或检测到用户点击显示装置，立即由待机状态切换到工作状态；虚拟人向用户发出欢迎语和展示欢迎动作，并询问是否需要帮助；基于大语言模型，获取并判断用户的反馈信息，判断为业务办理需求或信息咨询需求，所述反馈信息包括通过显示装置获取用户点击屏幕的信息和通过多模态交互装置获取用户语音信息和视频图像信息；返回主界面并退出交互，虚拟人向用户发出结束语和展示再见动作。本发明能够提升医疗服务效率，实现流程的自动化和快速化。

公开(公告)号：CN118535005A

公开(公告)日：2024-08-23

申请号：CN202410370711.1

申请日：2024-03-29

申请人： 深圳幻影未来信息科技有限公司

发明人： 王聪 ,  陈国峰 ,  姜龙 ,  陈亮 ,  梁东耀 ,  任文龙 ,  王玉雪 ,  赖明峥 ,  王惠捷

IPC分类号： G06F3/01 ,  G06F9/4401 ,  G06T13/40 ,  G06V40/16 ,  G06N3/008 ,  G06N3/09 ,  G06N3/092 ,  G10L15/22 ,  G10L15/26 ,  G10L17/02 ,  G10L25/24 ,  G10L25/45

摘要： 本发明涉及一种虚拟数字人的交互方法、装置及存储介质，其中方法包括：虚拟数字人开机后进入待机状态，等待接收唤醒信号后进入唤醒流程，切换到工作状态，所述唤醒流程包括语音唤醒流程和视觉唤醒流程；基于虚拟数字人的多模态传感器，获取环境信息和用户信息；基于大语言提示词工程，虚拟数字人与用户进行交互；基于大语言模型的提示词工程预设的人物设定，将虚拟数字人换装。能实现在特点环境下虚拟人与用户的实时自然语言交流，配合虚拟数字人的脸部表情、动作和职业装扮，达到提升虚拟数字人与现实场景融合的技术效果。

公开(公告)号：CN114615514B

公开(公告)日：2023-09-22

申请号：CN202210247469.X

申请日：2022-03-14

申请人： 深圳幻影未来信息科技有限公司

发明人： 王聪 ,  姜龙 ,  区锦添 ,  陈亮 ,  梁冬耀 ,  雷文浩 ,  张龙

IPC分类号： H04N21/2187 ,  H04N21/4788 ,  H04N21/475 ,  H04N21/478 ,  H04N21/488 ,  H04N21/431 ,  G06T13/40

摘要： 本发明公开了一种虚拟人直播互动系统，涉及虚拟人直播技术领域；为了提升互动效果；具体包括中心控制模块、分析模块、题库、关键词库、终端管理模块；其中，所述中心控制模块包括虚拟人控制子模块、功能性控制子模块；其中，题库包括出题子库、答题子库；其中，终端管理模块包括弹幕子模块、角色生成子模块；其中，虚拟人控制子模块用于虚拟人的生成以及控制虚拟人的行为。本发明通过设置虚拟人控制子模块、终端管理模块等，使得用户能够通过弹幕子模块进行信息的录入，分析模块根据录入的信息进行分析，并将分析结果传输至中心控制模块，由中心控制模块中的各个子模块发出相应的指令，从而实现与用户的交互，提升了直播效果。

公开(公告)号：CN114615514A

公开(公告)日：2022-06-10

申请号：CN202210247469.X

申请日：2022-03-14

申请人： 深圳幻影未来信息科技有限公司

发明人： 王聪 ,  姜龙 ,  区锦添 ,  陈亮 ,  梁冬耀 ,  雷文浩 ,  张龙

IPC分类号： H04N21/2187 ,  H04N21/4788 ,  H04N21/475 ,  H04N21/478 ,  H04N21/488 ,  H04N21/431 ,  G06T13/40

摘要： 本发明公开了一种虚拟人直播互动系统，涉及虚拟人直播技术领域；为了提升互动效果；具体包括中心控制模块、分析模块、题库、关键词库、终端管理模块；其中，所述中心控制模块包括虚拟人控制子模块、功能性控制子模块；其中，题库包括出题子库、答题子库；其中，终端管理模块包括弹幕子模块、角色生成子模块；其中，虚拟人控制子模块用于虚拟人的生成以及控制虚拟人的行为。本发明通过设置虚拟人控制子模块、终端管理模块等，使得用户能够通过弹幕子模块进行信息的录入，分析模块根据录入的信息进行分析，并将分析结果传输至中心控制模块，由中心控制模块中的各个子模块发出相应的指令，从而实现与用户的交互，提升了直播效果。

公开(公告)号：CN118276681A

公开(公告)日：2024-07-02

申请号：CN202410370713.0

申请日：2024-03-29

申请人： 深圳幻影未来信息科技有限公司

发明人： 王聪 ,  陈国峰 ,  姜龙 ,  陈亮 ,  梁东耀 ,  任文龙 ,  王玉雪 ,  赖明峥 ,  王惠捷

IPC分类号： G06F3/01 ,  G06F9/4401 ,  G06T13/40 ,  G06V40/16 ,  G06N3/008 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/09 ,  G10L17/24 ,  G10L15/22

摘要： 本发明涉及虚拟人交互一体机，其特征在于，包括：显示装置，所述显示装置为竖式大屏；多模态传感器，多模态传感器设置在所述显示装置上；存储装置，所述存储装置包括长期存储装置和短期存储装置，所述长期存储装置为数据库，所述数据库包括关系型数据库和向量数据库，所述短期存储装置为内存；处理装置，用于处理虚拟人和用户的互动数据，所述处理装置安装在所述显示装置的背面。虚拟人交互一体机能实现在特定的环境下虚拟人与用户的实时自然语言交流，配合虚拟数字人的脸部表情、动作和职业装扮，达到提升虚拟数字人与现实场景融合的技术效果。