公开(公告)号：CN117131933A

公开(公告)日：2023-11-28

申请号：CN202311119806.8

申请日：2023-08-31

申请人： 华中师范大学

发明人： 刘海 ,  张昭理 ,  杨雪雪 ,  邸昂 ,  刘新 ,  邢师珍 ,  郑媛 ,  刘婷婷 ,  李友福

IPC分类号： G06N5/022 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/08 ,  G06F18/2415 ,  G06F18/25 ,  G06F16/36 ,  G06F16/45 ,  G06F16/483

摘要： 本申请公开了一种多模态知识图谱建立方法，包括：采集多门学科的开源文本知识图谱和目标文本知识图谱并提取结构特征、视觉特征和文本特征；将所述开源文本知识图谱与目标文本知识图谱融合并处理不一致信息，得到多模态知识图谱；采集学习者的交互信息并抽取实体和关系，得到交互信息的头实体嵌入表示、尾实体嵌入表示和关系嵌入表示，以将交互信息转换为三元组形式；构建目标知识的预训练语言模型学习多模态知识图谱，并对输入的三元组形式的交互信息给出反馈信息。其可以解决传统基于单一的学科知识构建学科知识图谱的方式跨学科学习效果差，导致利用学科知识图谱进行知识信息检索、智能问答的学习过程效率低下的问题。

公开(公告)号：CN117457030A

公开(公告)日：2024-01-26

申请号：CN202311108301.1

申请日：2023-08-30

申请人： 华中师范大学

发明人： 刘海 ,  张昭理 ,  欧景斌 ,  杨雪雪 ,  邸昂 ,  刘新 ,  邢师珍 ,  刘婷婷 ,  李友福

IPC分类号： G10L25/63 ,  G10L25/03 ,  G10L25/18 ,  G10L25/30

摘要： 本申请公开了一种基于多源特征的语音情绪识别方法，包括：采集开源语音识别数据集和环境声音识别数据集，分别训练得到语音识别网络模型和环境声音识别网络模型，采集开源情绪语音数据集进行音频增强；对增强情绪语音音频提取MFCC特征，并输入膨胀因果交互子网络得到高阶MFCC特征；将增强情绪语音音频输入语音识别网络模型和环境声音识别网络模型得到高阶文本特征和高阶环境特征，再与高阶MFCC特征融合后输入时序分解因果卷积块生成高阶时序因果复合特征，通过全连接层输出至分类网络层识别语音情绪。其可以解决传统语音情绪识别技术仅基于语音的声学特征、依赖标准干净的语音信号导致语音情绪识别准确率较低，无法在复杂环境下准确识别语音情绪的问题。

公开(公告)号：CN117034354A

公开(公告)日：2023-11-10

申请号：CN202311120675.5

申请日：2023-08-30

申请人： 华中师范大学

发明人： 刘海 ,  张昭理 ,  邸昂 ,  刘新 ,  邢师珍 ,  郑媛 ,  黄小吉 ,  刘婷婷 ,  李友福

IPC分类号： G06F21/62 ,  G06N20/00

摘要： 本申请实施例公开了一种数据隐私保护方法、装置、设备及存储介质，涉及隐私数据保护技术领域，该方法包括：获取学生主体的学习数据，对学习数据进行脱敏处理，输出脱敏学习数据；进行分组，对各组样本数据进行泛化处理；统计观察置信度，基于攻击者从泛化数据中攻击得到隐私数据的概率，计算期望置信度；若符合预设的数据标准，保留对应的第一数据；将第一数据输入机器学习模型中，基于预设安全准则对机器学习模型进行检测，获取符合预设安全准则的机器学习模型。本申请在机器学习模型的输入、模型、以及输出端的全过程保护了数据的隐私。

公开(公告)号：CN117612244A

公开(公告)日：2024-02-27

申请号：CN202311122875.4

申请日：2023-08-30

申请人： 华中师范大学

发明人： 刘海 ,  张昭理 ,  邢师珍 ,  郑媛 ,  黄小吉 ,  刘攀 ,  欧景斌 ,  刘婷婷 ,  李友福

IPC分类号： G06V40/20 ,  G06V10/82 ,  G06V10/764 ,  G06F18/20 ,  G06V10/20 ,  G06V10/40 ,  G06V10/30 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08 ,  G06N3/0475 ,  G06N3/094

摘要： 本申请涉及智能教学技术领域，尤其涉及一种教学互动方法、装置、设备及存储介质，所述方法包括：实时采集教师的第一图像信息、学生的第二图像信息和学生的心率数据；对第一图像序列、第二图像序列以及心率序列进行预处理；输入预训练的手势识别神经网络进行识别，输出教师的手势类型以及学生的手势类型；获取各个时刻学生的手势类型对应的心率变化率；响应于教师的手势类型、学生的手势类型以及对应的心率变化率发出第一提示信息和第二提示信息。采用本申请提供的所述方法，将学生的手势识别结果与心率数据进行关联分析，可以更准确的评估学生的学习状态，使得教师能够更好地了解学生的情感状态，及时调整教学策略，提供个性化指导和支持。

公开(公告)号：CN117152841A

公开(公告)日：2023-12-01

申请号：CN202311108274.8

申请日：2023-08-30

申请人： 华中师范大学

发明人： 刘海 ,  张昭理 ,  刘新 ,  邢师珍 ,  郑媛 ,  黄小吉 ,  刘攀 ,  刘婷婷 ,  李友福

IPC分类号： G06V40/20 ,  G06V40/10 ,  G06F18/213 ,  G06F18/25 ,  G06F18/214 ,  G06N3/045

摘要： 本申请实施例公开了一种基于双流滑动注意力网络的学生注意力评价方法，涉及智能教学技术领域，所述方法包括：获取授课时段内目标学生的图像信息和生理信号，将预处理后的数据输入训练好的模型识别得到头部姿态和生理指标；判断头部姿态类型，计算第一注意力评价指标；若第一注意力评价指标低于阈值，进一步基于头部姿态类型对应时间段内的生理指标，计算第二注意力评价指标；进一步计算注意力评价结果。本申请实施例通过同时采集目标学生的生理信号和图像信息，能基于头部姿态和生理指标自动、实时、准确的给出注意力的评价指标，能有效避免误判，有利于给出更准确的注意力评价结果，可以在网络授课场景下帮助教师更好地了解学生的学习状态。