-
公开(公告)号:CN118887268A
公开(公告)日:2024-11-01
申请号:CN202410894417.0
申请日:2024-07-04
Applicant: 西安交通大学 , 联想(北京)有限公司
IPC: G06T7/50 , G06T7/70 , G06T7/11 , G06V40/20 , G06V40/18 , G06V40/16 , G06V10/46 , G06N3/0464 , G06N3/08
Abstract: 本发明属于图像处理领域,公开了一种基于深度空间变换的注视目标估计方法及相关装置,根据学生视角图像的深度图和教师视角图像的深度图得到坐标变换参数,根据学生视角图像的学生面部图像以及学生头部在图像的位置得到学生的视锥参数,根据教师视角图像的教师行为特征得到教师视角图像的显著性热图,然后结合上述结果得到学生在教师视角图像的像素级注视目标热图。该估计方法结合双视角深度空间变换,并通过对显著性、凝视姿势和两种视图角之间几何关系的联合估计,实现学生与被观测物体不在同一视角图像情况下注视目标的估计,解决了线下课堂目标估计中的深度信息缺失、双视角坐标系不对齐和对多人多物教室环境全局上下文建模能力不足等问题。
-
公开(公告)号:CN117725453A
公开(公告)日:2024-03-19
申请号:CN202311788944.5
申请日:2023-12-22
Applicant: 西安交通大学
IPC: G06F18/23213 , G06F18/213 , G06F18/22 , G06N20/00
Abstract: 本发明属于自然语言处理技术领域,公开了一种基于原型迁移和特征对齐的文本类别发现方法及相关装置,包括调用预训练完成的特征提取器,对文本中各文本数据进行特征提取,得到文本中各文本数据的类别特征;采用无监督的聚类方法将文本中各文本数据的类别特征进行聚类,得到各文本数据的聚类结果,并基于各文本数据的聚类结果得到各文本数据的类别。本发明利用类别原型进行有标注数据和无标注数据间的知识迁移,并通过特征对齐为无标注数据学习到好的特征表示,便于后续通过聚类算法发现测试数据中包含的新类别,该方法可以有效地提升模型的表达能力和知识迁移能力,在新类别发现领域有很大的突破。
-
公开(公告)号:CN118097276A
公开(公告)日:2024-05-28
申请号:CN202410262757.1
申请日:2024-03-07
Applicant: 西安交通大学
Abstract: 本发明属于数据处理领域,公开了一种在线学习者专注度识别方法及相关装置,包括:获取在线学习者视频;对在线学习者视频进行在线学习者的面部行为特征和身体姿态特征提取,得到在线学习者的面部行为特征和身体姿态特征;基于交叉注意力融合方法,将在线学习者的面部行为特征和身体姿态特征进行融合,得到在线学习者的融合特征;基于在线学习者的融合特征进行专注度识别,得到在线学习者的专注度类别。解决了目前在线学习场景下的在线学习者的专注度识往往依赖于单一特征进行识别,然而由于在线学习者复杂的变化情况以及复杂的场景影响,导致在线学习者的专注度识结果的识别准确度不高的问题,可有效提升在线学习者专注度识别的准确性。
-
公开(公告)号:CN117609607A
公开(公告)日:2024-02-27
申请号:CN202311566755.3
申请日:2023-11-22
Applicant: 西安交通大学
IPC: G06F16/9535 , G06F16/335 , G06F16/35 , G06F16/36 , G06N3/045
Abstract: 本申请提出一种基于对比学习增强数据的学习资源推荐方法,相较于现有的学习资源推荐方法,本申请能够在序列预测任务之外,设计对比学习任务,使用自监督信号缓解数据稀疏问题,提升了学习资源的推荐性能。本申请提出的基于对比学习增强数据的学习资源推荐模型,考虑到学习资源固有的知识结构,使用课程学习资源知识图谱作为辅助信息,增强学习资源表示。使用相关用户和聚类中心增强用户表示,能够在用户交互较少的情况下学习到高质量的用户表示,有效建模用户偏好。使用多任务训练策略,能够将序列预测任务和对比学习任务进行联合优化,从而提升了学习资源推荐性能。
-
公开(公告)号:CN117371485A
公开(公告)日:2024-01-09
申请号:CN202311298921.6
申请日:2023-10-09
Applicant: 西安交通大学
IPC: G06N3/045 , G06N3/0895 , G06N3/0985 , G06Q50/18
Abstract: 一种面向法律判决文书的事件抽取方法、系统、设备及介质,方法包括构建法律判决文书数据集;分别采用特定目标遮掩以及对比学习训练预先建立的事件抽取基础模型;通过训练后的事件抽取基础模型,基于联合学习进行触发词和论元抽取,并引入外部知识增强注意力、文本到问题注意力和问题到文本注意力机制,根据输出论元完成事件抽取。本发明通过特定片段遮掩和辅助预测的方式提高论元间表征的关联性,提升论元抽取的完备性,提出一种基于对比学习的论元特征增强方法,提升不同事件类型和不同事件论元角色对应论元的表征,提出一种基于联合学习的事件抽取方法,避免了错误积累问题,同时引入了三种注意力机制,缓解了论元不唯一导致的抽取不全面问题。
-
公开(公告)号:CN116775836A
公开(公告)日:2023-09-19
申请号:CN202310776007.1
申请日:2023-06-28
Applicant: 西安交通大学
IPC: G06F16/332 , G06F40/284 , G06F40/205 , G06N3/045 , G06N3/048 , G06N3/082
Abstract: 一种基于多层次注意力的教科书文本问答方法及系统,方法包括:将问题文本与对应章节的上下文段落进行分词并编码后输入第一层注意力模型,在句内进行自注意力计算与池化,得到句子的表征向量;取问题句子的表征向量与所有上下文段落句子的表征向量计算余弦相似度,每个段落仅保留相似度最大的一句话所对应的表征向量,作为每个段落对应问题的上下文表征向量;将问题及每个段落对应问题的上下文表征向量输入第二层注意力模型,进行段落与段落、段落与问题间的自注意力计算与池化,获得问题所对应的答案表征向量作为分类器的输入;由分类器输出答案选项,并得出答案文本对应章节的上下文段落。本发明可以针对教科书文本问题选择出更准确的回答选项。
-
公开(公告)号:CN115424271A
公开(公告)日:2022-12-02
申请号:CN202211145293.3
申请日:2022-09-20
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于自监督学习的示意图表征增强方法及系统,在图像和文本特征提取阶段,对示意图进行增广变换,识别出示意图中的文本框内容,对文本内容和示意图分别进行编码得到文本特征和图像特征;在文本指导下的示意图表征增强阶段,以文本特征为依据,应用指导注意力单元对图像特征进行增强;在对比自监督学习阶段,本发明通过投影函数将原图像和增广示意图增强特征映射至低维向量空间中,以低维向量计算损失并优化模型。
-
公开(公告)号:CN115393694A
公开(公告)日:2022-11-25
申请号:CN202211144391.5
申请日:2022-09-20
Applicant: 西安交通大学
Abstract: 本发明公开了一种基于多粒度文本推理的示意图目标检测方法及系统,将示意图的文本特征与图像特征融合得到经过文本特征增强的视觉特征;根据增强视觉特征提取视觉节点,根据示意图本身特征提取文本节点,将提取到示意图的文本节点与视觉节点作为图节点,根据文本节点与视觉节点的相对位置空间以及文本语义相似性构造边,细粒度融合文本特征与视觉特征,得到增强后的视觉节点特征,完成局部文本推理;提取全局文本关键词;使用文本节点和全局文本关键词之间的相似度筛选出有效的局部文本节点;将有效的局部文本节点、全局文本推理和局部文本推理进行多粒度融合,完成示意图目标检测。本发明有效提升了检测精度。
-
公开(公告)号:CN118230031A
公开(公告)日:2024-06-21
申请号:CN202410262784.9
申请日:2024-03-07
Applicant: 西安交通大学
Abstract: 本发明属于数据处理领域,公开了一种在线学习者专注度识别方法、系统、设备及存储介质,包括:获取在线学习者视频,并基于在线学习者视频的累积像素点变化个数,得到在线学习者视频的视频采样帧序列;基于结合光流的时空管道嵌入方法,对视频采样帧序列进行运动信息捕获和嵌入操作,得到词法单元序列;基于时空管道嵌入和改进分离时空自注意力机制,对词法单元序列进行广义时空管道自注意力计算,得到类别分类头;将类别分类头输入至预设的专注度分类模型得到在线学习者专注度类别。通过自适应采样以及光流提取技术,结合时空管道嵌入和改进分离时空自注意力机制,实现广义时空管道自注意力计算,进而有效提升在线学习者专注度类别分类的效率和准确性。
-
公开(公告)号:CN117216274A
公开(公告)日:2023-12-12
申请号:CN202311194250.9
申请日:2023-09-15
Applicant: 西安交通大学
IPC: G06F16/35 , G06N3/0895 , G06N3/045 , G06F40/30
Abstract: 本发明属于自然语言处理领域,公开了一种基于降噪邻域聚合的文本细粒度类别发现方法及相关装置,包括:迭代更新步骤预设次数,将最终的文本特征提取器作为优化文本特征提取器;采用优化文本特征提取器依次提取各文本的特征,得到若干优化文本特征;并将若干优化文本特征进行聚类得到若干聚类簇,以及获取各聚类簇的簇标签并将各聚类簇的簇标签作为各聚类簇中各文本的细粒度类别。根据特征相似的文本具有相同的细粒度类别这一原理,在更新步骤中,利用粗粒度标签约束、互为近邻约束和排序统计量约束这三种近邻约束,获得文本特征的降噪近邻集合即最终近邻集合,并使用多正样本对比学习使得文本特征和其近邻动量特征具有相似的表征,有效提高文本的细粒度类别的准确性。
-
-
-
-
-
-
-
-
-