一种课堂行为的识别方法、装置、设备及存储介质

    公开(公告)号:CN113239915B

    公开(公告)日:2021-11-30

    申请号:CN202110787829.0

    申请日:2021-07-13

    Inventor: 梁美玉 黄勇康

    Abstract: 本公开提供一种课堂行为的识别方法、装置、设备及存储介质,方法包括获取课堂视频;基于课堂视频中的图像帧进行目标识别和跟踪,得到目标图像流;将目标图像流输入训练好的识别模型进行识别,得到课堂行为结果,其中,训练好的识别模型包括:时空特征网络,用于对目标图像流进行特征提取,得到目标图像流的时空特征;深层特征网络,用于对时空特征进行学习得到深层特征;分类网络,用于对深层特征进行分类得到课堂行为结果。根据本公开,解决了实际应用中教学课堂场景的课堂行为识别时目标众多且具有遮挡问题。能够通过增强课堂行为的时序特征学习能力,以发现课堂行为在时间维度的变化规律,进而提高学生课堂行为识别的精准度。

    跨媒体大数据搜索方法及装置

    公开(公告)号:CN113239237B

    公开(公告)日:2021-11-30

    申请号:CN202110787827.1

    申请日:2021-07-13

    Abstract: 本说明书一个或多个实施例提供一种跨媒体大数据搜索方法及装置,包括:分别提取图像数据的图像语义特征和文本数据的文本语义特征;计算图像语义特征和文本语义特征之间的相似度,根据相似度分别确定图像注意力特征和文本注意力特征;以图像注意力特征为输入,经过图像表示网络输出图像上下文特征向量;以文本注意力特征为输入,经过文本表示网络输出文本上下文特征向量;根据图像上下文特征向量和文本上下文特征向量,利用对抗学习确定统一语义表示;基于统一语义表示进行搜索。本说明书的搜索方法能够获得精确的搜索结果。

    不完整多视角数据的聚类方法、电子设备

    公开(公告)号:CN113705603A

    公开(公告)日:2021-11-26

    申请号:CN202110784672.6

    申请日:2021-07-12

    Abstract: 本公开提供一种不完整多视角数据的聚类方法、电子设备,所述方法包括:通过多视角自编码器对不完整多视角数据缺失的多视角特征进行补全,以得到完整多视角数据及其统一特征表示;通过单层神经网络模型对完整多视角数据的局部结构进行学习,并利用图卷积网络对完整多视角数据的局部结构信息进行提取,以得到完整多视角数据各视角的节点特征表示;基于统一特征表示以及节点特征表示,通过预设的聚类算法进行聚类得到完整多视角数据的聚类结果。本公开的技术方案在补全不完整多视角数据的缺失特征后,通过结合多视角数据的全局结构和局部结构,增强多视角数据的特征表示,进而获得更准确的多视角数据的聚类结果。

    一种基于深度多视角子空间集成学习的图像聚类方法

    公开(公告)号:CN109784360B

    公开(公告)日:2021-02-02

    申请号:CN201811466266.X

    申请日:2018-12-03

    Abstract: 本发明公开了一种基于深度多视角子空间集成学习的图像聚类方法,其特征在于,包括:对图像数据集进行多视角特征提取,得到多视角特征;基于所述多视角特征建立深度多视角低秩子空间学习的第一函数;基于所述第一函数建立多视角子空间集成学习的第二函数;基于所述第一函数和所述第二函数建立深度多视角子空间集成学习的目标函数并确定所述目标函数的各项约束;最小化所述目标函数,得到图像多视角特征的低维一致性子空间表示;用聚类算法对图像多视角特征的低维一致性子空间表示进行聚类,得到所述图像数据集的多视角聚类结果。

    跨媒体大数据的公共语义表示、搜索方法和装置

    公开(公告)号:CN110781319A

    公开(公告)日:2020-02-11

    申请号:CN201910877850.2

    申请日:2019-09-17

    Abstract: 本发明公开了一种跨媒体大数据的公共语义表示、搜索方法和装置,所述方法包括:提取大数据中图像、文本的全局语义特征和局部显著性深度语义特征;确定所述图像和文本的全局语义特征相似性,以及所述图像和文本的局部显著性语义特征相似性;联合所述图像和文本的全局和局部显著性语义特征相似性进行跨媒体语义关联学习,获得跨媒体大数据的公共语义表示。应用本发明能够增强跨媒体关联学习能力,发现潜在的细粒度跨媒体语义关联,从而提高跨媒体大数据的搜索精准度。

    基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法

    公开(公告)号:CN106056540A

    公开(公告)日:2016-10-26

    申请号:CN201610538641.1

    申请日:2016-07-08

    CPC classification number: G06T3/4053 G06T5/003 G06T9/004 G06T2207/10016

    Abstract: 本发明公开了一种基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法,包括:对视频序列在时空域进行运动分析,构建所述视频序列鲁棒性的光流运动估计模型,得到运动向量;根据所述运动向量,对所述视频序列进行双向时空运动补偿,得到补偿后的视频序列;采用基于Zernike不变矩的快速非局部模糊配准机制的跨尺度融合策略,对所述补偿后的视频序列进行时空超分辨率重建,得到高时空分辨率的视频序列。本发明不依赖于精确的亚像素运动估计,可适用于各种复杂的运动模式,如角度旋转和局部运动等,能为运动目标的精确识别和跟踪提供更加清晰流畅的视频信息,具有很强的实际应用价值。

    旅游导航与救援系统服务器端的设计与实现

    公开(公告)号:CN101916270A

    公开(公告)日:2010-12-15

    申请号:CN201010248482.4

    申请日:2010-08-09

    Abstract: 本发明设计和完成了一个旅游导航与救援系统服务器端的设计与实现。系统由四部分构成,分别是:服务器端与终端通信机制的实现、终端信息的分类存储、查询和管理、位置搜索和路径导航。实现服务器端与终端的相互通信,完成了相关信息的接收与发送;实现了终端信息的分类存储,包括注册信息、登录信息、位置信息、查询信息和求援信息。针对特定信息能够进行回复;实现了景区信息的查询与管理,在电子地图中显示景区游客的位置及运动轨迹;能够直观的观察各个景区的游客分布情况以及景区中求援游客的情况。管理者能够查看特定游客的位置以及在景区中的游览轨迹。利用关键词匹配技术,实现基于网站电子地图的位置搜索功能。基于改进的最短路径算法,实现电子地图路径推荐功能。为普通的浏览器用户提供位置搜索和路径导航功能。该系统实时性强,具有很高的应用价值。

    一种掩码遮罩的横向联邦异质图学习方法及装置

    公开(公告)号:CN119761410A

    公开(公告)日:2025-04-04

    申请号:CN202510272823.8

    申请日:2025-03-10

    Abstract: 本发明提供一种掩码遮罩的横向联邦异质图学习方法及装置,包含客户端本地训练与全局聚合两阶段。客户端基于全局服务器分发的初始参数部署本地模型,利用动态生成的掩码遮罩随机遮掩输入特征以挖掘高阶拓扑结构,通过边重构损失优化拓扑感知能力;同时随机遮掩节点属性并动态调整遮掩比例,结合一致性语义损失增强语义鲁棒性;联合节点分类损失共同更新本地参数。全局聚合阶段,服务器根据各客户端指定元路径下的边集计算聚类系数衡量图结构紧密度,结合节点数量动态分配聚合权重,融合拓扑信息丰富的客户端参数,迭代优化全局模型。本发明能够克服客户端数据动态变化导致的语义不一致问题,捕捉局部图结构价值,提升全局泛化能力与收敛效率。

    多模态知识增强的跨模态表示学习与检索方法及相关设备

    公开(公告)号:CN117349454A

    公开(公告)日:2024-01-05

    申请号:CN202311060456.2

    申请日:2023-08-22

    Abstract: 本公开提供一种多模态知识增强的跨模态表示学习与检索方法及相关设备,包括:获取数据信息集,其中所述数据信息集包括图像数据以及文本数据;采集所述数据信息集的局部特征,并基于所述局部特征确定所述数据信息集的细粒度特征;采集所述数据信息集的全局特征,并基于所述全局特征确定所述数据信息集的粗粒度特征;基于所述细粒度特征以及所述粗粒度特征,对所述数据信息集进行跨模态检索。本公开中,通过构建的多模态知识图谱,并基于多模态图注意力网络对模态内和模态间的隐含细粒度语义关联进行了推理,之后对推理得到的结果进行哈希映射并生成跨模态高效统一哈希表示,最终基于所生成的哈希表示进行跨模态检索。

Patent Agency Ranking