基于分层度量学习的跨模态信息检索方法

    公开(公告)号:CN113590867B

    公开(公告)日:2024-02-09

    申请号:CN202110893943.1

    申请日:2021-08-05

    Abstract: 本发明公开了一种基于分层度量学习的跨模态信息检索方法,其实现步骤为:(1)建立训练集;(2)构建分层度量学习网络;(3)训练分层度量学习网络;(4)利用图像检索文本;(5)利用文本检索图像。本发明构建了与标签层数相等的多个分层度量学习子网络组成分层度量学习网络,采用了特征嵌入模块对图像样本和文本样本进行实值特征表示学习,使得最终分层度量学习网络学习到的特征能包含层次标签的所有标签信息,学习到的图像特征和文本特征具有更高的数值精度,提高了跨模态信息检索的精度,增强了跨模态信息检索过程中数据特征结构的稳定性。

    基于差分多尺度多粒度特征融合的视频文本检索方法

    公开(公告)号:CN116226449A

    公开(公告)日:2023-06-06

    申请号:CN202310050175.2

    申请日:2023-02-01

    Abstract: 本发明公开了一种基于差分多尺度多粒度特征融合的视频文本检索方法,主要解决现有技术未充分利用视频时序特征及细粒度信息文本标注造成视频文本匹配精度低的问题,其实现方案为:获取视频帧序列及文本标注序列;构建特征提取网络并提取文本标注的全局和局部特征;将视频帧特征按时间序列差分并通过序列特征提取网络与帧特征结合得到视频的局部和全局特征;计算视频和文本标注的全局相似度和局部相似度,计算出损失函数;利用损失函数训练网络;利用训练好的网络计算视频与文本标注的相似度并排序得到检索结果。本发明能减少不同模态之间的语义鸿沟,挖掘视频模态数据中的时序信息,提升跨模态检索精度,可用于视频主题检测和视频应用的内容推荐。

    基于特征点重投影的单眼虹膜匹配方法

    公开(公告)号:CN112380966B

    公开(公告)日:2023-06-02

    申请号:CN202011259221.2

    申请日:2020-11-12

    Abstract: 本发明公开了一种基于特征点重投影的单眼虹膜匹配方法。主要解决现有技术计算时间复杂度高,虹膜外区域影响匹配结果的问题。其方案是:采用摄像头获取单眼虹膜图像,并对其依次进行虹膜定位、特征提取、剔除边界信息的数据预处理;用每次预处理后的虹膜区域分割图像构成虹膜识别数据库;采用摄像头获取待识别单眼虹膜图像,对其进行数据预处理;将预处理后的虹膜区域分割图像B与虹膜识别数据库中的虹膜区域分割图像A进行匹配,根据匹配的特征点对估计单应矩阵。将图B中特征点重投影至图A空间,计算对应特征点平均位置偏差,并据此判断匹配是否成功。本发明实现了对虹膜区域的分割,并在保持匹配准确度的同时提高了匹配速度,可用于身份认证。

    基于预训练模型的视频文本检索方法

    公开(公告)号:CN116109960A

    公开(公告)日:2023-05-12

    申请号:CN202210804157.4

    申请日:2022-07-07

    Abstract: 本发明公开了一种基于预训练模型的视频文本检索方法,主要解决现有方法中数据特征异质性及冗余级联造成视频文本匹配精度低的问题;方案包括:1)获取视频数据集的帧序列及文本标注切分产生的文本序列;2)采用图文预训练模型协同提取视频和文本的特征;3)将视频以块级联形式映射,同时将协同提取应用到视频的聚合阶段,以文本表征指导聚合视频帧级特征;4)加入交叉方向上的先验概率并使用分散约束损失,完成模型训练;5)利用训练好的视频文本匹配模型得到最终检索结果。本发明能够有效减少不同模态之间的语义鸿沟,充分挖掘视频模态数据中的复杂时空信息,提升跨模态检索精度。

    云平台的任务调度方法、装置、设备和计算机存储介质

    公开(公告)号:CN113791879A

    公开(公告)日:2021-12-14

    申请号:CN202110902966.4

    申请日:2021-08-06

    Abstract: 本发明公开了一种云平台的任务调度方法、装置、设备和计算机存储介质,获取多个初始调度方案。确定初始调度方案的适应度值;根据所有初始调度方案的适应度值和所有初始调度方案的适应度值的平均值,确定每个初始调度方案的类型;分别根据每个初始调度方案的类型,进行烟花爆炸操作,得到爆炸后的调度方案;根据所有爆炸后的调度方案,确定下一代初始调度方案;将初始调度方案更新为下一代初始调度方案,返回执行针对每个初始调度方案,分别根据每个物理机执行初始调度方案的时长,确定初始调度方案的适应度值,直到满足迭代停止条件,确定目标调度方案为适应度值最小的下一代初始调度方案。云平台能耗低,提高资源的利用率,提高用户体验。

    基于分层度量学习的跨模态信息检索方法

    公开(公告)号:CN113590867A

    公开(公告)日:2021-11-02

    申请号:CN202110893943.1

    申请日:2021-08-05

    Abstract: 本发明公开了一种基于分层度量学习的跨模态信息检索方法,其实现步骤为:(1)建立训练集;(2)构建分层度量学习网络;(3)训练分层度量学习网络;(4)利用图像检索文本;(5)利用文本检索图像。本发明构建了与标签层数相等的多个分层度量学习子网络组成分层度量学习网络,采用了特征嵌入模块对图像样本和文本样本进行实值特征表示学习,使得最终分层度量学习网络学习到的特征能包含层次标签的所有标签信息,学习到的图像特征和文本特征具有更高的数值精度,提高了跨模态信息检索的精度,增强了跨模态信息检索过程中数据特征结构的稳定性。

Patent Agency Ranking