公开(公告)号：CN110188414A

公开(公告)日：2019-08-30

申请号：CN201910394490.0

申请日：2019-05-13

申请人： 山东大学

发明人： 宋雪萌 ,  董雪 ,  冯福利 ,  刘萌 ,  汪萌 ,  韩贤静

IPC分类号： G06F17/50 ,  G06N3/04

摘要： 本公开公开了一种个性化胶囊衣橱创建方法、装置及胶囊衣橱，接收多模态数据集，进行预处理；将预处理后的样本根据模态的不同将相对的数据输入预训练的多路径神经网络；根据预训练的神经网络和多层感知机分别提取不同模态的特征数据，得到不同模态的层次哈希表示；根据层次标签构建预处理后样本在不同层次上的相似矩阵，根据每层相似矩阵中值训练哈希表示的内积，评测样本之间的语义相似性；采用不同粒度的层次标签，并分析层次比对神经网络性能影响，确定最佳层次比；根据每层哈希表示得到哈希码；训练双路径神经网络，并使用SCD梯度下降法优化训练双路径神经网络，建立基于层次标签的深度跨模态哈希模型，用于跨模态搜索。

公开(公告)号：CN110188414B

公开(公告)日：2020-12-29

申请号：CN201910394490.0

申请日：2019-05-13

申请人： 山东大学

发明人： 宋雪萌 ,  董雪 ,  冯福利 ,  刘萌 ,  汪萌 ,  韩贤静

IPC分类号： G06F30/27 ,  G06N3/04

摘要： 本公开公开了一种个性化胶囊衣橱创建方法、装置及胶囊衣橱，接收多模态数据集，进行预处理；将预处理后的样本根据模态的不同将相对的数据输入预训练的多路径神经网络；根据预训练的神经网络和多层感知机分别提取不同模态的特征数据，得到不同模态的层次哈希表示；根据层次标签构建预处理后样本在不同层次上的相似矩阵，根据每层相似矩阵中值训练哈希表示的内积，评测样本之间的语义相似性；采用不同粒度的层次标签，并分析层次比对神经网络性能影响，确定最佳层次比；根据每层哈希表示得到哈希码；训练双路径神经网络，并使用SCD梯度下降法优化训练双路径神经网络，建立基于层次标签的深度跨模态哈希模型，用于跨模态搜索。