本发明公开了一种面向智能推荐场景的安全搜索方法及装置，该方法包括存储者对多模数据进行特征提取，并用支持邻近数字识别的编码器和本地敏感哈希对提取得到的特征向量进行编码加密，将加密后的特征向量发送到服务器端作为搜索索引，将多模数据用支持一次性授权解密的可更新加密方案进行加密并将密文发送到服务器端保存。搜索者向存储者申请一次性解密令牌，利用编码和加密后的特征向量在服务器端进行搜索，用解密令牌对搜索结果进行解密。搜索完成后，存储者对服务器端的密文进行密钥更新。该方法可以使存储者将数据加密存储在远程服务器中，并授权搜索者对服务器中的数据进行搜索，有效解决了多模数据难以在多用户场景下加密存储和搜索的局限。