本发明公开了一种用于图像或视频搜索重排序的方法，涉及面向多媒体信息检索领域，对图像样本集合按照与查询主题相关性的程度划分为三个等级A、B和C；构建相关图、不相关图和全局图；获取相关散度，不相关散度和全局散度；通过相关散度、不相关散度和全局散度构建目标函数，获取图像样本的新特征向量；将标注图像样本的新特征向量作为训练集输入到训练模型中，获取训练后排序模型；通过训练后排序模型对图像样本进行排序，输出排序结果。本发明设计了一种适用于多媒体检索中与排序相关领域的维数约减方法，使之在有限的监督信息的前提下，充分地利用数据的特有性质，能够有效地利用少量的标注提高排序性能，提高了搜索精度。