本发明涉及一种基于CMT算法的特征库维护方法，该方法包括：建立特征库，其中，特征库包括暂存特征库、跟踪特征库和捕获特征库；提取第t帧图像的n个特征点，其中，t和n均为大于0的自然数；将所述特征点与跟踪特征库进行匹配以更新暂存特征库；根据更新后的所述暂存特征库的特征点的第一类置信值更新跟踪特征库；根据更新后的所述暂存特征库的特征点的第二类置信值更新捕获特征库。本发明提出了一种特征库的维护方法，使得特征库中保留的特征点都是稳定，当跟踪的目标发生形变或者遮挡后，使用该特征库中的特征点与当前帧检测到的特征点进行匹配，之后再与CMT算法中的光流法跟踪到的特征点进行融合，能够增加目标跟踪过程的稳定性。