描述了迭代多方向图像搜索的系统和方法。实施例使用多方向搜索模式来确定源图像内的一个或多个搜索区域。为在多方向搜索模式的多个方向上搜寻模板图像，实施例的搜索区域提供源图像内的搜索区域。可以迭代地更新源图像内搜索区域的位置，例如基于从搜索导出的运动向量，直到在源图像内识别出模板图像匹配位置。实施例将模板图像和源图像内的搜索区域转换为与多方向图像搜索的每个方向相对应的1D表示。实施例适应源图像内的模板图像的主体(如感兴趣目标)的旋转和缩放变化。