本发明公开了一种基于卷积网络的无监督行为跟踪识别方法及系统，涉及视觉跟踪技术领域，包括以下步骤：采集视频序列并从视频序列中获取模板图像和当前帧搜索图像，构建训练数据集；基于SiamFC算法，构建行为跟踪模型；使用训练数据集对行为跟踪模型进行训练，直至达到预设要求，得到训练好的行为跟踪模型；利用训练好的行为跟踪模型对监测视频段中的目标对象进行跟踪，获得用户行为跟踪识别结果。本发明将Transformer引入到视觉跟踪技术中，通过注意力机制有效确定输入序列中不同部分的重要性，解决序列数据中的全局时空关联问题，实现高效的跟踪任务。