本发明公开了基于着色的红外视频行为识别方法、系统和电子设备。针对背景噪点对红外视频的消极影响，提出颜色通道选择网络，将图像从RGB映射至CIE Lab，选择通道并加权融合，提高前背景的对比度；针对红外图像色彩细节信息丢失的问题，提出颜色通道增强网络，将背景与人物实例分离后，根据亮度通道预测色度信息，分别对完整图像和实例进行增强，将背景着色图与实例着色图按权重融合，使其更贴合红外视频的行为识别方法；针对模型融合不对齐问题，将上述两个网络的图像特征与光流特征分别转换为对应证据加以计算，得到样本数据特征的狄利克雷分布，进而确定每个模型的不确定度，动态分配各模型融合的权重，从而根据最终分类器得到最优的分类结果。