本申请提供了一种基于语义编解码的夜间智能养殖监控系统，涉及人工智能领域，包括：RGB摄像头，用于产生RGB视频流；红外摄像头，用于产生红外视频流；编解码子系统，用于对所述RGB视频流和所述红外视频流分别进行语义编解码，得到RGB视频图像和红外视频图像；异常检测子系统，用于将所述RGB视频图像和所述红外视频图像输入预先训练的异常检测网络进行异常检测，得到入侵检测结果和烟火检测结果。通过将RGB摄像头与红外摄像头相结合，可以获得较好的监控画面；通过对视频流进行语义编码，有利于弱网环境下的视频传输；通过预先训练的异常检测网络对视频图像进行异常检测，实现多任务输出，能够及时发现监控环境中的异常情况。