本发明公开了一种基于优化yolov4算法的违章行为识别方法及系统，包括以下步骤：(1)通过优化yolov4算法进行模型训练，抽选出最优模型；yolov4算法的优化包括：在输入部分采用1×1卷积将前一层的输入特征图的通道数减少到原来的四分之一；使用四个不同大小的空洞卷积分支来生成不同大小感受野的输出特征；利用感受野融合结构融合四个不同分支的输出特征信息；在输出部分的卷积层采用1×1卷积来调整输出特征图的通道数；利用残差网络获得最终的输出特征图；(2)采集视频图像数据作为最优模型的输入，进行违章行为的检测；(3)根据检测结果生成实时预警信息，将实时预警信息回传。本发明能够提升了违章识别图像中目标识别精度，并且实现实时预警功能。