本发明实施例公开了一种视频编码单元分割方法、系统以及硬件实现方法，获取视频编码单元图像及其分割标签，构建训练集；构建基于卷积神经网络的二分类器模型；使用所述训练集训练所述二分类器模型；将待处理视频编码单元图像输入至训练好的二分类器模型获取分割结果。基于深度学习的二分类器进行编码单元分割，在保证分类器分类结果准确性的基础上，相比于HEVC原始四叉树结合RDO的方法，大大减少了运行时间，并设计出对应的硬件电路，硬件利用率高。