本发明公开了基于深度视觉识别的平板式货车全自动装卸车系统及方法，分为装车和卸车两部分；卸车部分利用深度相机拍摄货物图片，采集数据集并完成标签处理，训练货物的识别模型，得到货物二维坐标，利用深度相机得到货物到相机的深度距离，最终得到货物三维坐标，之后通过以太网通信把坐标值传送给PLC，当其收到三维坐标，通过伺服电机驱动器控制伺服电机运行，带动桁架针式吸盘抓取装置运动和抓取货物，完成卸载；装车部分利用测量机构和控制系统判定车厢位姿，在利用抓取系统完成货物抓取操作，根据车厢位姿和货物参数，控制货物装载数量，完成装载；本发明全自动完成货物的装卸过程，节省了大量的劳动力，填补了全自动化装卸车一体化的空白。