本发明公开了一种基于深度学习的MR远程协同装配系统及方法，该系统包含有本地AR端、远程VR端以及云服务器三部分，本地AR端的装配作业信息通过语音和视频的形式共享到远程VR端，装配部件的实时定位通过一种深度学习方法实现，其装配件的位置也可通过网络共享到远程客户端；远程VR端不仅可通过共享的语音和视频感知本地端协同装配的场景，而且可以通过一种自然直观的交互方式与虚拟三维空间中对象交互表达协同信息。本发明支持采集深度学习的物体定位和VR空间的自然人机交互方式，采用3D虚拟模型表达清楚的装配引导信息，解决远程协同中装配件识别定位和协同信息准确表达的问题。