本发明提出了一种基于实例分割的半虚拟数据集自动生成方法，利用数字孪生体的虚拟对象作为实例分割MaskR‑CNN算法的数据集进行模型训练；将模型应用到虚拟对象获取mask图片和目标位置和类别信息；利用目标位置和类别信息自动生成半虚拟数据集标注文件；根据mask图片得到数字孪生体物理对象背景图和虚拟对象目标图；将背景图和目标图相加生成半虚拟图片数据集。利用数字孪生体虚拟对象作为训练模型的数据集，将模型应用到数字孪生体中获取半虚拟数据集。本发明减少标注数据集的人力成本，避免虚实混合数据集训练模型产生过拟合的现象，解决了深度学习训练数据集不足的问题，增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。