本发明涉及一种基于3D点云双边扩增算法的视觉辅助系统，属于图像处理技术领域，其中数据采集装置将采集的室内场景图像输入至数据生成装置；数据生成装置生成3D点云数据并输出至物体定位及分类装置；物体定位及分类装置利用基于双边扩增算法的语义分割模型对3D点云数据进行语义分割，将得到的语义分割结果与模板库进行点云配准，识别出目标物体，计算出位姿和物体抓取点，输出最终的结果；语音合成及播放装置将该结果生成对应的文字信息和音频信息，设置计时提醒器对音频信息进行播放，将文字信息反馈至监护人员绑定的设备。本发明利用基于双边扩增算法的语义分割模型进行分类，提升了视觉辅助系统物体分类的准确率和视觉辅助系统的性能。