本发明公开一种基于FPGA形态学算子的自适应彩色图像轮廓提取系统及方法，本发明的系统由控制模块、搜索结构生成模块、自适应优化模块、膨胀算子生成模块、腐蚀算子生成模块、轮廓提取模块组成。本发明使用控制模块提取待处理彩色图像的亮度分量；搜索结构模块将亮度分量填入构建的搜索结构中；自适应优化模块将搜索结构中的元素进行自适应优化；膨胀、腐蚀算子生成模块借助优化后的搜索结构生成膨胀、腐蚀算子；轮廓信息生成模块借助膨胀、腐蚀算子生成图像的轮廓数据。本发明可用在FPGA上实现彩色图像的轮廓提取，具有图像处理速度快，细节处理效果好的优点。