本发明公开了一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法。包括:对彩钢瓦原始灰度图像进行二维离散傅里叶变换,得到彩钢瓦频谱图像;计算彩钢瓦功率谱图像并进行二值化、形态学膨胀操作;设计遮罩数据,对彩钢瓦频谱图像进行滤波、二维离散傅里叶逆变换;基于背景差分法,得到彩钢瓦缺陷图像;对彩钢瓦缺陷图像进行阈值化处理,生成标注图像;对多个彩钢瓦生成标注图像,将彩钢瓦原始灰度图像与标注图像作为样本数据集,训练语义分割深度卷积神经网络;将待检测彩钢瓦原始灰度图像输入训练好的神经网络,得到彩钢瓦缺陷检测结果并对结果进行筛选。利用本发明,可以在彩钢瓦表面缺陷检测场景中,提高彩钢瓦表面缺陷检测效率和检测精度。