卷积神经网络图像分类
- 提出者
- He, K. et al. (ResNet); Tan, M. & Le, Q.V. (EfficientNet)
- 年份
- 2016
- 类型
- Deep convolutional neural network (supervised)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
卷积神经网络(CNN)图像分类使用深度卷积架构,如ResNet(He等人,2016)、VGG和EfficientNet(Tan & Le,2019),将图像分类到不同的类别。堆叠的卷积层直接从像素中学习视觉特征的层次结构,而残差(跳跃)连接可以防止非常深的网络中出现梯度消失问题。
方法背后的直觉
与手动设计特征不同,卷积网络将小型可学习滤波器滑动到图像上,在早期层检测边缘和纹理,并在更深的层中将它们组合成形状和对象。随着网络变得非常深,训练信号可能会减弱;残差连接增加了一个快捷方式,让每个块只学习相对于其输入的更改,因此梯度可以清晰地流动,深度可以持续提供帮助而不是损害。
历史学
深度卷积网络在2010年代重塑了计算机视觉领域。He等人(2016)在CVPR上提出了带有残差连接的ResNet,使得训练数百层深的网络的成为可能,并克服了普通非常深的网络堆叠中出现的性能下降问题。VGG推广了小型卷积的均匀堆叠,而Tan & Le(2019)提出了EfficientNet,它联合缩放网络深度、宽度和输入分辨率,以用更少的参数达到高精度。这些主干网络,通常以预训练的形式使用,仍然是图像分类的标准参考。
何时使用
当您拥有至少约500个示例的标记图像数据集并且最好有GPU时,可以使用它来对图像数据进行分类或预测类别。它不假定数据呈正态分布,但应应用数据增强。在约500张图像以下,深度CNN倾向于过拟合,因此迁移学习或更简单的模型更可取;在约100张图像以下,滤波器无法提取有意义的特征,因此像SVM这样的经典分类器是更安全的选择。
局限与注意事项
- 数据需求量大:需要至少约500张图像,在较小的数据集上容易过拟合。
- 实际训练时间需要GPU。
- 一个黑盒模型,其决策的可解释性有限。
- 在图像非常少(约100张以下)的情况下,滤波器根本无法学习有意义的特征。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 直接从像素中学习视觉特征,无需手动设计特征。
- 残差连接允许非常深的网络在没有梯度消失的情况下进行训练。
- 在许多领域的图像分类任务上达到最先进的准确率。
- 预训练的主干网络(ResNet、VGG、EfficientNet)能够对中等规模的数据集进行迁移学习。
- 假设较少:对输入数据没有正态性要求。
应用
- 对自然、医学和遥感等领域的图像进行分类。
- 迁移学习:为新的图像任务微调预训练的主干网络。
- 工程领域的质量控制和目视检查。
- 输入是图像数据而非表格特征的预测任务。
使用方式
使用方式
每个卷积层将一组小型可学习滤波器应用于图像,生成特征图,突出显示局部模式,如边缘、角点和纹理。堆叠许多这样的层可以构建一个日益抽象的视觉特征层次结构,直接从像素中学习,而不是手动设计。
非常深的堆叠网络会遇到梯度消失问题。残差(跳跃)连接是ResNet的核心,它将一个块的输入加回到其输出,因此每个块只需要学习残差变化。这种快捷方式可以使梯度流过几十甚至几百层,这使得这些网络能够被训练到很深的程度。VGG等系列倾向于使用均匀堆叠的卷积,而EfficientNet则联合缩放深度、宽度和分辨率以实现效率。
公式
y = \mathcal{F}(x, \{W_i\}) + x最终的特征图被池化并传递给一个分类头,该分类头为每个类别输出一个概率。在实践中,通常使用在大数据集上预训练的模型,通过替换目标类别的分类头进行微调,并应用数据增强来扩展有效训练集并减少过拟合。
常见陷阱
- 在小型数据集上从头开始训练深度CNN,而不是使用迁移学习。
- 跳过数据增强并导致对训练图像过拟合。
- 忽略图像类别之间的类别不平衡。
- 在类别不平衡数据上仅报告准确率而忽略每类指标。
- 在几十张图像上尝试深度学习,而经典模型效果更好。
常见问题
我需要多少张图像?
大约500张标记图像是一个实际的最低要求,越多越好。在约500张以下,深度CNN会过拟合,因此从预训练的主干网络迁移学习或使用更简单的模型更可取;在约100张以下,滤波器无法学习有意义的特征。
我需要GPU吗?
强烈建议使用GPU。训练深度卷积网络在计算上非常耗时,仅在CPU上训练对于实际数据集来说时间是不可行的。
我应该选择哪种架构——ResNet、VGG还是EfficientNet?
ResNet的残差连接使得非常深的网络可以被训练,并且它是一个稳健的默认选择。VGG使用简单的均匀卷积堆叠,而EfficientNet则联合缩放深度、宽度和分辨率以用更少的参数达到高精度。通常,从其中任何一个的预训练版本开始是最可靠的途径。
为什么数据增强很重要?
数据增强——翻转、裁剪、旋转和类似的变换——可以扩展有效训练集,并使网络暴露于更多变化,从而减少过拟合。在图像数据有限的情况下,这是泛化能力最重要的步骤之一。