Skip to content
返回搜索结果

卷积神经网络图像分类

提出者
He, K. et al. (ResNet); Tan, M. & Le, Q.V. (EfficientNet)
年份
2016
类型
Deep convolutional neural network (supervised)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

卷积神经网络(CNN)图像分类使用深度卷积架构,如ResNet(He等人,2016)、VGG和EfficientNet(Tan & Le,2019),将图像分类到不同的类别。堆叠的卷积层直接从像素中学习视觉特征的层次结构,而残差(跳跃)连接可以防止非常深的网络中出现梯度消失问题。

方法背后的直觉

与手动设计特征不同,卷积网络将小型可学习滤波器滑动到图像上,在早期层检测边缘和纹理,并在更深的层中将它们组合成形状和对象。随着网络变得非常深,训练信号可能会减弱;残差连接增加了一个快捷方式,让每个块只学习相对于其输入的更改,因此梯度可以清晰地流动,深度可以持续提供帮助而不是损害。

历史学

深度卷积网络在2010年代重塑了计算机视觉领域。He等人(2016)在CVPR上提出了带有残差连接的ResNet,使得训练数百层深的网络的成为可能,并克服了普通非常深的网络堆叠中出现的性能下降问题。VGG推广了小型卷积的均匀堆叠,而Tan & Le(2019)提出了EfficientNet,它联合缩放网络深度、宽度和输入分辨率,以用更少的参数达到高精度。这些主干网络,通常以预训练的形式使用,仍然是图像分类的标准参考。

何时使用

当您拥有至少约500个示例的标记图像数据集并且最好有GPU时,可以使用它来对图像数据进行分类或预测类别。它不假定数据呈正态分布,但应应用数据增强。在约500张图像以下,深度CNN倾向于过拟合,因此迁移学习或更简单的模型更可取;在约100张图像以下,滤波器无法提取有意义的特征,因此像SVM这样的经典分类器是更安全的选择。

局限与注意事项

  • 数据需求量大:需要至少约500张图像,在较小的数据集上容易过拟合。
  • 实际训练时间需要GPU。
  • 一个黑盒模型,其决策的可解释性有限。
  • 在图像非常少(约100张以下)的情况下,滤波器根本无法学习有意义的特征。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 直接从像素中学习视觉特征,无需手动设计特征。
  • 残差连接允许非常深的网络在没有梯度消失的情况下进行训练。
  • 在许多领域的图像分类任务上达到最先进的准确率。
  • 预训练的主干网络(ResNet、VGG、EfficientNet)能够对中等规模的数据集进行迁移学习。
  • 假设较少:对输入数据没有正态性要求。

应用

  • 对自然、医学和遥感等领域的图像进行分类。
  • 迁移学习:为新的图像任务微调预训练的主干网络。
  • 工程领域的质量控制和目视检查。
  • 输入是图像数据而非表格特征的预测任务。

使用方式

使用方式

1

每个卷积层将一组小型可学习滤波器应用于图像,生成特征图,突出显示局部模式,如边缘、角点和纹理。堆叠许多这样的层可以构建一个日益抽象的视觉特征层次结构,直接从像素中学习,而不是手动设计。

2

非常深的堆叠网络会遇到梯度消失问题。残差(跳跃)连接是ResNet的核心,它将一个块的输入加回到其输出,因此每个块只需要学习残差变化。这种快捷方式可以使梯度流过几十甚至几百层,这使得这些网络能够被训练到很深的程度。VGG等系列倾向于使用均匀堆叠的卷积,而EfficientNet则联合缩放深度、宽度和分辨率以实现效率。

公式
y = \mathcal{F}(x, \{W_i\}) + x
3

最终的特征图被池化并传递给一个分类头,该分类头为每个类别输出一个概率。在实践中,通常使用在大数据集上预训练的模型,通过替换目标类别的分类头进行微调,并应用数据增强来扩展有效训练集并减少过拟合。

常见陷阱

  • 在小型数据集上从头开始训练深度CNN,而不是使用迁移学习。
  • 跳过数据增强并导致对训练图像过拟合。
  • 忽略图像类别之间的类别不平衡。
  • 在类别不平衡数据上仅报告准确率而忽略每类指标。
  • 在几十张图像上尝试深度学习,而经典模型效果更好。

常见问题

我需要多少张图像?

大约500张标记图像是一个实际的最低要求,越多越好。在约500张以下,深度CNN会过拟合,因此从预训练的主干网络迁移学习或使用更简单的模型更可取;在约100张以下,滤波器无法学习有意义的特征。

我需要GPU吗?

强烈建议使用GPU。训练深度卷积网络在计算上非常耗时,仅在CPU上训练对于实际数据集来说时间是不可行的。

我应该选择哪种架构——ResNet、VGG还是EfficientNet?

ResNet的残差连接使得非常深的网络可以被训练,并且它是一个稳健的默认选择。VGG使用简单的均匀卷积堆叠,而EfficientNet则联合缩放深度、宽度和分辨率以用更少的参数达到高精度。通常,从其中任何一个的预训练版本开始是最可靠的途径。

为什么数据增强很重要?

数据增强——翻转、裁剪、旋转和类似的变换——可以扩展有效训练集,并使网络暴露于更多变化,从而减少过拟合。在图像数据有限的情况下,这是泛化能力最重要的步骤之一。

相关方法

参考文献

  1. He, K., Zhang, X., Ren, S. & Sun, J. (2016). Deep Residual Learning for Image Recognition. CVPR.

    打开 DOI 文献
    已复制。
  2. Tan, M. & Le, Q.V. (2019). EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML, PMLR 97, 6105–6114. arXiv:1905.11946.

    打开出版物文献
    已复制。