Skip to content
返回搜索结果

卷积神经网络(分类)

提出者
LeCun, Y. et al.
年份
1998
类型
Deep neural network (convolutional)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

卷积神经网络(CNN)是一种深度学习模型,由LeCun及其同事于1998年提出,它直接从图像和结构化数据中学习局部模式以对其进行分类。一系列卷积滤波器会发现日益抽象的特征,因此可以大大减少手动特征工程的需求。

方法背后的直觉

CNN不依赖手工制作特征,而是将小的可学习滤波器滑动到输入数据上,以检测局部模式(如边缘、纹理或图案),无论它们出现在何处。早期层捕捉简单的线索;更深的层将它们组合成更高级别的概念。由于相同的滤波器在整个输入中被重复使用,因此网络可以高效地学习,并在模式出现时识别出该模式。

历史学

卷积神经网络由Yann LeCun及其同事在1998年将梯度学习应用于文档识别的工作中以现代形式整合,其中LeNet架构用于读取手写数字。卷积、池化和端到端梯度训练的结合成为图像分类的模板,并且随着更大的数据集和更快的硬件,推动了计算机视觉领域的深度学习革命。

何时使用

当您拥有大量标记数据集(大约1000个或更多观测值)并希望模型自动学习特征而不是手动工程化特征时,请使用CNN对图像和结构化网格状数据进行分类或预测。它不需要正态分布的数据,并且可以处理连续和分类输入。在约500个观测值以下,网络会过拟合,随机森林更安全;在约200个观测值以下,卷积滤波器无法学习有意义的模式,此时支持向量机(SVM)更可取。

局限与注意事项

  • 需要大量标记数据集(约1000个以上观测值)才能可靠地进行训练。
  • 在小样本(n低于约500)上,网络会过拟合,分类性能会下降。
  • 在约200个观测值以下,卷积滤波器根本无法学习有意义的模式。
  • 训练计算量大,且学习到的表示难以解释。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 自动学习局部模式,大大减少了手动特征工程的需求。
  • 权重共享可以在任何地方识别模式,并使参数数量可控。
  • 构建特征层次结构,从简单的边缘到抽象的概念,非常适合图像。
  • 假设较少:无正态性要求,可接受连续和分类输入。
  • 在大型标记图像和网格结构分类任务上达到最先进的准确率。

应用

  • 图像分类和识别任务。
  • 结构化、网格状数据的分类,其中局部模式很重要。
  • 文档和手写字符识别。
  • 特征学习,其中手动特征工程不切实际。

使用方式

使用方式

1

可学习的滤波器(核)在输入上进行卷积,计算局部加权和以生成特征图。每个滤波器响应特定的局部模式——边缘、纹理、形状片段——并且由于相同的权重在所有位置上共享,因此网络可以在输入中的任何位置检测到该模式,同时保持较低的参数数量。

公式
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

池化层(例如最大池化)对每个特征图进行下采样,将邻域汇总为单个值。这会缩小空间维度,使表示对小的移位和变形更加鲁棒,并让后续层构建具有更广阔感受野的、渐进的、更抽象的特征。

3

高级特征图被展平并通过全连接层,最后以一个softmax层输出类别概率。整个网络——滤波器和权重共同——通过基于梯度的学习进行端到端训练,通过反向传播最小化分类损失。

公式
\hat{y} = \operatorname{softmax}(W h + b)

常见陷阱

  • 在数据量太少的情况下训练并导致过拟合,而不是回退到随机森林或支持向量机。
  • 跳过独立的验证集或测试集,只信任训练准确率。
  • 忽略类别不平衡,而不是对类别进行重新加权或重采样。
  • 仅报告准确率,而不报告精确率、召回率、F1分数或混淆矩阵。
  • 忘记对输入进行归一化或不应用任何正则化来防止过拟合。

常见问题

CNN需要多少数据?

CNN是数据饥渴型的;粗略的底线是大约1000个标记的观测值。在约500个以下,它们倾向于过拟合,而在约200个以下,滤波器无法学习有意义的模式——在这些情况下,随机森林或SVM是更安全的选择。

为什么选择卷积而不是普通神经网络?

卷积在输入的各个位置共享相同的滤波器,因此模式无论出现在何处都能被检测到,并且参数数量保持较低。全连接网络将需要更多的权重,并且不会利用数据的空间结构。

池化有什么作用?

池化通过汇总局部邻域来对特征图进行下采样,这会减小空间尺寸,增加对微小移位的鲁棒性,并使更深层的网络能够构建具有更广阔感受野的、更抽象的特征。

在依赖CNN之前应该检查什么?

确认您拥有足够大的标记数据集,对输入进行归一化,设置适当的训练/验证/测试拆分,处理任何类别不平衡,并使用精确率、召回率、F1分数和混淆矩阵进行评估,而不仅仅是准确率。

相关方法

参考文献

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    打开 DOI 文献
    已复制。