它有什么作用?
卷积神经网络(CNN)是一种深度学习模型,由LeCun及其同事于1998年提出,它直接从图像和结构化数据中学习局部模式以对其进行分类。一系列卷积滤波器会发现日益抽象的特征,因此可以大大减少手动特征工程的需求。
方法背后的直觉
CNN不依赖手工制作特征,而是将小的可学习滤波器滑动到输入数据上,以检测局部模式(如边缘、纹理或图案),无论它们出现在何处。早期层捕捉简单的线索;更深的层将它们组合成更高级别的概念。由于相同的滤波器在整个输入中被重复使用,因此网络可以高效地学习,并在模式出现时识别出该模式。
历史学
卷积神经网络由Yann LeCun及其同事在1998年将梯度学习应用于文档识别的工作中以现代形式整合,其中LeNet架构用于读取手写数字。卷积、池化和端到端梯度训练的结合成为图像分类的模板,并且随着更大的数据集和更快的硬件,推动了计算机视觉领域的深度学习革命。
何时使用
当您拥有大量标记数据集(大约1000个或更多观测值)并希望模型自动学习特征而不是手动工程化特征时,请使用CNN对图像和结构化网格状数据进行分类或预测。它不需要正态分布的数据,并且可以处理连续和分类输入。在约500个观测值以下,网络会过拟合,随机森林更安全;在约200个观测值以下,卷积滤波器无法学习有意义的模式,此时支持向量机(SVM)更可取。
局限与注意事项
- 需要大量标记数据集(约1000个以上观测值)才能可靠地进行训练。
- 在小样本(n低于约500)上,网络会过拟合,分类性能会下降。
- 在约200个观测值以下,卷积滤波器根本无法学习有意义的模式。
- 训练计算量大,且学习到的表示难以解释。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 自动学习局部模式,大大减少了手动特征工程的需求。
- 权重共享可以在任何地方识别模式,并使参数数量可控。
- 构建特征层次结构,从简单的边缘到抽象的概念,非常适合图像。
- 假设较少:无正态性要求,可接受连续和分类输入。
- 在大型标记图像和网格结构分类任务上达到最先进的准确率。
应用
- 图像分类和识别任务。
- 结构化、网格状数据的分类,其中局部模式很重要。
- 文档和手写字符识别。
- 特征学习,其中手动特征工程不切实际。
使用方式
使用方式
可学习的滤波器(核)在输入上进行卷积,计算局部加权和以生成特征图。每个滤波器响应特定的局部模式——边缘、纹理、形状片段——并且由于相同的权重在所有位置上共享,因此网络可以在输入中的任何位置检测到该模式,同时保持较低的参数数量。
公式
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)池化层(例如最大池化)对每个特征图进行下采样,将邻域汇总为单个值。这会缩小空间维度,使表示对小的移位和变形更加鲁棒,并让后续层构建具有更广阔感受野的、渐进的、更抽象的特征。
高级特征图被展平并通过全连接层,最后以一个softmax层输出类别概率。整个网络——滤波器和权重共同——通过基于梯度的学习进行端到端训练,通过反向传播最小化分类损失。
公式
\hat{y} = \operatorname{softmax}(W h + b)常见陷阱
- 在数据量太少的情况下训练并导致过拟合,而不是回退到随机森林或支持向量机。
- 跳过独立的验证集或测试集,只信任训练准确率。
- 忽略类别不平衡,而不是对类别进行重新加权或重采样。
- 仅报告准确率,而不报告精确率、召回率、F1分数或混淆矩阵。
- 忘记对输入进行归一化或不应用任何正则化来防止过拟合。
常见问题
CNN需要多少数据?
CNN是数据饥渴型的;粗略的底线是大约1000个标记的观测值。在约500个以下,它们倾向于过拟合,而在约200个以下,滤波器无法学习有意义的模式——在这些情况下,随机森林或SVM是更安全的选择。
为什么选择卷积而不是普通神经网络?
卷积在输入的各个位置共享相同的滤波器,因此模式无论出现在何处都能被检测到,并且参数数量保持较低。全连接网络将需要更多的权重,并且不会利用数据的空间结构。
池化有什么作用?
池化通过汇总局部邻域来对特征图进行下采样,这会减小空间尺寸,增加对微小移位的鲁棒性,并使更深层的网络能够构建具有更广阔感受野的、更抽象的特征。
在依赖CNN之前应该检查什么?
确认您拥有足够大的标记数据集,对输入进行归一化,设置适当的训练/验证/测试拆分,处理任何类别不平衡,并使用精确率、召回率、F1分数和混淆矩阵进行评估,而不仅仅是准确率。
相关方法
参考文献
LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.
打开 DOI 文献已复制。