胶囊网络
- 提出者
- Sabour, S., Frosst, N. & Hinton, G. E.
- 年份
- 2017
- 类型
- Deep learning architecture (vector capsules with dynamic routing)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
胶囊网络(CapsNet)是Sara Sabour、Nicholas Frosst和Geoffrey Hinton于2017年提出的一种深度学习架构,它将神经元组织成向量(胶囊)而非标量激活,从而直接编码空间层级和姿态(方向)信息。它的提出旨在克服卷积网络对视角变化的脆弱性。
方法背后的直觉
标准卷积网络检测特征是否存在,但会丢弃其与其他特征之间精确空间关系的许多信息,这使得当物体旋转或从新角度观察时,它变得脆弱。胶囊用一个小向量取代单个标量神经元:其长度表示实体存在的概率,其方向编码该实体的属性,例如姿态和方向。由于胶囊携带更丰富的信息,网络可以推理部分如何与整体相关联,而不仅仅是部分是否出现。
历史学
胶囊网络由Sara Sabour、Nicholas Frosst和Geoffrey Hinton在2017年NeurIPS论文《Dynamic Routing Between Capsules》中提出,其动机是卷积网络在处理视角变化方面的局限性。2018年,Hinton、Sabour和Frosst在ICLR上通过《Matrix Capsules with EM Routing》扩展了这一思想,用基于矩阵值胶囊的期望最大化过程取代了原始的路由方案。
何时使用
适用于图像或其他结构化连续特征数据的分类和预测,其中对视角和姿态变化的鲁棒性很重要,且样本量足够大(至少约500个观测值)。建议使用GPU,并且必须对动态路由算法进行调优。低于约500个观测值时,路由无法可靠学习,模型会过拟合;低于约200个观测值时,随机森林或支持向量机等经典分类器是更好的选择。
局限与注意事项
- 需要相当大的样本量(约500+);在较小数据上,动态路由会过拟合且学习不可靠。
- 迭代动态路由计算量大,建议使用GPU。
- 路由算法引入了必须调优的超参数,增加了训练复杂性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 编码卷积池化丢弃的姿态和空间层级信息,提高了对视角变化的鲁棒性。
- 通过路由协议(routing-by-agreement)建模显式的部分到整体关系。
- 向量胶囊保留实体属性(方向、位置),而不是将其折叠为单个激活。
应用
- 必须对视角、旋转或姿态变化具有鲁棒性的图像分类。
- 通过建模部分到整体空间关系可以改善泛化能力的识别任务。
- 具有足够训练数据的结构化连续特征输入的分类和预测。
使用方式
使用方式
网络将单元分组为胶囊而非标量神经元——胶囊是短向量,其长度表示特定实体存在的概率,其方向编码其实例化参数,例如姿态。低层胶囊检测部分,而高层胶囊表示这些部分组成的整体。
一种动态路由协议(routing-by-agreement)算法将低层胶囊连接到高层胶囊。每个低层胶囊通过一个变换矩阵对每个高层胶囊的输出进行预测;然后迭代地调整耦合系数,使得一致的预测相互加强。这种路由必须经过调优,并用显式的部分到整体共识取代了卷积网络的池化步骤。
公式
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}一个非线性挤压函数将短向量压缩到接近零,将长向量压缩到单位长度,因此输出胶囊的幅值保持为有效概率,同时其方向保留了实体的属性。最后一层的胶囊长度给出用于分类的类别预测。
公式
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}常见陷阱
- 在过少的观测值(低于约500个)上进行训练,此时路由无法收敛到可靠的耦合。
- 将动态路由的迭代次数和耦合参数保留为默认值,而不是针对任务进行调优。
- 尝试在没有GPU加速的情况下进行训练,并接受过慢或不完整的训练。
- 将CapsNet应用于非图像、非结构化输入,而不是使用经典模型,因为它并非为此类输入设计。
常见问题
胶囊与普通神经元有何不同?
普通神经元输出单个标量激活。胶囊输出一个向量,其长度表示实体存在的概率,其方向编码该实体的属性,例如姿态和方向,因此它携带更丰富的空间信息。
什么是动态路由?
动态路由协议(dynamic routing-by-agreement)是将低层胶囊连接到高层胶囊的算法。每个低层胶囊预测高层胶囊的输出,并迭代地调整耦合系数,使得一致的预测相互加强,取代了卷积网络的池化步骤。
我需要多少数据和计算资源?
CapsNet需要相当大的数据集——至少约500个观测值——并且建议使用GPU,因为迭代路由的计算量很大。低于约200个观测值时,随机森林或支持向量机等经典分类器更适用。
为什么要使用胶囊网络而不是CNN?
CapsNet的提出专门是为了解决CNN对视角变化的脆弱性。通过保留姿态和部分到整体的关系而不是将其池化掉,当物体以新方向出现时,它可以更好地泛化。
相关方法
参考文献
Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).
打开出版物文献已复制。Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).
打开出版物文献已复制。