カプセルネットワーク
- 提唱者
- Sabour, S., Frosst, N. & Hinton, G. E.
- 年
- 2017
- 種類
- Deep learning architecture (vector capsules with dynamic routing)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
カプセルネットワーク(CapsNet)は、2017年にSara Sabour、Nicholas Frosst、Geoffrey Hintonによって導入されたディープラーニングアーキテクチャであり、ニューロンをスカラー活性化ではなくベクトル(カプセル)として編成することで、空間階層と姿勢(向き)情報を直接エンコードします。これは、畳み込みネットワークの視点変化に対する脆弱性を克服するために提案されました。
手法の背後にある直感
標準的な畳み込みネットワークは、特徴が存在するかどうかを検出しますが、他の特徴との正確な空間関係の多くを破棄してしまうため、オブジェクトが回転したり新しい角度から見られたりすると脆くなります。カプセルは、単一のスカラーニューロンを小さなベクトルに置き換えます。その長さはそのエンティティが存在する確率を示し、その方向はそのエンティティの姿勢や向きなどのプロパティをエンコードします。カプセルはこのより豊かな情報を運ぶため、ネットワークは単に部品が存在するかどうかだけでなく、部品が全体とどのように関連しているかを推論できます。
歴史学
カプセルネットワークは、畳み込みネットワークの視点変化の処理における限界に動機づけられ、2017年のNeurIPS論文「Dynamic Routing Between Capsules」でSara Sabour、Nicholas Frosst、Geoffrey Hintonによって導入されました。2018年には、Hinton、Sabour、FrosstがICLRで「Matrix Capsules with EM Routing」を発表し、元のルーティングスキームを行列値カプセルに対する期待値最大化手順に置き換えることで、このアイデアを拡張しました。
使うべき場面
視点や姿勢の変化に対する堅牢性が重要な、画像またはその他の構造化された連続特徴データでの分類および予測に適しており、比較的大きなサンプル(約500観測以上)が必要です。GPUが推奨され、動的なルーティングアルゴリズムは調整が必要です。約500観測未満では、ルーティングは信頼性をもって学習できず、モデルは過学習します。約200未満では、ランダムフォレストやSVMのような古典的な分類器の方が適しています。
限界と注意点
- 比較的大きなサンプル(約500以上)が必要です。データが少ない場合、動的なルーティングは過学習し、信頼性をもって学習できません。
- 反復的な動的ルーティングは計算負荷が高く、GPUが推奨されます。
- ルーティングアルゴリズムは、調整が必要なハイパーパラメータを導入し、トレーニングの複雑さを増します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 畳み込みプーリングが破棄する姿勢と空間階層情報をエンコードし、視点変化に対する堅牢性を向上させます。
- ルーティングによる合意を通じて、明示的な部分から全体への関係をモデル化します。
- ベクトルカプセルは、エンティティのプロパティ(向き、位置)を単一の活性化に収束させるのではなく、保持します。
応用
- 視点、回転、または姿勢の変化に対して堅牢でなければならない画像分類。
- 部分から全体への空間関係のモデリングが一般化を改善する認識タスク。
- 十分なトレーニングデータを持つ構造化された連続特徴入力での分類と予測。
使い方
使い方
スカラーニューロンの代わりに、ネットワークはユニットをカプセルにグループ化します。これは、その長さが特定のエンティティが存在する確率を表し、その向きが姿勢などのインスタンス化パラメータをエンコードする短いベクトルです。低レベルのカプセルは部品を検出し、高レベルのカプセルはそれらの部品が構成する全体を表します。
動的な合意によるルーティングアルゴリズムが、低レベルのカプセルを高レベルのカプセルに接続します。各低レベルカプセルは、変換行列を介してすべての高レベルカプセルの出力について予測を行い、次に結合係数が反復的に洗練され、合意する予測が互いに強化されます。このルーティングは調整が必要であり、畳み込みネットワークのプーリングステップを明示的な部分から全体への合意に置き換えます。
数式
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}非線形な「squashing」関数は、短いベクトルをゼロに収縮させ、長いベクトルを単位長に収縮させるため、出力カプセルの大きさは有効な確率のままで、その方向はエンティティのプロパティを保持します。最終層のカプセル長は、分類に使用されるクラス予測を提供します。
数式
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}よくある落とし穴
- 少なすぎる観測値(約500未満)でのトレーニング。この場合、ルーティングは信頼性のある結合に収束できません。
- 動的ルーティングの反復回数と結合を、タスクに合わせて調整せずにデフォルトのままにしておくこと。
- GPUアクセラレーションなしでトレーニングを試み、許容できないほど遅い、または不完全なトレーニングを受け入れること。
- CapsNetが設計されていない画像以外の非構造化入力に、古典的なモデルの代わりに適用すること。
よくある質問
通常のニューロンとカプセルの違いは何ですか?
通常のニューロンは単一のスカラー活性化を出力します。カプセルは、その長さがエンティティの存在確率を表し、その向きがそのエンティティの姿勢や向きなどのプロパティをエンコードするベクトルを出力するため、はるかに豊かな空間情報を運びます。
動的ルーティングとは何ですか?
動的な合意によるルーティングは、低レベルのカプセルを高レベルのカプセルに接続するアルゴリズムです。各低レベルカプセルは高レベルカプセルの出力を予測し、結合係数は反復的に洗練され、合意する予測が互いに強化され、畳み込みネットワークのプーリングステップを置き換えます。
どのくらいのデータと計算量が必要ですか?
CapsNetは、比較的大きなデータセット(約500観測以上)を必要とし、反復ルーティングは計算負荷が高いためGPUが推奨されます。約200観測未満では、ランダムフォレストやSVMのような古典的な分類器の方が適切です。
CNNの代わりにカプセルネットワークを使用する理由は何ですか?
CapsNetは、CNNの視点変化に対する脆弱性に対処するために特別に提案されました。姿勢と部分から全体への関係をプーリングして失うのではなく保持することで、オブジェクトが新しい向きで現れた場合に、より良く一般化できます。
関連する手法
参考文献
Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).
出版物の文献を開くコピーしました。Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).
出版物の文献を開くコピーしました。