Skip to content
検索結果に戻る

畳み込みニューラルネットワーク(分類)

提唱者
LeCun, Y. et al.
年
1998
種類
Deep neural network (convolutional)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

畳み込みニューラルネットワーク(CNN)は、1998年にLeCunらによって確立された深層学習モデルであり、画像や構造化データから直接局所的なパターンを学習して分類を行います。畳み込みフィルタのスタックがますます抽象的な特徴を発見するため、手動での特徴量エンジニアリングを大幅に削減できます。

手法の背後にある直感

CNNは、手作業で特徴量を設計する代わりに、小さな学習可能なフィルタを入力全体にスライドさせて、エッジ、テクスチャ、モチーフなどの局所的なパターンを、それらがどこに現れても検出します。初期の層は単純な手がかりを捉え、深い層はそれらをより高次の概念に結合します。同じフィルタが入力全体で再利用されるため、ネットワークは効率的に学習し、パターンが現れる場所ならどこでもそれを認識します。

歴史学

畳み込みニューラルネットワークは、Yann LeCunらによって1998年の文書認識への勾配ベース学習の応用に関する研究で現代的な形にまとめられました。そこではLeNetアーキテクチャが手書き数字を読み取りました。畳み込み、プーリング、エンドツーエンド勾配トレーニングの組み合わせは、画像分類のテンプレートとなり、より大きなデータセットとより高速なハードウェアとともに、コンピュータビジョンにおける深層学習革命を推進しました。

使うべき場面

大量のラベル付きデータセット(約1000以上の観測値)があり、手動で特徴量を設計するのではなくモデルに自動的に特徴量を学習させたい場合に、画像や構造化グリッド状データの分類または予測にCNNを使用します。正規分布データを必要とせず、連続値およびカテゴリカル入力に対応します。約500未満の観測値ではネットワークは過学習し、ランダムフォレストの方が安全です。約200未満では、畳み込みフィルタは意味のあるパターンを学習できず、SVMが好ましいです。

限界と注意点

  • 信頼性の高いトレーニングには、大規模なラベル付きデータセット(約1000以上の観測値)が必要です。
  • 小さなサンプル(nが約500未満)では、ネットワークは過学習し、分類性能が低下します。
  • 約200未満の観測値では、畳み込みフィルタは意味のあるパターンを全く学習できません。
  • トレーニングに計算コストがかかり、学習された表現の解釈が困難です。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 手動の特徴量エンジニアリングの必要性を大幅に減らし、局所的なパターンを自動的に学習します。
  • 重み共有により、パターンがどこに現れても認識され、パラメータ数を管理可能に保ちます。
  • 単純なエッジから抽象的な概念まで、画像に適した特徴の階層を構築します。
  • 仮定が少ない:正規性の要件がなく、連続値およびカテゴリカル入力を受け入れます。
  • 大規模なラベル付き画像およびグリッド構造分類タスクで最先端の精度。

応用

  • 画像分類および認識タスク。
  • 局所的なパターンが重要な構造化グリッド状データの分類。
  • 文書および手書き文字認識。
  • 手動の特徴量エンジニアリングが非現実的な特徴学習。

使い方

使い方

1

学習可能なフィルタ(カーネル)を入力全体に畳み込み、局所的な重み付き和を計算して特徴マップを生成します。各フィルタは、エッジ、テクスチャ、形状の断片など、特定局所パターンに応答します。同じ重みがすべての位置で共有されるため、ネットワークは入力のどこにでもそのパターンを検出し、パラメータ数を低く抑えます。

数式
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

プーリング層(例:マックスプーリング)は、各特徴マップをダウンサンプリングし、近傍領域を単一の値に要約します。これにより、空間的次元が縮小され、表現が小さなシフトや歪みに対してより堅牢になり、後続の層がより広い受容野にわたって段階的に抽象的な特徴を構築できるようになります。

3

高次の特徴マップは平坦化され、全結合層に渡され、最終的にソフトマックス関数でクラス確率を出力します。ネットワーク全体(フィルタと重み全体)は、勾配ベース学習によってエンドツーエンドでトレーニングされ、誤差逆伝播を通じて分類損失を最小化します。

数式
\hat{y} = \operatorname{softmax}(W h + b)

よくある落とし穴

  • データが少なすぎて過学習し、ランダムフォレストやSVMにフォールバックしない。
  • ホールドアウトされた検証またはテスト分割をスキップし、トレーニング精度を信頼する。
  • クラスの不均衡を再重み付けまたはリサンプリングする代わりに無視する。
  • 精度、再現率、F1スコア、または混同行列なしに、精度のみを報告する。
  • 入力を正規化し忘れる、または過学習に対する正則化を適用しない。

よくある質問

CNNはどれくらいのデータが必要か?

CNNはデータ飢餓状態にあります。おおよその下限は約1000のラベル付き観測値です。約500未満では過学習する傾向があり、約200未満ではフィルタは意味のあるパターンを学習できません。そのような場合、ランダムフォレストまたはSVMの方が安全な選択肢です。

なぜ通常のニューラルネットワークではなく畳み込みを使用するのか?

畳み込みは、入力のすべての位置で同じ小さなフィルタを共有するため、パターンは現れる場所ならどこでも検出され、パラメータ数は低く保たれます。全結合ネットワークは、はるかに多くの重数を必要とし、データの空間構造を利用しません。

プーリングは何をするのか?

プーリングは、局所的な近傍を要約することによって特徴マップをダウンサンプリングし、空間サイズを縮小し、小さなシフトに対する堅牢性を追加し、深い層がより広い受容野にわたってより抽象的な特徴を構築できるようにします。

CNNに依存する前に何をチェックすべきか?

十分な大きさのラベル付きデータセットがあることを確認し、入力を正規化し、適切なトレーニング/検証/テスト分割を設定し、クラスの不均衡に対処し、精度だけでなく、精度、再現率、F1スコア、および混同行列で評価してください。

関連する手法

参考文献

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    DOI 文献を開く
    コピーしました。