ビジョントランスフォーマー
- 提唱者
- Dosovitskiy, A. et al.
- 年
- 2021
- 種類
- Transformer architecture for images (self-attention over patches)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Dosovitskiyらによって2021年に導入されたVision Transformer (ViT) は、画像を固定サイズのパッチに分割し、それらのパッチをシーケンスとして扱い、Transformerの自己注意機構を画像分類に適用する。十分な訓練データがあれば、畳み込みニューラルネットワーク (CNN) を凌駕する。
手法の背後にある直感
畳み込みネットワークは、画像上をスライドする小さな局所フィルタを通して画像を読み取る。ViTは異なる視点を採用する。画像を等しいサイズのパッチのグリッドに切り分け、それらを文中の単語のように並べ、Transformerにどのパッチがどのパッチに注意を払うべきかを決定させる。注意は任意のパッチを他の任意のパッチに直接関連付けることができるため、モデルは局所的な近傍だけでなく、画像全体にわたる大域的な関係を学習する。
歴史学
Vision Transformerは、Dosovitskiyらによって2021年に(An Image is Worth 16x16 Words)発表され、言語分野で既に優勢であったTransformerの自己注意アーキテクチャが、画像パッチに直接適用可能であり、スケールを上げて訓練した場合にCNNを凌駕できることを示した。Touvronらによるデータ効率の良い画像Transformerに関する後続の研究は、ViTのデータへの渇望に対処し、より小規模な訓練予算でもアプローチを実用的にした。
使うべき場面
大規模なデータセット(1000枚以上の画像、理想的にはそれ以上)があり、GPUにアクセスできる場合に、画像分類または連続(ピクセル)画像データに対する予測に使用する。大規模な事前訓練コーパスまたは事前訓練済みモデルからの転移学習と最も相性が良い。小規模な画像データセット(数百枚未満)では、ViTはパッチベースの注意を確実に学習できず、CNNまたはRandom ForestやSVMのような古典的な機械学習手法の方が安全な選択肢となる。
限界と注意点
- 大規模な訓練セット(約1000枚以上の画像)を必要とする。小規模データではCNNを下回る性能を示す。
- GPUが必要であり、スクラッチからの訓練はデータと計算資源を大量に消費する。
- 非常に小規模なデータセット(数百枚未満)では、パッチベースの注意は確実に学習に失敗する。
- スクラッチからの訓練ではなく、大規模な事前訓練コーパスまたは転移学習に通常、高い結果が依存する。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 自己注意による大域的関係のモデリングを通じて、大規模画像データセットでCNNを凌駕する。
- 画像をパッチのシーケンスとして扱い、実績のあるTransformerアーキテクチャをビジョンに応用する。
- 局所的な近傍だけでなく、画像全体にわたる長距離の依存関係を捉える。
- 大規模な事前訓練および転移学習から、事前訓練済みチェックポイントへの強い恩恵を受ける。
- 正規分布データを仮定しない。
応用
- 大規模画像データセットにおける画像分類。
- 大域的関係が重要な連続ピクセルデータに対する予測タスク。
- 新しいビジョンタスクへの大規模事前訓練済み画像モデルからの転移学習。
- 局所的な畳み込みフィルタよりも画像全体にわたる長距離依存関係のモデリングが有利な設定。
使い方
使い方
画像は固定サイズのパッチ(例えば16x16ピクセル)に分割される。各パッチは平坦化され、線形に埋め込みベクトルに射影され、得られた埋め込みがシーケンスを形成する――これは単語トークンのシーケンスのアナロジーである。
パッチシーケンスは、自己注意に基づいたTransformerレイヤーを通して供給される。各パッチは他のすべてのパッチに注意を払うことができるため、モデルは局所的な近傍だけでなく、画像全体にわたる長距離の依存関係を捉える。これが、ViTが大規模データセットでCNNを上回る中核的なメカニズムである。
数式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V分類ヘッドは、Transformerレイヤーによって生成された集約表現を読み取り、予測クラスを出力する。ここでは大規模な事前訓練が非常に重要であるため、大規模な画像コーパスで事前訓練されたモデルからの転移学習が、高い性能を得るための通常の経路となる。
よくある落とし穴
- 小規模データセットで事前訓練済みチェックポイントをファインチューニングする代わりに、ViTをスクラッチから訓練すること。
- ViTが必要とする大規模データセットなしでCNNレベルの精度を期待すること。
- GPUなしで訓練を試みること。
- 失敗の閾値を無視すること――数百枚未満の画像では、CNNまたは古典的手法を優先する。
- 事前訓練済み画像モデルが入手可能な場合に転移学習を見落とすこと。
よくある質問
ViTはCNNとどう違うのか?
CNNは局所的な畳み込みフィルタを通して画像を処理するのに対し、ViTは画像を固定サイズのパッチに分割し、それらをシーケンスとして扱い、自己注意を使用することで任意のパッチが他の任意のパッチに関連付けられるようにする。これにより、ViTは大域的な関係をモデリングでき、大規模データセットではCNNを凌駕する。
ViTはどのくらいのデータが必要か?
ViTはデータに飢えている。約1000枚以上の画像と大規模な事前訓練コーパスで最も効果を発揮する。数百枚未満の画像では、そのパッチベースの注意は確実に学習できず、CNNまたは古典的手法が好ましい。
GPUは必要か?
はい。ViTにはGPUが必要であり、その訓練はデータと計算集約的である。事前訓練済みチェックポイントを転移学習で使用すると、負担が大幅に軽減される。
画像データセットが小さい場合はどうすればよいか?
小規模データセットではViTの性能は劣る。およそ500枚未満の画像ではRandom Forestのような手法を検討し、数百枚未満ではCNNまたはSVMがより安全な選択肢となるか、事前訓練済みモデルからの転移学習に頼る。