Skip to content
検索結果に戻る

知識蒸留

提唱者
Hinton, G., Vinyals, O. & Dean, J.
年
2015
種類
Neural network compression (teacher–student)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

知識蒸留(Knowledge Distillation)は、2015年にGeoffrey Hintonらが提唱したモデル圧縮技術であり、大規模な教師モデルのソフトラベル出力を用いて、小さな生徒モデルを訓練します。DistilBERTやTinyBERTのような蒸留モデルは、大規模モデルの性能の約97%を達成しながら、はるかに高速に動作します。

手法の背後にある直感

大規模で高精度なモデルは、しばしばデプロイするには遅すぎたり、重すぎたりします。ハードラベルのみで小さなモデルをゼロから訓練する代わりに、大規模モデルの豊富な確率出力から学習させます。教師モデルのクラスに対する完全な分布は、単一の正解よりもはるかに多くの情報を含んでおり、どのクラスが似ているか、教師がどれほど確信しているかを示します。生徒モデルはこの「暗黙の知識」を吸収し、はるかに小さく、しかしほぼ同等の能力を持つモデルになります。

歴史学

知識蒸留は、2015年のNeurIPS Deep Learning Workshopの論文でGeoffrey Hinton、Oriol Vinyals、Jeff Deanによって導入されました。この論文では、大規模モデルの軟化された出力に一致させることで、大規模モデルを小規模モデルに圧縮する枠組みを提示しました。これは、コンパクトな深層モデルをデプロイするための標準的なツールとなり、Sanhらの2019年のDistilBERTは、BERTの蒸留バージョンが、元のモデルの精度の大半を保持しながら、より小さく、高速で、安価で、軽量であることを示しました。

使うべき場面

強力だが重い訓練済み教師モデルがあり、テキストまたは連続特徴タスクのデプロイ用に、より小さく高速な生徒モデルが必要な場合で、少なくとも約100のタスク固有の観測値がある場合に使用します。教師モデルがすでに訓練され利用可能であり、タスク固有のデータセットが準備されていることを前提とします。約500未満の観測値では、生徒モデルは教師モデルから十分に蒸留できず、過学習のリスクが生じます。約100未満では、蒸留は無意味であり、古典的な機械学習の方が安全な選択肢です。

限界と注意点

  • すでに訓練され、利用可能な教師モデルが必要です。教師モデルなしでは蒸留を開始できません。
  • タスク固有のデータセットが必要です。データが少なすぎると、生徒モデルは教師モデルからほとんど学習しません。
  • 小さなデータセット(nが約500未満)では、生徒モデルは過学習し、教師モデルの知識を吸収できません。
  • 元のモデルに加えて、訓練パイプラインとチューニングの負担(温度、混合重み)が増加します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 教師モデルの性能の約97%を回復できる、はるかに小さく高速なモデルが得られます。
  • 教師モデルのソフトラベルはハードラベルよりも豊富な情報を含み、生徒モデルの汎化能力を向上させます。
  • 仮定が少ない:正規分布データは必要ありません。
  • 既存の訓練済み教師モデルを再利用するため、速度とサイズが重要なデプロイメントとサービス提供に適しています。

応用

  • DistilBERTやTinyBERTのようなデプロイ可能な生徒モデルに大規模言語モデルを圧縮すること。
  • 完全な教師モデルが遅すぎる場合のテキスト分類と予測の推論を高速化すること。
  • リソース制約のある、またはレイテンシに敏感なサービス提供環境向けにモデルを縮小すること。
  • ゼロから再訓練することなく、重いモデルの能力を軽量なモデルに転移させること。

使い方

使い方

1

大規模で十分に訓練された教師モデルは所与のものとされます。それはすでに訓練されており、利用可能でなければなりません。この教師モデルは、保持したい予測能力を持っていますが、大規模に実行するにはコストがかかりすぎます。

2

教師モデルはソフトラベル出力、つまり単一のハードラベルではなく、クラスに対する完全な確率分布を生成します。これらの軟化された予測は、教師モデルがクラス間に見出す類似性を露呈し、正解ラベルのみよりもはるかに豊かな訓練シグナルを提供します。

3

小さな生徒モデルは、真のラベルと教師モデルのソフト出力の両方に同時に一致するように訓練されます。蒸留損失は、ハードラベルに対する標準的な交差エントロピー項と、生徒モデルのロジットを教師モデルのロジットに引き寄せるKullback–Leiblerダイバージェンス項を、混合係数アルファで重み付けして組み合わせます。その結果、教師モデルの精度の大半を保持するコンパクトな生徒モデルが得られます。

数式
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)

よくある落とし穴

  • 適切に訓練された教師モデルがない状態で蒸留を試みること。
  • 古典的な機械学習の方が優れた結果を出すような、ごく小さなタスクデータセットで実行すること。
  • ハードラベルとソフトラベルの損失項間のアルファ混合重みを無視すること。
  • 生徒モデルが教師モデルに近づくのではなく、完全に一致することを期待すること。

よくある質問

なぜ正解だけでなくソフトラベルを使用するのですか?

教師モデルの完全な確率分布は、クラスが教師モデルにどのように似ているか、そして教師モデルがどれほど確信しているかを示します。この追加のシグナル(「暗黙の知識」と呼ばれることもあります)は、生徒モデルがハードラベルのみよりも優れた汎化能力を発揮するのに役立ちます。

生徒モデルはどれくらい小さくできますか?

DistilBERTやTinyBERTのような蒸留モデルは、教師モデルよりも大幅に小さく高速でありながら、教師モデルの性能の約97%を達成します。ただし、正確なトレードオフはタスクとアーキテクチャに依存します。

蒸留する前に何が必要ですか?

すでに訓練され利用可能な教師モデルと、タスク固有のデータセットが必要です。約500未満の観測値では、生徒モデルは教師モデルから十分に蒸留するのに苦労し、過学習する可能性があります。

損失におけるアルファとは何ですか?

アルファは、蒸留損失の2つの部分を混合します。1つは真のラベルに対する交差エントロピー項、もう1つは生徒モデルの出力を教師モデルの出力に合わせるKullback–Leiblerダイバージェンス項です。これを調整することで、真のデータからの学習と教師モデルからの学習のバランスを取ります。

関連する手法

参考文献

  1. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.

    出版物の文献を開く
    コピーしました。
  2. Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.

    出版物の文献を開く
    コピーしました。