アクティブラーニング勾配ブースティング
- 提唱者
- Settles, B. (active learning); Friedman, J. H. (gradient boosting); combined framework developed by the research community
- 年
- 2000s–2010s
- 種類
- Active learning framework with gradient boosting base learner
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニング勾配ブースティングは、勾配ブーストツリーの強力な予測精度と、人間による注釈付けのために最も情報量の多いラベルなし例を選択するアクティブラーニングループを組み合わせたものです。モデルが最も不確実なインスタンスのみを問い合わせることで、受動的教師あり学習よりもはるかに少ないラベル付き例で高い精度を達成します。
手法の背後にある直感
データのラベリングは高価です。アクティブラーニングは、モデルが次に注釈を付ける価値のある例、通常はモデルが最も不確実な例を決定できるようにすることで、この問題に対処します。表形式データでの強力な精度で知られる勾配ブースティングは、このループの中核学習者として機能します。各ラベリングラウンドの後、ブーストされたモデルは増え続けるラベル付きセットで再トレーニングされ、最も不確実なラベルなしポイントを再び特定します。その結果、受動的トレーニングが必要とするラベル付きデータのほんの一部で構築された高性能モデルが得られます。
歴史学
アクティブラーニングという分野は、Burr Settlesによって2010年の影響力のあるサーベイで体系化されました。勾配ブースティングは、Jerome Friedmanによって2001年に形式化されました。勾配ブーストツリーライブラリ(XGBoost 2016、LightGBM 2017)が標準ツールになり、反復的な注釈パイプラインで強力なモデルを再トレーニングすることが実用的になった2010年代に、それらの組み合わせが勢いを増しました。この組み合わせは現在、NLP注釈、医療画像トリアージ、および産業品質管理で一般的です。
使うべき場面
ラベルなしの表形式データの大規模なプールがあるが、ラベリングが高価または時間がかかる場合、および勾配ブースティングがそうでなければモデルの選択肢となる場合に、アクティブラーニング勾配ブースティングを使用します。これは、受動的にサンプリングするのが難しいまれなクラスがある不均衡データセットに特に効果的です。ラベリングが安価な場合(すべてのラベルでの受動的学習がより単純)、ラベルなしプールがクエリする価値がないほど小さい場合、完全に透明なモデル(係数またはルール)が必要な場合、または各クエリ後のリアルタイム再トレーニングが実行不可能な場合は避けてください。
限界と注意点
- 各クエリラウンド後に勾配ブースティングを最初から再トレーニングすることは、大規模なデータセットでは計算コストが高くなります。
- クエリ戦略はサンプリングバイアスに苦しむ可能性があり、初期シードが代表的でない場合、代表的でないラベル付きセットに収束する可能性があります。
- 勾配ブースティング確率のキャリブレーションは、信頼性の高い不確実性推定値を確保するために、追加のステップ(例:プラットスケーリング)を必要とする場合があります。
- パフォーマンスはクエリ戦略の選択に敏感です。単一の戦略がすべてのタスクで支配的になるわけではありません。
- 人間のループ内注釈ワークフローのためのインフラストラクチャが必要であり、エンジニアリングのオーバーヘッドが増加します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 受動的教師あり学習よりも大幅に少ないラベル付き例で競争力のある精度を達成します。
- 表形式データでの勾配ブースティングの強力なパフォーマンスを継承し、非線形相互作用や混合特徴タイプを処理します。
- 柔軟性:任意のクエリ戦略(不確実性、マージン、エントロピー、クエリバイコミッティ)と互換性があります。
- 体系的に注釈コストを削減し、医学や法律などの専門家による注釈集約的なドメインで実用的になります。
- 反復的な展開をサポートします。より多くのラベルが集まるにつれてモデルは継続的に改善されます。
応用
- 専門家の注釈が希少で高価な医療画像またはテキスト分類。
- 不正ラベルの確認には手動レビューが必要な、大規模なトランザクションデータセットでの不正検出。
- クラウドソーシングされた注釈予算が限られているNLPパイプラインでの感情または意図ラベリング。
- 限られた検査能力での産業欠陥検出。
- ドメインエキスパートが高価な生物学、化学、または材料科学における科学データラベリング。
- 確認された結果のサンプルが限られている顧客チャーンまたは信用リスクモデリング。
使い方
使い方
トレーニングは、少数のラベル付き例のシードセットから始まります。利用可能なデータの残りは、プール内でラベルなしのままです。シードセットは、勾配ブースティングモデルが意味のある確率推定値を生成できる程度に大きくする必要があります。通常、クラスごとに少なくとも1つの例が必要です。
現在のラベル付きセットで勾配ブースティングモデル(例:XGBoost、LightGBM、またはscikit-learnのGradientBoostingClassifier)をトレーニングします。モデルは、残差を反復的に適合させることによって決定木の加法アンサンブルを学習し、次のクエリステップで使用されるキャリブレーションされたクラス確率を生成します。
不確実性または情報量基準は、モデルが最も自信のないラベルなしインスタンスを選択します。一般的な戦略には、最小信頼度サンプリング、マージンサンプリング、エントロピーサンプリングが含まれます。エントロピー基準は、ラベルなしプールU全体でH(p(y|x))を最大化するx*を選択します。
数式
x^* = \arg\max_{x \in U}\, H(p(y \mid x))選択されたインスタンスは、グラウンドトゥルースラベルを提供する人間の注釈者(オラクル)に提示されます。実際には、このステップで注釈コストが費やされるため、クエリ戦略の効率がラベリング予算を直接制御します。
新しくラベル付けされた例はトレーニングセットに追加され、勾配ブースティングモデルは最初から再トレーニングされるか、更新されます。ラベリング予算が使い果たされるか、検証セットでパフォーマンスのしきい値に達するまで、サイクルが繰り返されます。
よくある落とし穴
- 初期シードセットが小さすぎるか不均衡であり、モデルが特徴空間の1つの領域のみをクエリするようにしてしまう。
- 確率キャリブレーションの無視:生の勾配ブースティングスコアは常に適切にキャリブレーションされた確率ではなく、それらから導出される不確実性推定値は誤解を招く可能性があります。
- アクティブに選択されたラベル付きセットのみでモデルパフォーマンスを評価すること。これは、不確実または困難な例に偏っています。
- アクティブラーニングループが始まる前に、常に保持されたテストセットを確保してください。アクティブ選択後に、最終評価のためにラベルなしプール全体を使用すること。
- 同じ数のランダムにサンプリングされたラベルでトレーニングされた受動的ベースラインと比較することを怠ること。
よくある質問
勾配ブースティングで最も効果的なクエリ戦略はどれですか?
エントロピーサンプリングとマージンサンプリングは最も一般的な選択肢であり、実際によく機能します。勾配ブースティングモデルのアンサンブルを使用したクエリバイコミッティは、より堅牢ですが、トレーニングコストが増加します。最適な戦略はデータセットに依存します。パイロットサンプルで2〜3の戦略を比較する価値があります。
勾配ブースティング確率をキャリブレーションする必要がありますか?
はい、特にエントロピーまたは信頼度ベースのクエリ戦略を使用する場合。勾配ブースティングは過度に自信のある確率を生成する可能性があります。クエリする前に、より適切にキャリブレーションされた不確実性推定値を得るために、各トレーニングラウンド後にプラットスケーリングまたはアイソトニック回帰を適用します。
ラウンドごとにいくつの例をラベル付けすべきですか?
通常、バッチサイズは1から数十個です。バッチサイズが大きいほど計算効率は高くなりますが、単一点クエリよりもサンプル効率が低い可能性があります。初期ラベル付きセットの約1〜5%に比例したバッチサイズから始めて、注釈スループットに基づいて調整します。
アクティブラーニングループはいつ停止すべきですか?
数回の連続ラウンドで検証パフォーマンスが停滞した場合、ラベリング予算が使い果たされた場合、または残りのラベルなしプール全体に対するモデルの不確実性が、プールがほとんど情報量がないことを示すしきい値を下回った場合に停止します。
scikit-learnの勾配ブースティングの代わりにXGBoostまたはLightGBMを使用できますか?
はい。XGBoostとLightGBMはより高速で、多くの場合より正確です。これらは実際には好ましい実装です。クエリ戦略には、生の対数オッズスコアではなく、キャリブレーションを使用したpredict_proba(または同等機能)を使用するようにしてください。