Skip to content
検索結果に戻る

アクティブラーニングと連合学習

提唱者
Multiple authors (federated active learning emerged ~2020)
年
2020s
種類
Hybrid paradigm (active querying within distributed training)
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

連合アクティブラーニングは、アクティブラーニングの注釈効率と、連合学習のプライバシー保護型分散を組み合わせたものです。分散されたクライアント間で共有のグローバルモデルがトレーニングされ、各クライアントはローカルのラベルなしデータを独立にランク付けし、最も情報量の多い例に対してのみラベルを要求します。これにより、生のデータはデバイス上に保持されます。

手法の背後にある直感

標準的な連合学習では、各クライアントは既に持つラベル付きデータでトレーニングを行いますが、アクティブラーニングでは中央のオラクルが次にどの例にラベルを付けるかを選択します。連合アクティブラーニングは両方のアイデアを統合します。各クライアントは、自身のラベルなしプールをローカルでスコアリングし、モデルが最も不確実なサンプルを選択し、それらのみをラベル付け担当者に送信します。生のデータはクライアントから離れることはありません。その後、グローバルサーバーは標準的な連合学習と同様に、ローカルで更新されたモデルを集約するため、基になるデータを中央で収集することなく、グローバルモデルは最も情報量の多い新しいラベルから改善されます。

歴史学

連合学習は、McMahanらによって2017年にFedAvgアルゴリズムとともに形式化され、プライバシーを保護する分散型モデルトレーニングを可能にしました。アクティブラーニングは、1990年代のクエリバイコミッティおよび不確実性サンプリングの文献にルーツがあります。それらの組み合わせである連合アクティブラーニングは、データを中央化できないヘルスケア、モバイル、IoTアプリケーションでのラベル付けコストを削減する必要性から、2020年代初頭に活発な研究トピックとして浮上しました。複数のグループが、ローカルな不確実性推定と連合集約を組み合わせたフレームワークを独立に提案しており、この分野は依然として開かれた研究フロンティアです。

使うべき場面

ラベル付きデータが分散クライアント間で不足している場合、注釈付けが高価であるか、ドメインの専門知識を必要とする場合、およびプライバシー、規制、または帯域幅の理由で生のデータをデバイス上に保持する必要がある場合(例:病院間の医療記録、モバイルデバイス上のユーザーデータ、IoTセンサー ストリーム)に連合アクティブラーニングを使用します。クライアントデータの分布が異質(非IID)で、注釈予算が小さい場合に特に強力です。すべてのデータを自由に中央化できる場合(通常のアクティブラーニングで十分)、クライアントが自身のプールをスコアリングする計算能力を欠いている場合、ラベルノイズが高い場合(不確実性サンプリングはノイズの多いラベルを利用する可能性がある)、または注釈付けラウンド間の遅延が制約となる場合は使用しないでください。

限界と注意点

  • ラウンドあたりの通信オーバーヘッドは、クエリ選択を報告するクライアントの数によって乗算されます。
  • 非IIDクライアント分布は、アクティブラーニング選択をグローバル損失のローカル最小値に偏らせる可能性があります。
  • 分散クライアント間の注釈ラウンドの同期は、遅延と調整の複雑さを導入します。
  • 中央集権化されたラベル付きテストセットがないと、モデルパフォーマンスの評価が困難になります。
  • クライアント全体での注釈予算の割り当ては、小さいクライアントや少数派クライアントを飢えさせないように、慎重な調整が必要です。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 生のサンプルをデバイス上に保持し、モデルの更新のみを共有することで、データのプライバシーを保護します。
  • ラウンドごとに最も情報量の多いサンプルのみをクエリすることで、ラベル付けコストを劇的に削減します。
  • 中央集権型アクティブラーナーを誤解させるような、異質なクライアント分布を処理します。
  • 水平スケーリングが可能 — クライアントが増えるほど、ラベルなし空間のカバレッジが向上します。
  • より強力なプライバシー保証のために、差分プライバシーおよびセキュア集約と互換性があります。

応用

  • 患者データを共有できない病院間の医療画像注釈。
  • 最小限のユーザー注釈で、モバイルキーボードまたは音声認識のオンデバイスパーソナライゼーション。
  • センサーデータをエッジノードに保持する必要がある産業用IoT異常検出。
  • 連合型でプライバシー保護されたモデル更新を必要とする分散臨床試験モニタリング。
  • 専有コーパスを持つ組織間のクロスサイロNLPファインチューニング。
  • 衛星画像が地理的に分散したデータセンターに保存されているリモートセンシング分類。

使い方

使い方

1

グローバルモデルが初期化され、参加するすべてのクライアントにブロードキャストされます。これはランダムに初期化されたモデルまたは事前トレーニング済みのチェックポイントであり、ラウンドの共有開始点を定義します。

2

各クライアントは、現在のグローバルモデルを自身のラベルなしローカルプールに適用し、データ送信なしで各サンプルの情報量スコア(例:予測エントロピー、マージンサンプリング、またはクエリバイコミッティの不一致)を計算します。

3

情報量スコアに基づいて、各クライアントは注釈を付ける最も不確実または最も代表的なラベルなし例の予算を選択します。選択戦略は、探索とラウンドごとに利用可能な注釈予算のバランスを取ります。

4

選択された例(またはラベル付けに必要な識別子と特徴のみ)が、人間のオラクルまたは自動ラベル付け担当者に送信されます。ラベルはクライアントに返されます。これは、データがデバイスを離れる可能性のある唯一のステップであり、プライバシーに敏感な展開では、オラクルのみがそれらを受信します。

5

各クライアントは、新しくラベル付けされた例、およびオプションで既存のラベル付きセットで、グローバルモデルをファインチューニングします。これは、標準的なローカルSGDまたはAdam最適化を使用して、固定数のローカルエポックで行われます。

6

クライアントは、モデルの更新(勾配または重みデルタ、データではない)をサーバーにアップロードします。サーバーは、通常FedAvg(重み付き平均)を介してこれらの更新を集約し、更新されたグローバルモデルを形成します。このモデルは、次のラウンドを開始するためにブロードキャストされます。

よくある落とし穴

  • クライアント間の分布シフトを考慮せずに中央集権型アクティブラーニング取得関数を直接適用すること — ローカルな不確実性推定値がグローバルモデルの不確実性を反映しない可能性があります。
  • クエリ予算の設計時に通信コストを無視すること:ラウンドごとにクライアントあたり過剰な数のサンプルにラベルを要求すると、注釈パイプラインが過負荷になる可能性があります。
  • クエリを行う前に、グローバルモデルが少なすぎる連合ラウンドで収束したと見なすこと。これにより、不確実性スコアのキャリブレーションが悪化します。
  • 遅いまたは断続的に利用可能なクライアント(ストラッグラー)を無視すること。これにより、集約が高速なクライアントの分布に偏る可能性があります。
  • FedAvg集約を適用する際にIIDクライアントデータを仮定すること。クライアント分布が高度に異質である場合に発散を引き起こします。

よくある質問

連合アクティブラーニングは、標準的な連合学習とどのように異なりますか?

標準的な連合学習は、クライアントが既に持つラベル付きデータでのみトレーニングを行います。連合アクティブラーニングは、アクティブクエリステップを追加します。各クライアントはラベルなしプールをスコアリングし、最も情報量の多い例を選択して注釈を付けます。これにより、グローバルモデルははるかに少ない総ラベルで改善できます。

ローカルスコアリングにはどの取得関数を使用すべきですか?

エントロピーサンプリング(予測エントロピーが最も高い例を選択)は最も一般的な出発点であり、ローカルモデルが適切にキャリブレーションされている場合にうまく機能します。マージンサンプリングとBALD(ベイジアンアクティブラーニングバイディサグリーメント)は、連合全体での不確実性キャリブレーションが懸念される場合の良好な代替手段です。

連合アクティブラーニングは差分プライバシーと組み合わせることができますか?

はい。DP-SGDなどの差分プライバシーメカニズムは、ローカルトレーニング中に適用でき、セキュア集約はサーバー側で使用できます。プライバシー予算は、モデルの更新と、どのサンプルがクエリ用に選択されたかに関するメタデータの両方を考慮する必要があります。

クライアントが非常に異なる量のラベルなしデータを持っている場合、何が起こりますか?

ラベルなしプールが大きいクライアントは、各クライアントが均等な絶対クォータを受け取る場合、クエリ予算を支配します。比例または適応的な予算割り当て(各クライアントの注釈予算をそのプールサイズまたは推定情報量でスケーリングする)は、この不均衡を緩和します。

アクティブクエリが役立つ前に、通常、アクティブクエリにはいくつの連合ラウンドが必要ですか?

初期モデルの品質によります。利用可能なラベル付きデータを使用した標準的な連合トレーニングの少なくとも数ラウンドから開始すると、アクティブクエリをオンにする前に不確実性推定値のキャリブレーションが改善されます。ランダムな初期モデルでのコールドスタートクエリは、情報量の少ないサンプルに注釈予算を浪費する可能性があります。

関連する手法

参考文献

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    出版物の文献を開く
    コピーしました。
  2. Federated learning. Wikipedia.

    出版物の文献を開く
    コピーしました。