Skip to content
検索結果に戻る

アクティブラーニングK近傍法 (Active Learning K-Nearest Neighbors)

提唱者
Settles, B. (active learning framework); Fix & Hodges (KNN base)
年
1951–2010
種類
Active learning with KNN base learner
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

アクティブラーニングK近傍法は、KNNのインスタンスベースの予測と、注釈付けのために最も情報量の多いラベルなし例を選択する反復クエリ戦略を組み合わせたものです。このモデルは、近傍の多数決の差が最も狭いインスタンスに対してのみラベルを要求し、完全に教師ありのKNNよりもはるかに少ないラベル付き例で、表形式データにおいて競争力のある精度を達成します。

手法の背後にある直感

KNNは、k個の最も近いラベル付き近傍を参照し、多数決を取ることで点を分類します。それらの近傍がクラス間でほぼ均等に分割されている場合、モデルは真に不確実であり、その不確実性がどのラベルなし例に注釈を付ける価値があるかを特定します。アクティブラーニングはこの信号を利用します。各反復で、アルゴリズムは最も均等に分割された近傍を持つラベルなし点を見つけ、オラクルにラベル付けを依頼し、それをラベル付きプールに追加し、繰り返します。その結果、注釈付けの労力は決定境界の近くに集中し、新しいラベルが最も多くを教えます。

歴史学

K近傍分類器は、Fix and Hodges (1951) に起源を持ち、Cover and Hart (1967) によって形式化されました。原則的なフレームワークとしての能動学習は、Burr Settles (2010) によって体系的に調査され、プールベースの不確実性サンプリング、クエリバイコミッティ、および密度重み付け戦略が文書化されました。KNNは、少なくともCohn, Atlas, and Ladner の基礎的な研究 (1994) 以来、プールベースのアクティブラーニングベンチマークでベース学習者として登場しており、その透明な不確実性信号と反復ごとの再トレーニングコストゼロのために高く評価されています。

使うべき場面

ラベル付きデータが希少または取得コストが高い場合、ラベルなしインスタンスが豊富にある場合、特徴空間の次元が中程度であり、決定境界が局所的に滑らかであることが期待される場合に、KNNによるアクティブラーニングを使用してください。特に、ラベリングを配給する必要がある初期段階の分類プロジェクトで実用的です。データセットが非常に高次元の場合(KNNの距離尺度は高次元では劣化し、次元の呪い)、ラベル付きプールがすでに大きい場合(パッシブKNNで十分)、低遅延予測が大規模に要求される場合(KNN予測はラベル付きセットでO(n))、またはラベル予算が非常に小さく近傍推定が信頼できない場合に避けてください。

限界と注意点

  • 予測コストはラベル付きセットのサイズに線形にスケールするため、プールが成長するにつれて推論が遅くなります。
  • 次元の呪いにより、高次元空間では距離ベースの不確実性が急激に低下します。
  • KNNの精度上限はアンサンブル法よりも低いです。アクティブ戦略は、ベース学習者の限られた容量を補うことはできません。
  • kと距離尺度の選択に敏感です。不適切なデフォルトは信頼できない不確実性推定につながります。
  • すべてのラベル付き点がメモリに格納されます。大きな予算は高いメモリ消費につながります。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ノンパラメトリックで仮定フリー:データの分布に関する仮定は不要です。
  • 不確実性推定は自然で解釈可能であり、最も近い近傍間の投票分割を直接反映します。
  • 遅延学習は、反復ごとの再トレーニングコストがないことを意味します。ラベル付き点の追加は即座にモデルを更新します。これは、反復ごとの計算コストが重要な場合に魅力的です。
  • 決定境界の近くにラベルを集中させるのに効果的であり、少ない注釈で良好な境界解像度が得られます。
  • 連続特徴と二値特徴の両方を持つ中程度の次元の表形式データでうまく機能します。

応用

  • 専門家のラベリング時間が限られており、決定境界が局所的に滑らかな場合の、医療記録または画像注釈。
  • 埋め込みベースの距離を使用した、少数のラベル付きコーパスと豊富なラベルなしドキュメントでのテキストまたはドキュメント分類。
  • イベントのごく一部しか手動で検証できないセンサーおよび産業障害検出タスク。
  • 種のラベルのフィールド確認が高価で局所的にクラスター化されている生態調査。
  • 十分なラベルが収集された後、より高容量のモデルに切り替える前の、初期段階のプロトタイプ分類器。

使い方

使い方

1

プロセスをシードするために少数の初期ラベル付きインスタンスと、より大きなラベルなしインスタンスのプールが組み立てられます。アクティブループが始まる前にKNNに意味のある初期近傍を与えるために、各クラスに少なくとも1つの例が含まれるように、層化ランダム選択が推奨されます。

2

選択されたkと距離尺度(一般的にユークリッドまたはコサイン)を使用して、現在のラベル付きセットでKNN分類器が適合されます。KNNは遅延学習であり、すべてのトレーニング点を格納するため、適合は瞬時に行われますが、予測コストはラベル付きセットのサイズに線形にスケールします。これは、プールが反復を通じて成長するにつれて関連する考慮事項です。

3

各ラベルなしインスタンスは、情報量基準によってスコアリングされます。マージンサンプリングは、上位2クラスの投票シェア間の差をk個の近傍全体で計算します。エントロピーサンプリングは、すべてのクラス比率にわたるH(y-hat | x)を計算します。最も小さいマージンまたは最も高いエントロピーを持つインスタンスがクエリされます: x* = argmax H(y-hat | x)。

数式
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)
4

クエリされたインスタンスは、オラクル(人間の注釈者または自動化されたラベリングメカニズム)に送信され、その真のラベルを取得します。ラベルはトレーニングセットに追加され、インスタンスはラベルなしプールから削除されます。ノイズの多いラベルは境界付近でKNNのパフォーマンスを急激に低下させるため、注釈者の信頼性は監視されるべきです。

5

KNNは遅延学習者であるため、明示的な再トレーニングは必要ありません。拡張されたラベル付きセットが新しいモデルを即座に構成します。ラベリング予算が枯渇するか、検証精度しきい値が満たされるか、最大反復回数に達するまで、クエリ-スコア-ラベルサイクルが繰り返されます。最終的なパフォーマンスは、独立した保持されたテストセットで報告されます。

よくある落とし穴

  • 距離計算の前に特徴を正規化しないと、高 magnitude の特徴が近傍を支配してしまう。
  • クエリ選択のガイドまたは評価にテストセットを使用すること。これはデータリークを構成します。
  • 決定境界の近くでkを小さすぎる値(k=1)に設定すると、真の曖昧さを反映しない、非常に変動しやすい不確実性スコアが生成される。
  • シードセットでのクラス不均衡を無視すると、初期クエリが多数派クラスの境界に偏る。
  • アクティブラーニングの精度を、報告されたラベル数なしの完全に教師ありのベースラインと同等に扱う。

よくある質問

より強力なモデルではなくKNNをアクティブラーニングのベースとして使用する理由

KNNの投票分割不確実性は計算が安価で、再トレーニングを必要としません。新しいラベル付き点を追加すると、モデルは即座に更新されます。これは、反復ごとの計算コストが重要な場合に魅力的です。固定ラベル予算での最大精度については、ランダムフォレストや勾配ブースティングなどのアンサンブルベース学習者が通常KNNよりも優れています。

アクティブラーニングのkをどのように選択しますか?

一般的な開始範囲はk = 5から15です。kの値が小さいほど不確実性推定はノイズが多くなります。kの値が大きいほど境界は滑らかになりますが、細かい曖昧さを見逃す可能性があります。初期ラベルシードセットでkをクロスバリデートし、ラベル付きプールが成長するにつれて調整してください。

特徴スケーリングは重要ですか?

はい、極めて重要です。特徴が正規化されていない場合、KNNの距離は高 magnitude の特徴に支配されます。距離と不確実性スコアを計算する前に、常に最小最大スケーリングまたはzスコア標準化を適用してください。

いくつの初期ラベル付き例が必要ですか?

最低でも、KNNがすべてのクラスの近傍を形成できるように、各クラスに1つまたは2つのラベル付きインスタンスが必要です。実際には、5〜20個のラベル付きインスタンスでより安定した初期不確実性推定が得られます。それより少ないと、情報量の少ない初期クエリを生成する退化した近傍のリスクがあります。

アクティブループはいつ停止すべきですか?

事前にラベリング予算を設定するか、検証精度を監視し、新しいラベルごとの改善が意味のあるしきい値を下回ったときに停止します。テストセットを停止信号として使用しないでください。これはクエリプロセスに情報が漏洩するためです。

関連する手法

参考文献

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.

    出版物の文献を開く
    コピーしました。
  2. Zhu, X., Lafferty, J., & Ghahramani, Z. (2003). Combining active learning and semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the ICML 2003 Workshop on the Continuum from Labeled to Unlabeled Data, 58–65.

    出版物の文献を開く
    コピーしました。