Skip to content
検索結果に戻る

距離学習

提唱者
Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
年
2003 (foundational); refined 2009 (LMNN)
種類
Representation learning / supervised distance optimization
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

距離学習は、意味的に類似した例が学習空間内で近接し、類似性の低い例が離れるように、データから距離または類似性関数を訓練する機械学習フレームワークである。ユークリッド距離のような固定距離とは異なり、学習された距離尺度はタスクの構造に適応するため、下流の分類器、クラスタリング器、および検索システムは著しく精度が高くなる。

手法の背後にある直感

ユークリッド距離のような標準的な距離尺度は、すべての特徴次元を等しく扱う。しかし、多くの問題では、一部の特徴が他の特徴よりもはるかに情報量が多く、関連する次元はクラスによって異なる。距離学習は、物差しを訓練するようなものである。どの例のペアが近く、どのペアが遠くあるべきかについての情報が与えられると、特徴空間の幾何学的構造を調整し、単純な最近傍分類器またはクラスタリングアルゴリズムが即座にグルーピングを正しく行うようにする。学習された空間は、特定のタスクにとって「類似性」が何を意味するかを効果的に捉える。

歴史学

現代的なフレームワークは、Xingら(2003)によって確立され、距離学習をペアワイズ制約付きの凸最適化問題として定式化した。WeinbergerとSaul(2009)は、k-NNベースのタスクにおいて新たな標準を設定したLarge Margin Nearest Neighbor(LMNN)を導入した。ディープ距離学習により、この分野は加速した。Chopraら(2005)は、対照損失を用いた Siamese Network を普及させ、Schroffら(2015)は、大規模顔認証のためにFaceNetトリプレット損失を導入した。今日、距離学習は、少数ショット学習と視覚表現研究の多くを支えている。

使うべき場面

下流タスクが本質的に類似性ベースである場合(例:少数ショット分類、顔認証、医療画像検索、話者識別、または製品レコメンデーション)、および固定されたユークリッド距離が特徴の関連性が不均一であるために性能が低い場合に、距離学習を使用する。これは、中程度から大規模なラベル付きデータセットや、画像やテキスト埋め込みのような高次元入力に優れている。各クラスのラベル付き例が非常に少ない場合(クラスあたり約5〜10未満)、最終目標がロジスティック回帰または勾配ブースティングで十分に処理できる単純な表形式の回帰または分類である場合、または明示的な特徴係数による解釈可能性が必要な場合は、避ける。

限界と注意点

  • トリプレットおよび対照的損失は、慎重なペア/トリプレットマイニングを必要とする。ランダムサンプリングは、ほとんどが容易で情報量の少ないペアを生成し、トレーニングを大幅に遅らせる。
  • 線形マハラノビス法は、特徴次元数に対して二次的にスケールするため、次元削減なしでは非常に高次元では実行不可能になる。
  • ラベル付きデータまたはペアワイズ制約付きデータが必要。追加の仮定なしでは、完全に教師なしの設定では学習できることが制限される。
  • 評価は間接的である。距離尺度の品質は、単一の損失値ではなく、下流タスクを通じて評価されなければならない。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 特徴空間の幾何学的構造を特定のタスクに適応させ、最近傍およびクラスタリングの精度を大幅に向上させる。
  • 少数ショット認識を可能にする。良好な距離尺度が学習されると、新しいクラスの分類には数個の例しか必要ない。
  • ドメイン間で良好に転移する。あるデータセットで学習された距離尺度は、より少ない追加データで関連タスクにファインチューニングできる。
  • モデルに依存しない。学習された埋め込みは、それらのコンポーネントを再訓練することなく、任意のアルゴリズム(k-NN、SVM、k-means)に供給できる。
  • 対照的およびトリプレットの定式化は、ミニバッチサンプリングを通じて非常に大規模なデータセットにスケールする。

応用

  • 顔認証および認識:2つの顔画像が同じ人物を示しているかどうかを学習する。
  • 少数ショット画像分類:1つまたは少数の例から新しい視覚カテゴリを分類する。
  • 医療画像検索:大規模データベースで類似のスキャン領域または組織病理学パッチを検索する。
  • 生体認証システムにおける話者および音声認証。
  • eコマースにおける製品レコメンデーションおよびビジュアル検索。

使い方

使い方

1

ラベル付きデータまたはペアワイズ注釈付きデータから、正のペア(同じクラスまたは明示的に類似)と負のペア(異なるクラスまたは明示的に類似しない)が定義される。これらの制約は、タスクにとって「近い」と「遠い」が何を意味するかをエンコードし、距離尺度の訓練のための教師信号を形成する。

2

パラメータ化された距離関数が選択される。最も一般的なのは、正定値対称行列 M によって制御されるマハラノビス距離、またはユークリッド距離またはコサイン距離で終わるニューラルネットワーク埋め込み関数である。行列 M は、軸に沿ったスケーリングを、特徴間の完全な再重み付けに一般化する。

数式
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0
3

正のペアを近づけ、負のペアを離すための目的関数が定式化される。これは、マージンまたはソフト制約を尊重しながら行われる。一般的な目的関数には、対照損失、トリプレット損失(アンカーとネガティブな例の距離がマージンによってアンカーとポジティブな例の距離よりも大きい)、または大域的マージン最近傍(LMNN)ヒンジ損失が含まれる。

4

距離尺度のパラメータ(M またはニューラルネットワークの重み)は、勾配降下法または半正定値計画法によって最適化される。トリプレットベースの目的関数にとって、ハードネガティブマイニングのようなミニバッチサンプリング戦略は重要である。ランダムサンプリングは、収束を遅くする情報量の少ないトリプレットを生成する傾向がある。

5

推論時には、学習された距離尺度または埋め込みが新しいデータに適用される。最近傍分類、k-meansクラスタリング、画像検索、またはレコメンデーションなどの下流タスクは、距離が意味的類似性を忠実に反映する学習空間で動作する。

よくある落とし穴

  • ハードまたはセミハードネガティブマイニングの代わりにランダムトリプレットサンプリングを使用すること。これは、ほぼゼロの勾配と停滞したトレーニングにつながる。
  • トレーニングクラスのみで距離尺度の評価を行うこと。未知のクラス(実際の汎化ターゲット)での性能は、はるかに低い可能性がある。
  • コサイン類似性を計算する前に埋め込みを正規化しないこと。これにより、スケールのアーティファクトが発生する。
  • 学習された埋め込みを、線形プロービングやSHAPのような追加分析なしに、元の特徴の観点から解釈可能とみなすこと。
  • 学習された距離尺度を、再検証またはファインチューニングなしに、ドメインシフト(異なるデータ分布)に適用すること。

よくある質問

距離学習と対照学習の違いは何ですか?

対照学習は、正と負のペアを対比する距離学習目的関数(例:対照損失、SimCLR)の特定のファミリである。距離学習は、マハラノビス法、トリプレット損失、およびプロキシベースの目的関数も含む、より広範なフレームワークである。

各クラスにいくつの例が必要ですか?

線形マハラノビス法は、クラスあたり10〜20個の例という少数でも機能する。ディープ距離学習は、一般的に有用な埋め込みを学習するためにクラスあたり数十から数百の例を必要とするが、事前訓練されたバックボーンはこの要件を大幅に削減できる。

距離学習は次元削減と同じですか?

正確には同じではない。PCAやUMAPのような手法は、直接的な教師なしで次元を削減する。距離学習は、クラスまたはペアワイズの教師なし情報を使用して幾何学的構造を形成するため、結果として得られる空間はタスク識別的であり、単にコンパクトなだけではない。

距離学習は不均衡クラスを扱えますか?

はい、ただし、優勢クラスがバッチを圧倒しないように、ペア/トリプレットサンプリングを層化する必要がある。プロキシベースの損失(Proxy-NCA、Proxy-Anchor)は、トリプレットサンプリングよりもクラス不均衡に対してより堅牢である。

標準的な分類器の代わりに距離学習を使用すべきなのはいつですか?

トレーニング時に未知のクラスに汎化する必要がある場合(オープンセット認識、少数ショット学習)、またはタスクが固定クラス予測ではなく検索である場合に、距離学習を優先する。

関連する手法

参考文献

  1. Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.

    出版物の文献を開く
    コピーしました。
  2. Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.

    出版物の文献を開く
    コピーしました。