UMAP
- 提唱者
- McInnes, L.; Healy, J.; Melville, J.
- 年
- 2018
- 種類
- Nonlinear manifold-learning dimension reduction
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
UMAP(Uniform Manifold Approximation and Projection)は、2018年にMcInnes、Healy、Melvilleによって導入された、多様体学習理論に基づいた高速かつスケーラブルな非線形次元削減手法です。高次元データを可視化や下流解析のために低次元埋め込みに圧縮します。
手法の背後にある直感
多くの特徴量を持つ実データは、高次元空間に埋め込まれた、より低次元の湾曲した表面、すなわち多様体上に存在することがよくあります。UMAPは、点の近傍でのクラスタリングの仕方からその表面の形状を学習し、それを2次元または3次元に展開して構造を可視化しようとします。t-SNEと比較して、大規模データセットではるかに高速でありながら、より多くのグローバルレイアウトを保持する傾向があります。
歴史学
UMAPは2018年にLeland McInnes、John Healy、James Melvilleによって導入され、多様体学習理論に基づいてt-SNEよりも高速でスケーラブルな代替手法として開発されました。特に高次元データを扱う分野では、グローバル構造をより多く保持しつつ大規模データセットにも対応できるため、次元削減と可視化の標準的なツールとして急速に普及しました。
使うべき場面
連続的で高次元のデータ(観測数が約50以上)を、探索的分析または分類前の前処理ステップとして、UMAPを使用して可視化または圧縮します。n_neighborsとmin_distのハイパーパラメータは、関心のある構造に合わせて調整し、再現性のためにrandom_stateを固定する必要があります。観測数が約50未満の場合、多様体を確実に学習できず、線形PCAがより安全な選択肢となります。
限界と注意点
- 埋め込み内のクラスタ間の距離は誤解を招く可能性があり、過度に解釈すべきではありません。
- 結果はn_neighborsとmin_distのハイパーパラメータに依存するため、調整が必要です。
- random_stateを固定しない限り、出力は決定的ではありません。
- 小規模サンプル(nが約50未満)では、多様体を確実に学習できず、可視化結果が誤解を招きます。PCAがより望ましいです。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 大規模データセットに対しても高速かつスケーラブルで、t-SNEよりもはるかに高速です。
- t-SNEよりもグローバル構造をより良く保持しつつ、ローカルクラスタも捉えます。
- PCAのような線形手法では捉えられない非線形構造を捉えます。
- 可視化に適した2次元または3次元の埋め込みを生成します。
応用
- 高次元の連続データを2次元または3次元で可視化すること。
- 正式なモデリングの前にクラスタや構造を明らかにするための探索的分析。
- 分類の前処理ステップとしての次元削減。
- 速度が重要な大規模、高特徴量データセットの圧縮。
使い方
使い方
UMAPはまず、高次元データの重み付き近傍グラフを構築します。各点は、n_neighborsハイパーパラメータによって制御される最近傍に接続され、ローカル構造とグローバル構造のどちらをどの程度捉えるかを決定します。このグラフが、UMAPによる基盤となる多様体の近似です。
次に、低次元レイアウトが最適化され、その近傍グラフが高次元のグラフにできるだけ近くなるように、2つのグラフ表現間のクロスエントロピーが最小化されます。min_distハイパーパラメータは、点の集合密度を制御し、結果として得られるクラスタの密度を形成します。
数式
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})結果として得られる2次元または3次元の埋め込みでは、類似した観測値が互いに近くに配置され、プロットやクラスタリング、分類に利用できるようになります。クラスタの形状は保持されますが、クラスタ間の距離は注意して解釈する必要があり、再現可能な出力のためには固定されたrandom_stateが必要です。
よくある落とし穴
- クラスタ間の距離を意味のある量であるかのように読み取ること。
- n_neighborsとmin_distをデフォルトのままにし、データに合わせて調整しないこと。
- random_stateを設定し忘れることで、埋め込みが再現不可能になること。
- 約50未満の観測数でUMAPを実行し、結果のプロットを信頼すること。
よくある質問
UMAPはt-SNEとどう違うのですか?
どちらも高次元データを可視化するための非線形手法ですが、UMAPは多様体学習理論に基づいており、グローバル構造をより良く保持する傾向があり、大規模データセットではるかに高速です。
プロット内のクラスタ間の距離を解釈できますか?
注意が必要です。UMAPはクラスタの形状を保持しますが、クラスタ間の距離は誤解を招く可能性があり、正確な量として解釈すべきではありません。
どのハイパーパラメータが最も重要ですか?
n_neighborsはローカル構造とグローバル構造のバランスを制御し、min_distは点の集合密度を制御します。どちらも調整が必要であり、埋め込みが再現可能になるようにrandom_stateを固定する必要があります。
観測数が非常に少ない場合はどうなりますか?
観測数が約50未満の場合、多様体を確実に学習できず、埋め込みは誤解を招きます。その場合、PCAのような線形手法がより安全な選択肢となります。
関連する手法
参考文献
McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.
出版物の文献を開くコピーしました。