t-SNE
- 提唱者
- van der Maaten, L. & Hinton, G.
- 年
- 2008
- 種類
- Nonlinear dimensionality reduction (manifold visualization)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
t-SNE(t分布型確率的近傍埋め込み)は、Laurens van der MaatenとGeoffrey Hintonによって2008年に導入された非線形次元削減手法であり、高次元データを可視化のために2次元または3次元空間にマッピングする。局所的な確率的類似性を保持するため、元の空間で近傍にある点は近くに留まり、クラスタ構造と局所的な近傍関係を明らかにする。
手法の背後にある直感
データが数十または数百次元に存在する場合、直接見ることはできない。t-SNEは、点ペアごとに「一方の点が他方の点を近傍として選ぶ確率はどれくらいか?」というより単純な問いを投げかける。そして、それらの近傍確率ができるだけ忠実に再現されるように2次元または3次元の図を配置する。結果として、密接に関連する観測値が目に見える塊に集まるマップが得られ、生の多次元テーブルでは見えないグループを視覚的に捉えることができる。
歴史学
t-SNEは、Laurens van der MaatenとGeoffrey Hintonによって2008年にJournal of Machine Learning Researchに発表された。これは、低次元カーネルにガウス分布の代わりに裾の重いスチューデントt分布を使用することで集中問題を解決した、以前のStochastic Neighbor Embeddingを基盤としている。機械学習、ゲノミクス、神経科学全般で高次元データを可視化するための標準的なツールとして急速に普及した。最近ではUMAPがより高速な代替手段として登場し、しばしばより多くの大域構造を保持するが、t-SNEは探索的視覚化のための標準的な参照として依然として重要である。
使うべき場面
t-SNEは、高次元の連続データ(埋め込み、遺伝子発現プロファイル、画像特徴など)を可視化・探索するために使用する。特に、2次元または3次元で局所的なクラスタ構造を見たい場合、少なくとも約50個の観測値がある場合に有効である。これは探索的な視覚ツールであり、定量的な推論ではなく、グループ化や近傍パターンをマップから読み取るために使用する。特徴量を標準化し、パープレキシティ(経験則としてn/10程度、5〜50の範囲)を調整し、いくつかのパープレキシティ値での安定性を確認すること。大規模データセットでは遅いため、UMAPがより高速な代替手段となる。
限界と注意点
- 可視化のみ — マップ上の距離やクラスタサイズは定量的な意味を持たないため、それらから統計的推論を引き出すべきではない。
- 大規模データセットでは遅い;UMAPがより高速な代替手段である。
- 結果は確率的であり、パープレキシティに強く依存するため、実行ごとや設定ごとに異なる結果になる可能性がある。
- 小さなサンプル(約50未満)では、埋め込みは不安定で再現性がない。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 線形手法が見逃す局所的なクラスタ構造と近傍関係を明らかにするのに優れている。
- 非線形:PCAでは捉えられない曲線的な多様体構造を捉えることができる。
- 高次元のグループ化を一目で視覚化できる直感的な2D/3Dマップを生成する。
- 裾の重いスチューデントtカーネルは集中問題(crowding problem)を回避し、クラスタを良好に分離する。
応用
- 高次元埋め込みおよび学習済み特徴空間を2Dまたは3Dで可視化する。
- 単一細胞または遺伝子発現データにおけるクラスタ構造の探索。
- 深層モデルからの画像またはテキスト特徴表現の検査。
- 定量的なクラスタリングまたは分類前の探索的近傍分析。
使い方
使い方
元の高次元空間の各点ペアについて、t-SNEはその距離をガウスカーネルを用いて、一方の点が他方を近傍として選択する条件付き確率に変換する。このカーネルの幅は、選択されたパープレキシティ(通常5〜50)に対応する実効近傍数を設定するように各点ごとに調整され、局所構造と大域構造の間のバランスを制御する。
数式
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}各点には低次元マップ上の位置が与えられ、そこでのペアごとの類似性は、ガウス分布ではなく、裾の重い(heavy-tailed)スチューデントt分布を用いて測定される。裾の重い分布は、遠くの点が離れて広がるための空間を与え、以前の手法が苦しんでいた「集中問題(crowding problem)」を防ぎ、すべてが中心に押しつぶされるのを回避する。
数式
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}t-SNEは、高次元の近傍確率と低次元の近傍確率との間のカルバック・ライブラーダイバージェンスを最小化するために、勾配降下法を用いて低次元の点を移動させる。このコストが減少するにつれて、マップの近傍構造は元のデータの構造に一致し、最終的なクラスタ配置が生成される。
数式
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}よくある落とし穴
- クラスタサイズやクラスタ間の距離を意味のあるものとして読み取ること — それらは意味を持たない。
- 埋め込みを実行する前に特徴量の標準化をスキップすること。
- 単一のパープレキシティを選択し、他の値での安定性を確認しないこと。
- 視覚的探索のみを目的としたツールから定量的な結論を導き出すこと。
- 約50未満の観測値でt-SNEを実行すること。この場合、マップは確率的かつ誤解を招くものになる。
よくある質問
パープレキシティは何を制御しますか?
パープレキシティは、各点が考慮する実効的な近傍数を設定し、局所構造とより広範な構造への注意のバランスを取る。典型的な値は5〜50であり、経験則としてはn/10程度である。いくつかの値を試して、表示される構造が安定していることを確認するのが賢明である。
t-SNEプロットからクラスタサイズや距離を読み取ることができますか?
いいえ。t-SNEは局所的な近傍関係は保持しますが、大域的な幾何学的構造は保持しないため、クラスタのサイズやクラスタ間の間隔は定量的に意味を持たない。プロットはグループ化を見つけるために使用し、測定するために使用するべきではない。
t-SNEはPCAとどう違いますか?
PCAは最大分散の方向に沿った線形射影であり、大域構造を保持するのに対し、t-SNEは局所的な近傍関係を保持し、クラスタの発見に優れる非線形手法である。これらは補完的であり、PCAはしばしばt-SNEの前処理ステップとして使用される。
t-SNEとUMAPのどちらを使用すべきですか?
どちらも非線形可視化手法である。t-SNEは局所構造の長年の標準であるが、UMAPは大規模データセットではより高速であり、より多くの大域構造を保持する傾向があるため、データ量が多い場合はUMAPがより良い選択となる。
関連する手法
参考文献
van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.
出版物の文献を開くコピーしました。