t-SNE
- Автор метода
- van der Maaten, L. & Hinton, G.
- Год
- 2008
- Тип
- Nonlinear dimensionality reduction (manifold visualization)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
t-SNE (t-Distributed Stochastic Neighbor Embedding) — нелинейный метод снижения размерности, представленный Лоренсом ван дер Маатеном и Джеффри Хинтоном в 2008 году, который отображает высокоразмерные данные в 2D или 3D пространство для визуализации.
Он сохраняет вероятностные локальные сходства, поэтому точки, являющиеся соседями в исходном пространстве, остаются близко друг к другу, выявляя кластерную структуру и локальные окрестности.
Интуиция метода
Когда данные существуют в десятках или сотнях измерений, мы не можем увидеть их напрямую. t-SNE задает более простой вопрос для каждой пары точек: какова вероятность того, что одна точка будет выбрана как сосед другой? Затем он располагает 2D или 3D изображение так, чтобы эти вероятности соседства были воспроизведены как можно точнее. Результатом является карта, на которой тесно связанные наблюдения собираются в видимые скопления, позволяя глазу заметить группы, невидимые в исходной высокоразмерной таблице.
История
t-SNE был представлен Лоренсом ван дер Маатеном и Джеффри Хинтоном в 2008 году в Journal of Machine Learning Research, развивая более ранний метод Stochastic Neighbor Embedding путем замены его гауссова низкоразмерного ядра на распределение Стьюдента с тяжелыми хвостами для решения проблемы скученности. Он быстро стал стандартным инструментом для визуализации высокоразмерных данных в машинном обучении, геномике и нейронауках. Недавно появился UMAP как более быстрая альтернатива, которая часто сохраняет больше глобальной структуры, но t-SNE остается стандартным эталоном для исследовательских визуализаций.
Когда применять
Используйте t-SNE для визуализации и исследования высокоразмерных непрерывных данных — вложений, профилей экспрессии генов, признаков изображений — когда вы хотите увидеть локальную кластерную структуру в 2D или 3D, имея не менее 50 наблюдений. Это исследовательский, визуальный инструмент: читайте его карты для выявления групп и закономерностей соседства, а не для количественного вывода. Сначала стандартизируйте признаки, настройте перплексию (правило большого пальца — около n/10, в пределах 5–50) и проверьте стабильность при различных значениях перплексии. На очень больших наборах данных он работает медленно, поэтому UMAP является более быстрой альтернативой.
Ограничения и замечания
- Только визуализация — расстояния и размеры кластеров на карте не несут количественного смысла, поэтому статистические выводы из нее делать нельзя.
- Медленный на больших наборах данных; UMAP является более быстрой альтернативой.
- Результаты стохастичны и сильно зависят от перплексии, поэтому разные запуски или настройки могут выглядеть по-разному.
- На малых выборках (n ниже примерно 50) вложение нестабильно и невоспроизводимо.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Отлично выявляет локальную кластерную структуру и окрестности, которые упускают линейные методы.
- Нелинейный: улавливает изогнутую структуру многообразия, которую PCA не может.
- Создает интуитивно понятные 2D/3D карты, которые делают высокоразмерные группировки видимыми с первого взгляда.
- Распределение Стьюдента с тяжелыми хвостами избегает проблемы скученности, сохраняя кластеры хорошо разделенными.
Применение
- Визуализация высокоразмерных вложений и выученных пространств признаков в 2D или 3D.
- Исследование кластерной структуры в одноклеточных данных или данных экспрессии генов.
- Анализ представлений признаков изображений или текстов из глубоких моделей.
- Исследовательский анализ соседства перед количественной кластеризацией или классификацией.
Как это работает
Как это работает
Для каждой пары точек в исходном высокоразмерном пространстве t-SNE преобразует их расстояние в условную вероятность того, что одна точка выберет другую в качестве соседа, используя гауссово ядро. Ширина этого ядра устанавливается для каждой точки так, чтобы эффективное число соседей соответствовало выбранной перплексии (обычно 5–50), которая контролирует баланс между локальной и глобальной структурой.
Формула
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}Каждая точка получает позицию на низкоразмерной карте, а парные сходства там измеряются с помощью распределения Стьюдента с тяжелыми хвостами вместо гауссова. Тяжелые хвосты дают удаленным точкам пространство для расхождения, что предотвращает сжатие всего к центру — «проблема скученности», от которой страдали более ранние методы.
Формула
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}t-SNE перемещает низкоразмерные точки с помощью градиентного спуска для минимизации дивергенции Кульбака — Лейблера между вероятностями соседства в высокоразмерном и низкоразмерном пространствах. По мере уменьшения этой стоимости структура окрестностей карты начинает соответствовать структуре исходных данных, создавая окончательную кластерную компоновку.
Формула
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}Частые ошибки
- Интерпретация размеров кластеров или расстояний между кластерами как значимых — они не являются таковыми.
- Пропуск стандартизации признаков перед выполнением вложения.
- Выбор единственного значения перплексии и никогда не проверка стабильности при других значениях.
- Извлечение количественных выводов из инструмента, предназначенного только для визуального исследования.
- Запуск t-SNE на менее чем ~50 наблюдениях, где карта становится стохастической и вводящей в заблуждение.
Часто задаваемые вопросы
Что контролирует перплексия?
Перплексия устанавливает эффективное число соседей, которые учитывает каждая точка, балансируя внимание к локальной и более широкой структуре. Типичные значения — 5–50, с правилом большого пальца около n/10; разумно попробовать несколько значений и проверить, является ли видимая структура стабильной.
Могу ли я считывать размеры кластеров и расстояния с графика t-SNE?
Нет. t-SNE сохраняет локальные окрестности, но не глобальную геометрию, поэтому размер кластера и промежутки между кластерами не имеют количественного смысла. Используйте график для выявления группировок, а не для их измерения.
Чем t-SNE отличается от PCA?
PCA — это линейная проекция на направления максимальной дисперсии, сохраняющая глобальную структуру, в то время как t-SNE — нелинейный метод, сохраняющий локальные окрестности и превосходно выявляющий кластеры. Они дополняют друг друга; PCA часто используется как шаг предварительной обработки перед t-SNE.
Следует ли использовать t-SNE или UMAP?
Оба метода являются нелинейными методами визуализации. t-SNE — давний стандарт для локальной структуры, в то время как UMAP быстрее на больших наборах данных и, как правило, сохраняет больше глобальной структуры, поэтому он является лучшим выбором при большом объеме данных.
Похожие методы
Источники
van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.
Открыть ссылку на публикациюСкопировано.