Skip to content
Назад к результатам поиска

UMAP

Автор метода
McInnes, L.; Healy, J.; Melville, J.
Год
2018
Тип
Nonlinear manifold-learning dimension reduction

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

UMAP (Uniform Manifold Approximation and Projection) — это быстрый, масштабируемый метод нелинейного снижения размерности, основанный на теории обучения многообразий, представленный МакИннесом, Хили и Мелвиллом в 2018 году.

Он сжимает высокоразмерные данные в низкоразмерное вложение для визуализации и последующего анализа.

Интуиция метода

Реальные данные со множеством признаков часто лежат на криволинейной поверхности гораздо меньшей размерности, или многообразии, встроенном в высокоразмерное пространство. UMAP пытается изучить форму этой поверхности на основе того, как точки группируются около своих соседей, затем разворачивает ее в два или три измерения, чтобы структура стала видимой. По сравнению с t-SNE, он имеет тенденцию сохранять больше глобальной структуры, оставаясь при этом намного быстрее на больших наборах данных.

История

UMAP был представлен в 2018 году Леландом МакИннесом, Джоном Хили и Джеймсом Мелвиллом, которые построили его на теории обучения многообразий как более быструю и масштабируемую альтернативу t-SNE. Он быстро стал стандартным инструментом для снижения размерности и визуализации, особенно в областях с очень высокоразмерными данными, поскольку он сохраняет больше глобальной структуры при масштабировании до больших наборов данных.

Когда применять

Используйте UMAP для визуализации или сжатия непрерывных, высокоразмерных данных с как минимум примерно 50 наблюдениями, будь то для исследования или в качестве предварительного шага перед классификацией. Гиперпараметры n_neighbors и min_dist следует настраивать в соответствии с интересующей вас структурой, а для воспроизводимости следует зафиксировать random_state. При количестве наблюдений менее 50 многообразие не может быть надежно изучено, и линейный метод PCA является более безопасным выбором.

Ограничения и замечания

  • Расстояния между кластерами на вложении могут быть вводящими в заблуждение и не должны интерпретироваться чрезмерно.
  • Результаты зависят от гиперпараметров n_neighbors и min_dist, которые необходимо настраивать.
  • Вывод не является детерминированным, если не зафиксировано значение random_state.
  • На малых выборках (n менее примерно 50) многообразие не может быть надежно изучено, и визуализация становится вводящей в заблуждение; предпочтительнее PCA.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Быстрый и масштабируемый для больших наборов данных, намного быстрее, чем t-SNE.
  • Лучше сохраняет глобальную структуру, чем t-SNE, при этом захватывая локальные кластеры.
  • Захватывает нелинейную структуру, которую линейные методы, такие как PCA, не могут.
  • Создает 2- или 3-мерные вложения, хорошо подходящие для визуализации.

Применение

  • Визуализация высокоразмерных непрерывных данных в двух или трех измерениях.
  • Исследовательский анализ для выявления кластеров и структуры перед формальным моделированием.
  • Снижение размерности в качестве предварительного шага перед классификацией.
  • Сжатие больших наборов данных с множеством признаков, где важна скорость.

Как это работает

Как это работает

1

UMAP сначала строит взвешенный граф соседства для высокоразмерных данных: каждая точка соединена со своими ближайшими соседями, что контролируется гиперпараметром n_neighbors, который определяет, насколько локальная и глобальная структура будет захвачена. Этот граф является аппроксимацией UMAP лежащего в основе многообразия.

2

Затем оптимизируется низкоразмерное расположение таким образом, чтобы его собственный граф соседства как можно точнее соответствовал высокоразмерному, минимизируя перекрестную энтропию между двумя представлениями графа. Гиперпараметр min_dist управляет тем, насколько плотно точки могут располагаться друг к другу, формируя плотность результирующих кластеров.

Формула
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})
3

Результатом является 2- или 3-мерное вложение, в котором похожие наблюдения находятся близко друг к другу, готовые для построения графика или для передачи в кластеризацию или классификацию. Формы кластеров сохраняются, но расстояния между кластерами следует интерпретировать с осторожностью, а для воспроизводимости вывода требуется фиксированное значение random_state.

Частые ошибки

  • Интерпретация расстояний между кластерами как значимых величин.
  • Оставление значений n_neighbors и min_dist по умолчанию вместо их настройки под данные.
  • Забывание установить random_state, что делает вложение невоспроизводимым.
  • Запуск UMAP на менее чем примерно 50 наблюдениях и доверие к полученному графику.

Часто задаваемые вопросы

Чем UMAP отличается от t-SNE?

Оба являются нелинейными методами для визуализации высокоразмерных данных, но UMAP основан на теории обучения многообразий, имеет тенденцию лучше сохранять глобальную структуру и намного быстрее работает на больших наборах данных.

Могу ли я интерпретировать расстояния между кластерами на графике?

Будьте осторожны. UMAP сохраняет формы кластеров, но расстояния между кластерами могут быть вводящими в заблуждение и не должны интерпретироваться как точные величины.

Какие гиперпараметры наиболее важны?

n_neighbors контролирует баланс между локальной и глобальной структурой, а min_dist контролирует плотность упаковки точек. Оба должны быть настроены, а random_state должен быть зафиксирован для воспроизводимости вложения.

Что делать, если у меня очень мало наблюдений?

При количестве наблюдений менее примерно 50 многообразие не может быть надежно изучено, и вложение становится вводящим в заблуждение. В этом случае линейный метод, такой как PCA, является более безопасным выбором.

Похожие методы

Источники

  1. McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.

    Открыть ссылку на публикацию
    Скопировано.