UMAP
- Автор метода
- McInnes, L.; Healy, J.; Melville, J.
- Год
- 2018
- Тип
- Nonlinear manifold-learning dimension reduction
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
UMAP (Uniform Manifold Approximation and Projection) — это быстрый, масштабируемый метод нелинейного снижения размерности, основанный на теории обучения многообразий, представленный МакИннесом, Хили и Мелвиллом в 2018 году.
Он сжимает высокоразмерные данные в низкоразмерное вложение для визуализации и последующего анализа.
Интуиция метода
Реальные данные со множеством признаков часто лежат на криволинейной поверхности гораздо меньшей размерности, или многообразии, встроенном в высокоразмерное пространство. UMAP пытается изучить форму этой поверхности на основе того, как точки группируются около своих соседей, затем разворачивает ее в два или три измерения, чтобы структура стала видимой. По сравнению с t-SNE, он имеет тенденцию сохранять больше глобальной структуры, оставаясь при этом намного быстрее на больших наборах данных.
История
UMAP был представлен в 2018 году Леландом МакИннесом, Джоном Хили и Джеймсом Мелвиллом, которые построили его на теории обучения многообразий как более быструю и масштабируемую альтернативу t-SNE. Он быстро стал стандартным инструментом для снижения размерности и визуализации, особенно в областях с очень высокоразмерными данными, поскольку он сохраняет больше глобальной структуры при масштабировании до больших наборов данных.
Когда применять
Используйте UMAP для визуализации или сжатия непрерывных, высокоразмерных данных с как минимум примерно 50 наблюдениями, будь то для исследования или в качестве предварительного шага перед классификацией. Гиперпараметры n_neighbors и min_dist следует настраивать в соответствии с интересующей вас структурой, а для воспроизводимости следует зафиксировать random_state. При количестве наблюдений менее 50 многообразие не может быть надежно изучено, и линейный метод PCA является более безопасным выбором.
Ограничения и замечания
- Расстояния между кластерами на вложении могут быть вводящими в заблуждение и не должны интерпретироваться чрезмерно.
- Результаты зависят от гиперпараметров n_neighbors и min_dist, которые необходимо настраивать.
- Вывод не является детерминированным, если не зафиксировано значение random_state.
- На малых выборках (n менее примерно 50) многообразие не может быть надежно изучено, и визуализация становится вводящей в заблуждение; предпочтительнее PCA.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Быстрый и масштабируемый для больших наборов данных, намного быстрее, чем t-SNE.
- Лучше сохраняет глобальную структуру, чем t-SNE, при этом захватывая локальные кластеры.
- Захватывает нелинейную структуру, которую линейные методы, такие как PCA, не могут.
- Создает 2- или 3-мерные вложения, хорошо подходящие для визуализации.
Применение
- Визуализация высокоразмерных непрерывных данных в двух или трех измерениях.
- Исследовательский анализ для выявления кластеров и структуры перед формальным моделированием.
- Снижение размерности в качестве предварительного шага перед классификацией.
- Сжатие больших наборов данных с множеством признаков, где важна скорость.
Как это работает
Как это работает
UMAP сначала строит взвешенный граф соседства для высокоразмерных данных: каждая точка соединена со своими ближайшими соседями, что контролируется гиперпараметром n_neighbors, который определяет, насколько локальная и глобальная структура будет захвачена. Этот граф является аппроксимацией UMAP лежащего в основе многообразия.
Затем оптимизируется низкоразмерное расположение таким образом, чтобы его собственный граф соседства как можно точнее соответствовал высокоразмерному, минимизируя перекрестную энтропию между двумя представлениями графа. Гиперпараметр min_dist управляет тем, насколько плотно точки могут располагаться друг к другу, формируя плотность результирующих кластеров.
Формула
Y = \arg\min_{Y} \; \text{cross-entropy}(G_{\text{high}}, G_{\text{low}})Результатом является 2- или 3-мерное вложение, в котором похожие наблюдения находятся близко друг к другу, готовые для построения графика или для передачи в кластеризацию или классификацию. Формы кластеров сохраняются, но расстояния между кластерами следует интерпретировать с осторожностью, а для воспроизводимости вывода требуется фиксированное значение random_state.
Частые ошибки
- Интерпретация расстояний между кластерами как значимых величин.
- Оставление значений n_neighbors и min_dist по умолчанию вместо их настройки под данные.
- Забывание установить random_state, что делает вложение невоспроизводимым.
- Запуск UMAP на менее чем примерно 50 наблюдениях и доверие к полученному графику.
Часто задаваемые вопросы
Чем UMAP отличается от t-SNE?
Оба являются нелинейными методами для визуализации высокоразмерных данных, но UMAP основан на теории обучения многообразий, имеет тенденцию лучше сохранять глобальную структуру и намного быстрее работает на больших наборах данных.
Могу ли я интерпретировать расстояния между кластерами на графике?
Будьте осторожны. UMAP сохраняет формы кластеров, но расстояния между кластерами могут быть вводящими в заблуждение и не должны интерпретироваться как точные величины.
Какие гиперпараметры наиболее важны?
n_neighbors контролирует баланс между локальной и глобальной структурой, а min_dist контролирует плотность упаковки точек. Оба должны быть настроены, а random_state должен быть зафиксирован для воспроизводимости вложения.
Что делать, если у меня очень мало наблюдений?
При количестве наблюдений менее примерно 50 многообразие не может быть надежно изучено, и вложение становится вводящим в заблуждение. В этом случае линейный метод, такой как PCA, является более безопасным выбором.
Похожие методы
Источники
McInnes, L., Healy, J. & Melville, J. (2018). UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426.
Открыть ссылку на публикациюСкопировано.