Автоэнкодер
- Автор метода
- Hinton, G.E. & Salakhutdinov, R.R.
- Год
- 2006
- Тип
- Neural network (encoder-decoder)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Автоэнкодер — это нейронная сеть типа «кодер-декодер», популяризированная Хинтоном и Салахутдиновым в 2006 году, которая сжимает данные в низкоразмерный латентный код, а затем реконструирует их, обеспечивая снижение размерности и обнаружение аномалий.
Обучаясь восстанавливать свой собственный входной сигнал через узкое «бутылочное горлышко», он обнаруживает компактное представление данных.
Интуиция метода
Представьте, что вас попросили изложить длинный документ в одном предложении, а затем переписать полный документ, опираясь только на это предложение. Чтобы сделать это хорошо, вы должны сохранить только самое важное. Автоэнкодер учит именно этой дисциплине: он пропускает каждое наблюдение через узкое «бутылочное горлышко» и пытается восстановить оригинал из сжатого кода. Все, что пережило сжатие, — это суть данных, а входные сигналы, которые сеть не может хорошо реконструировать, выделяются как аномалии.
История
Идея автоэнкодера по изучению компактного кода путем реконструкции входных данных была выдвинута Джеффри Хинтоном и Русланом Салахутдиновым в их статье в журнале Science 2006 года, которая показала, что глубокие нейронные сети могут более эффективно снижать размерность данных, чем классические линейные методы. Эта работа помогла утвердить нейронные сети как практический инструмент для обучения представлений.
Когда применять
Используйте автоэнкодер для нелинейного снижения размерности или обнаружения аномалий на непрерывных данных, когда у вас есть достаточно большая выборка — примерно 200 наблюдений или более. Он не требует нормально распределенных данных, но ему нужно достаточно данных для изучения значимого латентного пространства, и выбор размера скрытого слоя критически важен. При малых выборках (менее примерно 200) метод главных компонент (PCA) является более безопасным выбором, а при менее чем примерно 50 наблюдениях снижение размерности с помощью нейронных сетей полностью терпит неудачу.
Ограничения и замечания
- Требует достаточно большой выборки — около 200 наблюдений или более — для изучения значимого латентного пространства.
- Выбор размера скрытого (латентного) слоя критически важен и сильно влияет на результаты.
- На малых наборах данных он не может изучить латентное пространство, и более простой PCA предпочтительнее.
- При менее чем примерно 50 наблюдениях снижение размерности на основе нейронных сетей полностью терпит неудачу.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Захватывает нелинейную структуру, которую упускают линейные методы, такие как PCA.
- Служит как для снижения размерности, так и для обнаружения аномалий на основе одного и того же выученного представления.
- Минимальные предположения: не требует нормально распределенных данных.
- Латентный код обеспечивает компактное, выученное представление сложных непрерывных данных.
Применение
- Нелинейное снижение размерности высокоразмерных непрерывных данных.
- Обнаружение аномалий путем маркировки наблюдений с большой ошибкой реконструкции.
- Изучение компактных латентных представлений в качестве признаков для последующих задач.
- Исследовательский анализ сложных данных, где линейное снижение недостаточно.
Как это работает
Как это работает
Кодер отображает входные данные через один или несколько скрытых слоев в низкоразмерный латентный код. Размер этого скрытого (бутылочного) слоя является критически важным выбором при проектировании: слишком широкий, и сеть просто копирует входные данные, слишком узкий, и она теряет значимую структуру.
Формула
z = f(Wx + b)
Декодер берет латентный код и расширяет его через скрытые слои обратно к исходной размерности, производя реконструкцию входных данных. Кодер и декодер обучаются вместе как единая сеть.
Формула
\hat{x} = g(W'z + b')Обучение минимизирует ошибку реконструкции — разницу между входными данными и их восстановленной версией. После обучения латентный код служит сжатым представлением для снижения размерности, в то время как большие ошибки реконструкции отмечают наблюдения, которые не соответствуют выученным закономерностям, поддерживая обнаружение аномалий.
Формула
\min \; \lVert x - \hat{x} \rVert^2Частые ошибки
- Применение его к малым выборкам, где PCA был бы как адекватным, так и более надежным.
- Установка «бутылочного горлышка» слишком широкой, так что сеть копирует входные данные вместо их сжатия.
- Установка «бутылочного горлышка» слишком узкой, отбрасывая значимую структуру.
- Использование его на неподходящих типах данных вместо признаков с непрерывными значениями.
Часто задаваемые вопросы
Чем автоэнкодер отличается от PCA?
PCA находит наилучшую линейную проекцию данных, в то время как автоэнкодер может изучать нелинейные представления через свои скрытые слои. Для малых выборок или когда достаточно линейного обобщения, PCA проще и надежнее; автоэнкодеры окупаются, когда данные имеют нелинейную структуру, а выборка достаточно велика.
Сколько данных мне нужно?
Примерно 200 наблюдений или более. Ниже этого значения сеть не может изучить значимое латентное пространство, и PCA является более безопасным выбором; при менее чем примерно 50 наблюдениях снижение размерности с помощью нейронных сетей полностью терпит неудачу.
Как обнаружить с его помощью аномалии?
После обучения пропустите наблюдения через сеть и измерьте их ошибку реконструкции. Точки, которые модель реконструирует плохо — с большой ошибкой — не соответствуют выученным закономерностям и помечаются как аномалии.
Какая настройка наиболее важна?
Размер скрытого (бутылочного) слоя. Слишком широкий, и сеть просто копирует входные данные, не изучая полезного сжатия; слишком узкий, и она отбрасывает значимую структуру.
Похожие методы
Источники
Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
Открыть ссылку DOIСкопировано.