Сверточная нейронная сеть (классификация)
- Автор метода
- LeCun, Y. et al.
- Год
- 1998
- Тип
- Deep neural network (convolutional)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Сверточная нейронная сеть (CNN) — это модель глубокого обучения, разработанная ЛеКуном и его коллегами в 1998 году, которая изучает локальные паттерны непосредственно из изображений и структурированных данных для их классификации.
Стеки сверточных фильтров обнаруживают все более абстрактные признаки, что значительно сокращает необходимость в ручной разработке признаков.
Интуиция метода
Вместо ручного конструирования признаков, CNN применяет небольшие обучаемые фильтры к входным данным для обнаружения локальных паттернов, таких как границы, текстуры или мотивы, независимо от их расположения. Ранние слои улавливают простые признаки; более глубокие слои объединяют их в концепции более высокого уровня. Поскольку один и тот же фильтр повторно используется по всему входу, сеть эффективно обучается и распознает паттерн везде, где он появляется.
История
Сверточные нейронные сети были объединены в современную форму Янном ЛеКуном и его коллегами в их работе 1998 года по градиентному обучению, примененному к распознаванию документов, где архитектура LeNet считывала рукописные цифры. Комбинация свертки, пулинга и сквозного градиентного обучения стала шаблоном для классификации изображений и, с увеличением наборов данных и более быстрым оборудованием, привела к революции глубокого обучения в компьютерном зрении.
Когда применять
Используйте CNN для классификации или прогнозирования по изображениям и структурированным сеточным данным, когда у вас есть большой размеченный набор данных — примерно 1000 или более наблюдений — и вы хотите, чтобы модель автоматически изучала признаки, а не конструировала их вручную. Она не требует нормально распределенных данных и обрабатывает непрерывные и категориальные входные данные. При количестве наблюдений менее 500 сеть переобучается, и Random Forest является более безопасным выбором; при количестве наблюдений менее 200 сверточные фильтры не могут изучать значимые паттерны, и SVM предпочтительнее.
Ограничения и замечания
- Требуется большой размеченный набор данных (около 1000+ наблюдений) для надежного обучения.
- На малых выборках (n менее примерно 500) сеть переобучается, и производительность классификации падает.
- При количестве наблюдений менее примерно 200 сверточные фильтры вообще не могут изучать значимые паттерны.
- Вычислительно требовательна к обучению, и изученное представление трудно интерпретировать.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Автоматически изучает локальные паттерны, значительно снижая потребность в ручной разработке признаков.
- Совместное использование весов распознает паттерн везде, где он появляется, и сохраняет количество параметров управляемым.
- Строит иерархию признаков, от простых границ до абстрактных концепций, хорошо подходящую для изображений.
- Мало предположений: нет требования нормальности, и она принимает непрерывные и категориальные входные данные.
- Современная точность в задачах классификации больших размеченных изображений и данных с сеточной структурой.
Применение
- Задачи классификации и распознавания изображений.
- Классификация структурированных, сеточных данных, где важны локальные паттерны.
- Распознавание документов и рукописных символов.
- Изучение признаков, где ручная разработка признаков непрактична.
Как это работает
Как это работает
Обучаемые фильтры (ядра) свертываются с входными данными, вычисляя локальные взвешенные суммы для получения карт признаков. Каждый фильтр реагирует на определенный локальный паттерн — границу, текстуру, фрагмент формы — и поскольку одни и те же веса используются во всех позициях, сеть обнаруживает этот паттерн в любом месте входных данных, сохраняя при этом низкое количество параметров.
Формула
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)Пулинговые слои (например, max pooling) уменьшают размер каждой карты признаков, суммируя окрестности в одно значение. Это уменьшает пространственные размеры, делает представление более устойчивым к небольшим сдвигам и искажениям, а также позволяет последующим слоям строить более абстрактные признаки над более широким рецептивным полем.
Карты признаков высокого уровня сглаживаются и передаются через полносвязные слои, заканчивающиеся слоем softmax, который выдает вероятности классов. Вся сеть — фильтры и веса вместе — обучается от начала до конца с помощью градиентного обучения, минимизируя потери классификации через обратное распространение ошибки.
Формула
\hat{y} = \operatorname{softmax}(W h + b)Частые ошибки
- Обучение на слишком малом количестве данных и переобучение вместо использования Random Forest или SVM.
- Пропуск отложенной валидационной или тестовой выборки и доверие к точности обучения.
- Игнорирование дисбаланса классов вместо перевзвешивания или передискретизации классов.
- Сообщение только точности без точности (precision), полноты (recall), F1-меры или матрицы ошибок.
- Забывание нормализовать входные данные или отсутствие регуляризации против переобучения.
Часто задаваемые вопросы
Сколько данных требуется CNN?
CNN требуют много данных; приблизительный минимум составляет около 1000 размеченных наблюдений. При количестве менее 500 они склонны к переобучению, а при количестве менее 200 фильтры не могут изучать значимые паттерны — в этих случаях Random Forest или SVM являются более безопасным выбором.
Почему свертка вместо обычной нейронной сети?
Свертка использует один и тот же небольшой фильтр во всех позициях входных данных, поэтому паттерн обнаруживается везде, где он появляется, и количество параметров остается низким. Полносвязная сеть потребовала бы значительно больше весов и не использовала бы пространственную структуру данных.
Что делает пулинг?
Пулинг уменьшает карты признаков путем суммирования локальных окрестностей, что уменьшает пространственный размер, добавляет устойчивость к небольшим сдвигам и позволяет более глубоким слоям строить более абстрактные признаки над более широким рецептивным полем.
Что следует проверить, прежде чем полагаться на CNN?
Убедитесь, что у вас достаточно большой размеченный набор данных, нормализуйте входные данные, настройте правильное разделение на обучающую/валидационную/тестовую выборки, устраните любой дисбаланс классов и оцените модель с помощью точности (precision), полноты (recall), F1-меры и матрицы ошибок, а не только точности (accuracy).
Похожие методы
Источники
LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.
Открыть ссылку DOIСкопировано.