Skip to content
Назад к результатам поиска

Сверточная нейронная сеть (классификация)

Автор метода
LeCun, Y. et al.
Год
1998
Тип
Deep neural network (convolutional)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Сверточная нейронная сеть (CNN) — это модель глубокого обучения, разработанная ЛеКуном и его коллегами в 1998 году, которая изучает локальные паттерны непосредственно из изображений и структурированных данных для их классификации.

Стеки сверточных фильтров обнаруживают все более абстрактные признаки, что значительно сокращает необходимость в ручной разработке признаков.

Интуиция метода

Вместо ручного конструирования признаков, CNN применяет небольшие обучаемые фильтры к входным данным для обнаружения локальных паттернов, таких как границы, текстуры или мотивы, независимо от их расположения. Ранние слои улавливают простые признаки; более глубокие слои объединяют их в концепции более высокого уровня. Поскольку один и тот же фильтр повторно используется по всему входу, сеть эффективно обучается и распознает паттерн везде, где он появляется.

История

Сверточные нейронные сети были объединены в современную форму Янном ЛеКуном и его коллегами в их работе 1998 года по градиентному обучению, примененному к распознаванию документов, где архитектура LeNet считывала рукописные цифры. Комбинация свертки, пулинга и сквозного градиентного обучения стала шаблоном для классификации изображений и, с увеличением наборов данных и более быстрым оборудованием, привела к революции глубокого обучения в компьютерном зрении.

Когда применять

Используйте CNN для классификации или прогнозирования по изображениям и структурированным сеточным данным, когда у вас есть большой размеченный набор данных — примерно 1000 или более наблюдений — и вы хотите, чтобы модель автоматически изучала признаки, а не конструировала их вручную. Она не требует нормально распределенных данных и обрабатывает непрерывные и категориальные входные данные. При количестве наблюдений менее 500 сеть переобучается, и Random Forest является более безопасным выбором; при количестве наблюдений менее 200 сверточные фильтры не могут изучать значимые паттерны, и SVM предпочтительнее.

Ограничения и замечания

  • Требуется большой размеченный набор данных (около 1000+ наблюдений) для надежного обучения.
  • На малых выборках (n менее примерно 500) сеть переобучается, и производительность классификации падает.
  • При количестве наблюдений менее примерно 200 сверточные фильтры вообще не могут изучать значимые паттерны.
  • Вычислительно требовательна к обучению, и изученное представление трудно интерпретировать.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Автоматически изучает локальные паттерны, значительно снижая потребность в ручной разработке признаков.
  • Совместное использование весов распознает паттерн везде, где он появляется, и сохраняет количество параметров управляемым.
  • Строит иерархию признаков, от простых границ до абстрактных концепций, хорошо подходящую для изображений.
  • Мало предположений: нет требования нормальности, и она принимает непрерывные и категориальные входные данные.
  • Современная точность в задачах классификации больших размеченных изображений и данных с сеточной структурой.

Применение

  • Задачи классификации и распознавания изображений.
  • Классификация структурированных, сеточных данных, где важны локальные паттерны.
  • Распознавание документов и рукописных символов.
  • Изучение признаков, где ручная разработка признаков непрактична.

Как это работает

Как это работает

1

Обучаемые фильтры (ядра) свертываются с входными данными, вычисляя локальные взвешенные суммы для получения карт признаков. Каждый фильтр реагирует на определенный локальный паттерн — границу, текстуру, фрагмент формы — и поскольку одни и те же веса используются во всех позициях, сеть обнаруживает этот паттерн в любом месте входных данных, сохраняя при этом низкое количество параметров.

Формула
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

Пулинговые слои (например, max pooling) уменьшают размер каждой карты признаков, суммируя окрестности в одно значение. Это уменьшает пространственные размеры, делает представление более устойчивым к небольшим сдвигам и искажениям, а также позволяет последующим слоям строить более абстрактные признаки над более широким рецептивным полем.

3

Карты признаков высокого уровня сглаживаются и передаются через полносвязные слои, заканчивающиеся слоем softmax, который выдает вероятности классов. Вся сеть — фильтры и веса вместе — обучается от начала до конца с помощью градиентного обучения, минимизируя потери классификации через обратное распространение ошибки.

Формула
\hat{y} = \operatorname{softmax}(W h + b)

Частые ошибки

  • Обучение на слишком малом количестве данных и переобучение вместо использования Random Forest или SVM.
  • Пропуск отложенной валидационной или тестовой выборки и доверие к точности обучения.
  • Игнорирование дисбаланса классов вместо перевзвешивания или передискретизации классов.
  • Сообщение только точности без точности (precision), полноты (recall), F1-меры или матрицы ошибок.
  • Забывание нормализовать входные данные или отсутствие регуляризации против переобучения.

Часто задаваемые вопросы

Сколько данных требуется CNN?

CNN требуют много данных; приблизительный минимум составляет около 1000 размеченных наблюдений. При количестве менее 500 они склонны к переобучению, а при количестве менее 200 фильтры не могут изучать значимые паттерны — в этих случаях Random Forest или SVM являются более безопасным выбором.

Почему свертка вместо обычной нейронной сети?

Свертка использует один и тот же небольшой фильтр во всех позициях входных данных, поэтому паттерн обнаруживается везде, где он появляется, и количество параметров остается низким. Полносвязная сеть потребовала бы значительно больше весов и не использовала бы пространственную структуру данных.

Что делает пулинг?

Пулинг уменьшает карты признаков путем суммирования локальных окрестностей, что уменьшает пространственный размер, добавляет устойчивость к небольшим сдвигам и позволяет более глубоким слоям строить более абстрактные признаки над более широким рецептивным полем.

Что следует проверить, прежде чем полагаться на CNN?

Убедитесь, что у вас достаточно большой размеченный набор данных, нормализуйте входные данные, настройте правильное разделение на обучающую/валидационную/тестовую выборки, устраните любой дисбаланс классов и оцените модель с помощью точности (precision), полноты (recall), F1-меры и матрицы ошибок, а не только точности (accuracy).

Похожие методы

Источники

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    Открыть ссылку DOI
    Скопировано.