Skip to content
Назад к результатам поиска

Визуальное контрастивное обучение

Автор метода
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
Год
2020
Тип
Self-supervised deep representation learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Визуальное контрастивное обучение — это подход глубокого обучения с самоконтролем, популяризированный такими фреймворками, как SimCLR (Chen et al., 2020) и MoCo (He et al., 2020), который позволяет получать богатые представления изображений без использования меток.

Он достигается за счет сближения различных аугментаций одного и того же изображения и отдаления разных изображений друг от друга. Этот подход превращает большой пул неразмеченных изображений в полезный экстрактор признаков.

Интуиция метода

Если обрезать, перекрасить или отразить одну и ту же фотографию двумя разными способами, обе версии все равно должны быть узнаваемо одним и тем же объектом. Контрастивное обучение строится именно на этой идее: оно учит сеть отображать два аугментированных представления одного изображения близко друг к другу в пространстве признаков, сохраняя при этом представления других изображений на значительном расстоянии. Человеческие метки не требуются — обучение полностью основано на сравнении изображений друг с другом.

История

Визуальное контрастивное обучение быстро развивалось в 2020 году. SimCLR (Chen et al., ICML 2020) показал, что простая структура из сильных аугментаций, проекционной головы и контрастивной функции потерь NT-Xent может конкурировать с контролируемым предварительным обучением. MoCo (He et al., CVPR 2020) представил кодировщик, обновляемый по принципу момента, с динамической очередью отрицательных примеров, что сделало крупномасштабное контрастивное обучение возможным без массивных батчей. Более поздние подходы, такие как BYOL, расширили семейство, обучаясь без явных отрицательных пар.

Когда применять

Используйте его, когда у вас есть большая неразмеченная коллекция изображений — порядка не менее 1000 изображений — и вы хотите получить сильные визуальные представления до выполнения какой-либо размеченной задачи. Он предполагает наличие такого неразмеченного набора данных, требует графического процессора и сильно зависит от хорошо выбранной стратегии аугментации данных. При количестве изображений менее примерно 500–1000 отрицательных пар слишком мало и они слишком похожи, чтобы получить полезные представления, и контролируемое классическое машинное обучение является более безопасным выбором.

Ограничения и замечания

  • Требуется большой неразмеченный набор данных изображений; на малых наборах он не может создавать значимые представления.
  • Требует графического процессора и значительных вычислительных ресурсов для предварительного обучения.
  • Производительность зависит от стратегии аугментации данных, которая должна быть настроена для каждого домена.
  • При количестве изображений менее примерно 500 самоконтролируемое обучение неэффективно, и предпочтительнее контролируемое классическое машинное обучение.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Позволяет получать полезные визуальные представления из неразмеченных изображений, устраняя необходимость в дорогостоящей ручной разметке.
  • Предварительно обученный кодировщик переносится на многие последующие задачи с использованием лишь небольшого размеченного набора.
  • Фреймворки, такие как SimCLR и MoCo, предлагают хорошо изученные, воспроизводимые рецепты.
  • Кодировщик с моментом и очередь отрицательных примеров MoCo обеспечивают множество отрицательных сравнений без огромных батчей.

Применение

  • Предварительное обучение кодировщиков изображений на больших неразмеченных коллекциях фотографий.
  • Трансферное обучение для последующей классификации изображений с ограниченным количеством меток.
  • Создание повторно используемых экстракторов визуальных признаков для конвейеров обработки изображений.
  • Обучение представлений в областях, где метки дефицитны или дороги.

Как это работает

Как это работает

1

Каждое изображение дважды преобразуется с помощью случайных аугментаций, таких как обрезка, изменение цветового шума и отражение, что приводит к получению двух связанных представлений. Выбор стратегии аугментации имеет решающее значение: он определяет, что модель должна рассматривать как «одинаковое», а слабые или плохо выбранные аугментации приводят к слабым представлениям.

2

Кодировщик отображает каждое представление в эмбеддинг, а контрастивная функция потерь сближает два представления одного и того же изображения (положительная пара), одновременно отдаляя представления других изображений (отрицательные). SimCLR использует функцию потерь NT-Xent с температурным параметром; MoCo поддерживает кодировщик, обновляемый по принципу момента, и очередь отрицательных примеров, так что доступно множество сравнений без необходимости использования огромных батчей.

Формула
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

После предварительного обучения с самоконтролем обученный кодировщик повторно используется в качестве общего экстрактора визуальных признаков. Затем небольшого размеченного набора достаточно для тонкой настройки или обучения легковесного классификатора, перенося представление на последующие задачи.

Частые ошибки

  • Попытка контрастивного предварительного обучения на крошечном наборе изображений, где разнообразие отрицательных пар недостаточно.
  • Использование слабых или неподходящих для домена аугментаций, что приводит к коллапсу обученного представления.
  • Игнорирование температурного параметра в контрастивной функции потерь.
  • Ожидание хороших результатов без графического процессора или достаточного времени обучения.

Часто задаваемые вопросы

Нужны ли мне метки?

Нет. Весь смысл контрастивного обучения с самоконтролем заключается в получении представлений из неразмеченных изображений. Метки нужны только позже, для небольшого набора данных для тонкой настройки или оценки.

Сколько изображений мне нужно?

Планируйте не менее 1000 неразмеченных изображений. При количестве примерно 500–1000 разнообразие отрицательных пар слишком низко для того, чтобы метод мог получить значимые представления, и контролируемое классическое машинное обучение является более безопасным выбором.

В чем разница между SimCLR и MoCo?

SimCLR полагается на большие батчи для получения множества отрицательных примеров и использует функцию потерь NT-Xent. MoCo вместо этого поддерживает кодировщик, обновляемый по принципу момента, и очередь прошлых эмбеддингов в качестве отрицательных примеров, поэтому ему требуется меньше сравнений внутри батча.

Почему аугментация данных так важна?

Аугментация определяет, какие преобразованные представления изображения модель должна рассматривать как одинаковые. Сильная, хорошо выбранная стратегия аугментации имеет решающее значение; слабые аугментации дают слабые представления.

Похожие методы

Источники

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    Открыть ссылку на публикацию
    Скопировано.
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    Открыть ссылку на публикацию
    Скопировано.