Skip to content
Назад к результатам поиска

Обучение с частичной разметкой

Автор метода
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
Год
1970s–2006 (formalized)
Тип
Learning paradigm
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Полуавтоматическое обучение (SSL) — это парадигма машинного обучения, которая обучает модели, используя небольшое количество размеченных примеров вместе с гораздо большим набором неразмеченных данных.

Используя структуру, присущую неразмеченным данным, SSL достигает точности, близкой к моделям полного обучения с учителем, при этом требуя значительно меньше дорогостоящих ручных меток, что делает его практичным, когда разметка является дорогостоящей, медленной или ограничена ресурсами.

Интуиция метода

Представьте, что вы учите студента, давая ему несколько примеров из учебника с ответами и большую библиотеку нерешенных задач. Студент использует решенные примеры для понимания закономерностей, а затем использует нерешенные задачи для уточнения этого понимания, наблюдая, какие примеры группируются вместе или имеют схожие структуры. SSL работает аналогично: модель изучает границы принятия решений на основе размеченных данных, а затем использует неразмеченные данные для уточнения этих границ, предполагая, что близлежащие точки, вероятно, принадлежат к одному классу, или что многообразие данных отражает значимую структуру. Результатом является модель, которая превосходит обучение только на основе меток.

История

Полуавтоматическое обучение как формальная область возникло из работ по трансдуктивным SVM Вапника в 1990-х годах и графовому распространению меток Чжу и Гахрамани (2002). Область была консолидирована томом MIT Press под редакцией Чапелля, Шолкопфа и Зиена (2006), который остается каноническим справочником. Современное глубокое обучение оживило SSL с помощью методов регуляризации согласованности, таких как MixMatch (2019) и FixMatch (2020), расширив парадигму на крупномасштабные задачи обработки изображений и текста.

Когда применять

Используйте полуавтоматическое обучение, когда у вас есть обильные неразмеченные данные, но разметка является дорогостоящей, медленной или требует редких экспертных знаний — это часто встречается в медицинской визуализации, обработке естественного языка и научных областях. SSL подходит, когда неразмеченные и размеченные данные имеют одинаковое распределение, когда предположение о кластерах или многообразии правдоподобно выполняется, и когда полностью контролируемый базовый вариант уже осуществим, но его точность ограничена нехваткой меток. НЕ используйте SSL, когда неразмеченные и размеченные данные поступают из разных распределений (сдвиг распределения); когда неразмеченных данных очень мало; когда задача настолько проста, что небольшой размеченный набор уже насыщает емкость модели; или когда ошибка псевдометки будет накапливаться быстрее, чем модель сможет ее исправить — как это происходит при выводах с высокой энтропией или несбалансированных выводах.

Ограничения и замечания

  • Производительность может снизиться ниже уровня контролируемого базового варианта, если неразмеченные данные нарушают предположение о кластерах или гладкости или содержат сдвиг распределения.
  • Ошибка псевдометки накапливается с каждой итерацией: уверенные, но неправильные прогнозы искажают последующее обучение.
  • Требует тщательной настройки пороговых значений уверенности, силы регуляризации и соотношения размеченных и неразмеченных данных.
  • Оценка сложнее: неразмеченный набор никогда не должен использоваться для выбора модели, если он строго не отложен.
  • Вычислительные затраты возрастают с большими неразмеченными корпусами, особенно для графовых методов, требующих попарного сходства.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Существенно улучшает точность модели, когда размеченных данных мало, а неразмеченных — много.
  • Снижает затраты и время на аннотирование, обеспечивая практическое применение в областях, требующих большого количества экспертной разметки.
  • Совместим практически с любым базовым обучающим алгоритмом (нейронные сети, случайные леса, SVM, GP) посредством псевдо-разметки или расширений на основе графов.
  • Распространение меток и методы на основе графов обеспечивают интерпретируемую неопределенность и структуру соседства.
  • Самообучение и регуляризация согласованности естественно интегрируются в стандартные конвейеры обучения с минимальной дополнительной инфраструктурой.

Применение

  • Классификация медицинских изображений, где экспертных аннотаций мало, а неразмеченных сканов — много.
  • Задачи обработки естественного языка, такие как анализ тональности и распознавание именованных сущностей, с небольшим количеством размеченных документов.
  • Исследования структуры белков и геномики, где экспериментальные метки дороги в получении.
  • Промышленный контроль качества с использованием небольшого количества размеченных изображений дефектов и множества неразмеченных изображений производственного процесса.
  • Распознавание речи и классификация аудио, когда транскрибируется лишь часть записей.
  • Классификация веб-контента и категоризация документов с большими собранными корпусами.

Как это работает

Как это работает

1

Соберите набор данных, содержащий небольшую размеченную подвыборку (обычно несколько процентов от общего объема) и большую неразмеченную подвыборку. Размеченные примеры должны быть репрезентативными для интересующих классов или исходов. Качество данных в размеченном наборе оказывает непропорционально большое влияние на конечную модель.

2

Обучите начальную модель, используя только размеченные примеры. Это создает базовый классификатор или регрессор с ограниченной точностью из-за небольшого объема размеченных данных, но он обеспечивает отправную точку для использования неразмеченных данных.

3

Примените начальную модель к неразмеченным данным для генерации псевдометок — предсказанных назначений классов или мягких распределений вероятностей. Прогнозы с высокой степенью уверенности предварительно принимаются в качестве обучающих меток. Общие алгоритмы SSL различаются здесь: самообучение принимает прогнозы с наивысшей степенью уверенности, распространение меток распространяет метки через граф сходства, а регуляризация согласованности обеспечивает стабильные прогнозы при возмущениях входных данных.

4

Переобучите модель, включив как исходные размеченные данные, так и новые псевдоразмеченные неразмеченные примеры. Этот процесс может повторяться: улучшенная модель генерирует лучшие псевдометки, которые, в свою очередь, еще больше улучшают модель. Регуляризация или пороговые значения уверенности защищают от накопления ошибок.

5

Оцените конечную модель на отложенном размеченном тестовом наборе, используя стандартные метрики (точность, F1, AUC, MSE), которые никогда не использовались во время обучения или генерации псевдометок. Сравните с полностью контролируемой базовой моделью, обученной только на метках, чтобы количественно оценить выигрыш от неразмеченных данных.

Частые ошибки

  • Использование неразмеченных данных, распределение которых отличается от размеченного набора — несоответствие распределений является наиболее частой причиной сбоя SSL.
  • Пренебрежение базовым вариантом только с учителем, что делает невозможным проверку того, что неразмеченные данные действительно помогли.
  • Установка слишком низких пороговых значений уверенности, что приводит к заполнению обучающего набора неправильными псевдометками.
  • Оценка на неразмеченном наборе после псевдо-разметки, что завышает оценки производительности.
  • Рассмотрение SSL как не предполагающего никаких предположений — метод помогает только тогда, когда выполняются предположения о гладкости, кластерах или многообразии.

Часто задаваемые вопросы

Чем полуавтоматическое обучение отличается от самообучения?

Полуавтоматическое обучение использует небольшой набор меток, предоставленных человеком, вместе с неразмеченными данными для улучшения задачи с учителем. Самообучение создает свои собственные метки исключительно из структуры неразмеченных данных (например, предсказание маскированных слов) — метки человека не используются во время предварительного обучения, хотя изученные представления затем дообучаются на размеченных данных.

Когда полуавтоматическое обучение вредит, а не помогает?

Если неразмеченные данные поступают из другого распределения, чем размеченные данные, или если границы классов не совпадают с естественными кластерами в данных, SSL может внести шум, который снизит точность ниже базового уровня контролируемого обучения. Всегда сравнивайте с моделью, обученной только с учителем.

Какой самый простой алгоритм SSL попробовать первым?

Самообучение является наиболее простым: обучите на метках, предскажите на неразмеченных данных, добавьте прогнозы с высокой степенью уверенности обратно в качестве размеченных данных и переобучите. Он работает с любым базовым обучающим алгоритмом и служит полезным базовым вариантом перед более сложными методами на основе графов или регуляризации согласованности.

Сколько размеченных данных обычно требуется?

Универсального ответа нет, но SSL наиболее выгоден, когда размеченные данные составляют 1–10% от общего набора данных. При количестве менее примерно 10–50 размеченных примеров на класс даже SSL может испытывать трудности; в этом случае активное обучение для определения приоритетности примеров для маркировки может быть более эффективным.

Можно ли использовать полуавтоматическое обучение с любым типом модели?

Да. Псевдо-разметка и самообучение работают с любым базовым обучающим алгоритмом. Графовые методы, такие как распространение меток, не зависят от модели, но требуют вычисления попарного сходства. Методы регуляризации согласованности наиболее естественно применяются к нейронным сетям, но могут быть адаптированы к другим вероятностным моделям.

Похожие методы

Источники

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Скопировано.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    Открыть ссылку на публикацию
    Скопировано.