Самообучение с учителем
- Автор метода
- LeCun, Y. and community (formalized ~2018–2020)
- Год
- 2018–2020
- Тип
- Representation learning paradigm
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Самообучение с учителем (SSL) — это парадигма машинного обучения, которая генерирует собственный сигнал обучения непосредственно из неразмеченных данных путем определения вспомогательной претекстовой задачи (например, предсказание замаскированных слов, вращение изображений или сопоставление дополненных представлений) и использует полученные представления в качестве мощной отправной точки для последующих задач с минимальным количеством размеченных примеров.
Интуиция метода
Большинство реальных данных не размечены. Самообучение с учителем превращает это изобилие в ресурс для обучения, изобретая задачу, которую модель должна решить, используя только сами данные — например, скрывая часть предложения и прося модель предсказать ее. Решение этой задачи заставляет модель строить богатые внутренние представления. Как только представления становятся достаточно хорошими, для адаптации модели к конкретной задаче требуется лишь небольшое количество размеченных данных, что значительно снижает затраты на аннотирование.
История
Концепция обучения на неразмеченных данных с помощью прокси-задач предшествует глубокому обучению, но самообучение с учителем как названная парадигма стало заметным примерно в 2018–2020 годах с BERT (Devlin et al., 2018) в NLP и MoCo / SimCLR в компьютерном зрении. Ян ЛеКун отстаивал этот термин и видение, описывая SSL как «темную материю интеллекта» в 2022 году. Сегодня он лежит в основе практически всех больших языковых моделей и базовых моделей зрения.
Когда применять
Выбирайте самообучение с учителем, когда у вас есть большой корпус неразмеченных данных в вашей целевой области, но разметка является дорогостоящей или медленной — это часто встречается в медицинской визуализации, обработке естественного языка (NLP), спутниковых снимках и научных данных. Это стандартный подход при создании крупномасштабных базовых моделей (BERT, GPT, DINO) или когда последующие размеченные наборы данных невелики. Избегайте SSL, когда неразмеченный корпус слишком мал (менее нескольких тысяч примеров), претекстовая задача не соответствует последующей задаче или вычислительные ресурсы сильно ограничены — в этих случаях более практичным является контролируемое обучение на доступных метках или традиционный трансферное обучение с использованием публичного контрольной точки.
Ограничения и замечания
- Предварительное обучение больших моделей требует значительных вычислительных ресурсов (GPU/TPU в течение дней или недель) и больших неразмеченных корпусов.
- Разработка претекстовой задачи нетривиальна; плохо выбранная задача может привести к представлениям, которые плохо переносятся.
- Стабильность дообучения может быть чувствительна к скорости обучения и количеству размороженных слоев.
- Оценка косвенная: производительность претекстовой задачи не гарантирует производительность последующей задачи.
- Разрыв в предметной области между корпусом предварительного обучения и целевой областью может ограничивать прирост.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Использует огромные объемы неразмеченных данных, что делает его наиболее масштабируемым подходом для предварительного обучения больших корпусов.
- Создает представления общего назначения, которые хорошо переносятся на многие последующие задачи с небольшим объемом данных для дообучения.
- Значительно снижает затраты на аннотирование, генерируя обучающий сигнал из структуры данных, а не из человеческих меток.
- Современные базовые модели (BERT, GPT, DINO, MAE) построены на самообучающихся целях.
- Естественным образом обрабатывает мультимодальные данные, разрабатывая кросс-модальные претекстовые задачи (например, CLIP).
- Дает богатые вложения, полезные для поиска, кластеризации и обнаружения аномалий без какого-либо дообучения.
Применение
- Предварительное обучение больших языковых моделей (BERT, GPT, T5) для задач NLP, таких как классификация и ответы на вопросы.
- Базовые модели зрения (DINO, MAE, SimCLR) для распознавания изображений, сегментации и поиска.
- Анализ медицинских изображений, где размеченные сканы редки, но неразмеченных изображений много.
- Изучение представлений речи и аудио (wav2vec, HuBERT) для ASR и верификации диктора.
- Изучение представлений молекул и белков (ChemBERTa, ESM) для открытия лекарств.
- Обнаружение аномалий и поиск по сходству вложений без размеченных аномалий.
Как это работает
Как это работает
Претекстовая (вспомогательная) задача разрабатывается таким образом, чтобы ее метки поступали непосредственно из самой структуры данных — например, предсказание замаскированных токенов в тексте (BERT), предсказание следующего кадра в видео или максимизация сходства между по-разному дополненными представлениями одного и того же изображения (SimCLR, MoCo). На этом этапе не требуется аннотация человеком.
Нейронный кодировщик отображает каждый вход x в плотное представление z = f(x; theta). Архитектура кодировщика варьируется в зависимости от модальности: трансформеры для текста и зрения, сверточные сети для аудио или графовые нейронные сети для молекулярных данных. Это представление несет знания для последующих задач.
Формула
z = f_{\theta}(x)Модель обучается минимизировать функцию потерь, которая измеряет, насколько хорошо она решает претекстовую задачу — кросс-энтропия для маскированного предсказания, контрастивная функция потерь (InfoNCE) для согласования представлений или ошибка реконструкции для автокодировщиков. Минимизация этой функции потерь формирует представление для захвата полезной семантической структуры.
После сходимости предварительного обучения веса кодировщика переносятся на последующую задачу. Прикрепляется легковесная голова классификации или регрессии, и вся модель (или только голова) дообучается на небольшом размеченном наборе данных, достигая точности, сравнимой с полностью контролируемыми моделями, обученными на гораздо большем количестве размеченных данных.
Частые ошибки
- Выбор претекстовой задачи без учета ее соответствия семантике последующей задачи.
- Использование неразмеченного корпуса, который слишком мал или не репрезентативен для целевой области, что приводит к плохим представлениям.
- Дообучение всех слоев с высокой скоростью обучения и катастрофическое забывание предварительно обученного представления.
- Сообщение только точности последующей задачи после дообучения без анализа ценности предварительного обучения по сравнению с прямым контролируемым обучением.
- Игнорирование дизайна аугментации данных в контрастивных методах, что критически важно для качества представления.
Часто задаваемые вопросы
В чем разница между самообучением с учителем и обучением без учителя?
Оба используют неразмеченные данные, но самообучение с учителем конструирует специфический сигнал обучения из структуры данных (например, замаскированные токены, дополненные представления) и обучается с определенной функцией потерь. Классическое обучение без учителя (кластеризация, PCA) вместо этого находит структуру без какой-либо явной цели предсказания.
Нужно ли мне предварительно обучать с нуля или я могу использовать существующую контрольную точку?
Для большинства прикладных проектов дообучение общедоступной контрольной точки (например, BERT из Hugging Face, DINO из Meta) гораздо практичнее, чем предварительное обучение с нуля. Предварительное обучение с нуля оправдано только тогда, когда ваша область сильно специализирована (например, клинический текст) и существующие контрольные точки плохо переносятся.
Сколько неразмеченных данных необходимо?
Чем больше, тем лучше для предварительного обучения, но эффективное SSL для конкретной предметной области было продемонстрировано с десятками тысяч неразмеченных примеров для небольших моделей. Порог сильно зависит от размера модели и сложности претекстовой задачи.
Что такое контрастивная претекстовая задача?
Контрастивные претекстовые задачи (SimCLR, MoCo) создают два по-разному дополненных представления одного и того же образца и обучают кодировщик так, чтобы представления были похожи в пространстве представлений, отличаясь при этом от представлений других образцов. Это учит модель быть инвариантной к аугментации, сохраняя при этом семантическое содержание.
Подходит ли самообучение с учителем для табличных данных?
Да, хотя прирост меньше, чем для изображений или текста. Такие подходы, как SCARF, предварительное обучение TabNet и предсказание замаскированных признаков, показали преимущества, когда размеченных табличных данных мало, но для типичных табличных наборов данных с разумной доступностью меток по-прежнему доминируют контролируемые ансамблевые методы.
Похожие методы
Источники
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Открыть ссылку на публикациюСкопировано.Self-supervised learning. Wikipedia.
Открыть ссылку на публикациюСкопировано.