Логистическая регрессия при самообучении
- Автор метода
- Chen et al. (SimCLR linear evaluation protocol, 2020); logistic probe practice widely adopted across SSL literature
- Год
- 2020s
- Тип
- Self-supervised pretraining + supervised linear classification
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Логистическая регрессия при самообучении — это двухэтапный конвейер, в котором сначала нейронный кодировщик обучается на большом объеме неразмеченных данных посредством самообучающей предварительной задачи (pretext task), такой как контрастное обучение или маскированное предсказание, а затем замороженные полученные представления классифицируются стандартной моделью логистической регрессии, обученной на небольшом размеченном наборе данных.
Этот протокол линейной оценки широко используется для оценки качества самообучающихся представлений.
Интуиция метода
Представьте, что вы учитесь распознавать формы, не зная их названий, просто сравнивая пары изображений и выясняя, что делает их похожими или различными. После такой неконтролируемой практики ваше внутреннее представление изображений становится богатым и структурированным. Когда вы наконец увидите несколько размеченных примеров, простого линейного правила — логистической регрессии — примененного к вашему обученному представлению, часто бывает достаточно для точной классификации новых примеров. Качество линейного классификатора затем показывает, насколько полезным было самообучающееся предварительное обучение, поэтому эта комбинация является стандартным методом оценки в сообществе SSL.
История
Протокол линейной оценки — обучение логистической регрессии на замороженных самообучающихся признаках — стал доминирующим методом оценки в литературе по самообучающемуся обучению после успеха контрастных методов, таких как SimCLR (Chen et al., 2020) и MoCo. Более ранние работы по векторным представлениям слов (Word2Vec, GloVe) использовали аналогичные последующие линейные классификаторы для проверки качества представлений. В настоящее время этот протокол является стандартом в исследованиях SSL в области зрения, NLP и аудио как легковесная, сопоставимая мера полезности предварительно обученных моделей.
Когда применять
Используйте логистическую регрессию при самообучении, когда размеченных данных мало, но неразмеченных данных много — распространенная ситуация в медицинской визуализации, обработке естественного языка (NLP) или научных областях. Это также стандартный протокол для оценки того, научился ли самообучающийся кодировщик переносимым представлениям. Подход лучше всего работает, когда области предварительного обучения и последующего использования тесно связаны. Избегайте его, когда размеченных данных много (простое контролируемое обучение даст лучшие результаты), когда последующая задача требует тонких нелинейных границ (лучше полная донастройка кодировщика) или когда вычислительные ресурсы для предварительного обучения большого кодировщика недоступны.
Ограничения и замечания
- Требует мощного, часто большого нейронного кодировщика для получения полезных представлений, что требует значительных вычислительных ресурсов и неразмеченных данных для предварительного обучения.
- Производительность сильно зависит от того, насколько хорошо предварительная задача соответствует последующей задаче классификации; несоответствующие задачи дают плохие эмбеддинги.
- Замороженный линейный зонд может показать более низкую производительность по сравнению с полной донастройкой, когда граница принятия решений нелинейна в пространстве предварительно обученных признаков.
- Сквозная интерпретируемость ограничена: самообучающийся кодировщик — это черный ящик, который генерирует признаки, подаваемые в логистическую регрессию.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Использует неразмеченные данные, значительно снижая потребность в дорогостоящих аннотациях человеком.
- Протокол линейной оценки предоставляет интерпретируемую, воспроизводимую основу для оценки качества представлений.
- Логистическая регрессия быстра, стабильна и предоставляет вероятностные выходные данные с хорошо изученным выводом.
- Разделение предварительного обучения и классификации делает конвейер модульным: один и тот же кодировщик может обслуживать несколько последующих логистических классификаторов.
- Хорошо работает в различных областях — изображения, текст, аудио — всякий раз, когда самообучающийся кодировщик может быть предварительно обучен.
Применение
- Классификация медицинских изображений с ограниченным количеством размеченных снимков, но большими неразмеченными архивами.
- Классификация текстов NLP с использованием векторных представлений предложений из самообучающихся языковых моделей.
- Оценка и сравнение различных стратегий самообучающегося предварительного обучения с помощью линейного зондирования.
- Классификация научных данных в биологии и химии, где аннотирование дорого.
- Обнаружение аудиособытий с использованием самообучающихся аудиокодировщиков, за которыми следует логистическая регрессия.
- Адаптация к доменам с низким уровнем ресурсов, где размеченные целевые данные скудны, но доступны неразмеченные данные.
Как это работает
Как это работает
Самообучающаяся предварительная задача определяется на неразмеченных данных: например, предсказание того, связаны ли два аугментированных представления одного и того же изображения (контрастное обучение), восстановление маскированных токенов (маскированные автокодировщики) или предсказание поворотов изображения. Задача обеспечивает сигнал обучения без человеческих меток, заставляя кодировщик изучать семантически значимые представления.
Нейронная сеть-кодировщик — часто сверточная сеть или трансформер — обучается минимизировать потерю предварительной задачи на большом неразмеченном корпусе. После обучения кодировщик улавливает высокоуровневую семантическую структуру в своих промежуточных представлениях (эмбеддингах), даже если метки классов не использовались.
Веса кодировщика замораживаются после предварительного обучения. Каждый размеченный обучающий пример пропускается через замороженный кодировщик для получения вектора эмбеддинга фиксированной длины z. Эти эмбеддинги служат входными признаками для последующего этапа контролируемого обучения, заменяя необработанные входные данные.
Стандартная модель логистической регрессии подгоняется на небольшом размеченном наборе данных с использованием замороженных эмбеддингов z в качестве признаков. Поскольку эмбеддинги уже семантически богаты, логистическая регрессия — линейная граница в пространстве эмбеддингов — часто достаточна для достижения высокой производительности классификации без дальнейшей нейронной донастройки.
Формула
P(y=1 \mid \mathbf{z}) = \sigma(\mathbf{w}^\top \mathbf{z} + b)Обученный логистический классификатор оценивается на отложенном тестовом наборе с использованием стандартных метрик: точность (accuracy), F1, AUC-ROC. В литературе по самообучающемуся обучению это называется протоколом линейной оценки; высокая линейная точность на замороженных признаках сигнализирует о том, что предварительное обучение выявило полезные, линейно разделимые представления.
Частые ошибки
- Оценка на том же пуле неразмеченных данных, что и для предварительного обучения — кодировщик видел эти входные данные, что может завысить оценки последующих задач.
- Предположение о высоком показателе линейного зонда означает, что модель будет обобщаться на другую область без дальнейшей проверки.
- Пропуск аугментации данных или использование слабых аугментаций при контрастном предварительном обучении, что приводит к неоптимальным представлениям.
- Использование слишком маленького набора неразмеченных данных для предварительного обучения, так что кодировщик не изучает достаточно общие представления.
- Забывание заморозить кодировщик во время линейной оценки, что смешивает качество кодировщика с последующей донастройкой.
Часто задаваемые вопросы
Что такое линейный зонд в самообучающемся обучении?
Линейный зонд — это именно такая установка: после самообучающегося предварительного обучения кодировщик замораживается, а простой линейный классификатор — обычно логистическая регрессия — обучается на его выходных эмбеддингах с использованием размеченных данных. Точность линейного зонда оценивает, насколько полезны и линейно разделимы предварительно обученные представления.
Следует ли использовать линейное зондирование или полную донастройку?
Линейное зондирование быстрее и показывает, являются ли представления уже полезными; это стандартный метод оценки. Полная донастройка кодировщика обычно дает более высокую точность последующих задач ценой большего количества размеченных данных и вычислительных ресурсов, а также рискует забыть предварительно обученные представления. На практике сначала проводят линейное зондирование, а затем, при необходимости, донастройку.
Сколько размеченных данных мне нужно для этапа логистической регрессии?
Одним из главных преимуществ является то, что сильные результаты часто достигаются всего с одним-десятью размеченными примерами на класс, когда представления кодировщика высокого качества. Однако типичные оценки используют 1–10% доступных размеченных данных для справедливого сравнения методов.
Должна ли предварительная задача совпадать с моей последующей задачей?
Не совсем, но соответствие имеет значение. Контрастное предварительное обучение в области зрения хорошо переносится на многие задачи классификации изображений. Если предварительная задача сильно отличается от последующей задачи — например, предсказание поворота текста, а затем использование признаков для предсказания свойств молекул — представления могут быть плохими. Всегда проверяйте качество переноса с помощью линейного зонда.
Могу ли я применить это без глубокого нейронного кодировщика?
Самообучающееся предварительное обучение наиболее полезно, когда кодировщик достаточно выразителен, чтобы изучать сложные представления. Для простых табличных данных чаще используются классическая инженерия признаков или автокодировщики; конвейер глубокого самообучения + логистическая регрессия наиболее эффективен для изображений, текста, аудио и других высокоразмерных структурированных входных данных.
Похожие методы
Источники
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), 1597–1607.
Открыть ссылку на публикациюСкопировано.van Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373–440.
Открыть ссылку DOIСкопировано.