Полусупервизорный наивный байесовский классификатор
- Автор метода
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Год
- 2000
- Тип
- Semi-supervised generative classifier
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полусупервизорный наивный байесовский классификатор (Semi-supervised Naive Bayes) расширяет классическую генеративную модель наивного Байеса, позволяя использовать большие объемы неразмеченных данных наряду с небольшим размеченным набором.
Используя алгоритм максимизации ожидания (Expectation-Maximization, EM), он итеративно выводит мягкие присвоения классов для неразмеченных примеров и переоценивает параметры классов и признаков, что приводит к значительному улучшению качества классификаторов при дефиците размеченных примеров.
Интуиция метода
Классический наивный байесовский классификатор требует размеченных примеров для оценки вероятностей классов и правдоподобия признаков. Когда получение меток дорого, но необработанных данных много, большая часть информации в данных остается неиспользованной. Полусупервизорный наивный байесовский классификатор решает эту проблему, рассматривая неизвестные метки неразмеченных примеров как скрытые переменные: он чередуется между угадыванием этих меток на основе текущей модели (E-шаг) и уточнением модели с использованием этих предположений (M-шаг). За несколько итераций модель самостоятельно "бустрапирует" себя до гораздо более точной оценки параметров, чем это было бы возможно только с размеченными данными.
История
Нигам, МакКаллум, Трун и Митчелл (Nigam, McCallum, Thrun, and Mitchell, 2000) популяризировали полусупервизорный наивный байесовский классификатор для классификации текстов, продемонстрировав, что EM с мультиномиальной моделью наивного Байеса может вдвое сократить частоту ошибок на эталонных наборах данных, когда неразмеченные статьи из новостных групп дополняли небольшой размеченный набор. Подход опирался на более ранние работы по EM для смешанных моделей и стал каноническим примером в литературе по полусупервизорному обучению, подробно обсуждаемым в Chapelle et al. (2006).
Когда применять
Идеально подходит, когда количество размеченных примеров составляет от десятков до нескольких сотен, но доступны большие объемы неразмеченных данных из того же распределения — распространенная ситуация в классификации текстов, фильтрации спама и категоризации биомедицинских документов. Признаки должны быть условно независимыми при данном классе (или приблизительно таковыми), что делает представления "мешка слов" и основанные на подсчете естественными. Избегайте использования, когда неразмеченные данные поступают из другого распределения, чем размеченный набор (сдвиг ковариат), так как обновления EM могут скорее навредить, чем помочь; в таких случаях следует настроить параметр взвешивания lambda. Также избегайте использования, когда предположение об условной независимости сильно нарушается и дискриминативная модель была бы значительно предпочтительнее независимо от дефицита меток.
Ограничения и замечания
- Наследует предположение наивного Байеса об условной независимости; коррелированные признаки ухудшают оценки параметров.
- EM сходится к локальному оптимуму, который зависит от инициализации; может потребоваться несколько случайных перезапусков.
- Неразмеченные данные из смещенного распределения могут ухудшить точность (негативный перенос), если их тщательно не взвешивать.
- Менее конкурентоспособен, чем дискриминативные полусупервизорные методы (например, трансдуктивный SVM, распространение меток) на небольших наборах признаков с сильными корреляциями признаков.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Эффективно использует неразмеченные данные, которые в противном случае были бы отброшены, часто значительно сокращая объем необходимых размеченных данных.
- Вычислительно быстрый: каждая итерация EM линейна по размеру данных, что делает его подходящим для больших текстовых корпусов.
- Принципиальная вероятностная основа с хорошо изученными гарантиями сходимости (к локальному оптимуму правдоподобия).
- Производит калиброванные апостериорные вероятности, что позволяет выполнять последующее ранжирование и пороговую обработку.
- Прост в реализации и расширении — взвешивание с помощью lambda предоставляет практический регулятор для контроля влияния неразмеченных данных.
Применение
- Классификация текстов и документов с ограниченным объемом размеченных обучающих данных.
- Обнаружение спама и фишинга, где размеченный спам дефицитен, но неразмеченных электронных писем много.
- Анализ настроений, "бустрапированный" из нескольких размеченных отзывов.
- Категоризация биомедицинской литературы (например, сортировка статей PubMed) с небольшими экспертно размеченными подмножествами.
- Классификация тем веб-страниц с использованием небольшого вручную размеченного "зерна" и больших проиндексированных корпусов.
- Маршрутизация электронной почты или заявок, где только часть исторических заявок имеет подтвержденные метки категорий.
Как это работает
Как это работает
Обучите начальную модель наивного Байеса, используя только размеченные примеры. Это дает первые оценки априорных вероятностей классов P(y) и условных правдоподобий признаков P(x_j | y) — обычно с использованием сглаживания Лапласа для обработки ранее не встречавшихся значений признаков. Полученная модель является отправной точкой для цикла EM, а не окончательным классификатором.
Примените текущую модель к каждому неразмеченному примеру для вычисления мягких (вероятностных) весов принадлежности к классам. Каждому неразмеченному документу или экземпляру дробно присваиваются все классы пропорционально апостериорной вероятности P(y | x, theta). Эти дробные счетчики дополняют жесткие счетчики из размеченных данных.
Формула
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}Переоцените все параметры модели — априорные вероятности классов и правдоподобия признаков — путем объединения жестких счетчиков из размеченных примеров с дробными счетчиками, накопленными на E-шаге. Неразмеченные примеры вносят вклад пропорционально их выведенным весам классов, поэтому информативные неразмеченные данные существенно сдвигают параметры.
Повторяйте E-шаг и M-шаг до тех пор, пока логарифмическое правдоподобие всех данных (размеченных плюс неразмеченных) не сойдется или не будет достигнуто максимальное количество итераций. Гиперпараметр веса lambda может уменьшить вклад неразмеченных данных, если распределение неразмеченных данных отличается от распределения размеченных, что предотвращает негативный перенос.
После сходимости классифицируйте новые примеры, используя стандартное правило наивного Байеса: присвойте класс с наибольшей апостериорной вероятностью в соответствии с обученными параметрами. Вывод во время выполнения идентичен обычному наивному Байесу — быстрый, в замкнутой форме и подходящий для больших коллекций документов.
Формула
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)Частые ошибки
- Игнорирование несоответствия распределений между размеченными и неразмеченными пулами — всегда проверяйте, что обе выборки взяты из одной и той же задачи и области.
- Опущение настройки lambda, когда качество неразмеченных данных неопределенно; по умолчанию lambda=1 может ухудшить производительность.
- Оценка только на обучающем размеченном наборе без отложенного тестового набора, что завышает кажущуюся точность.
- Рассмотрение сходимости EM как гарантированной оптимальности — всегда сравнивайте с базовой моделью только на размеченных данных и простой базовой моделью самообучения.
- Забывание сглаживания Лапласа, которое вызывает сбои с нулевой вероятностью для невидимых значений признаков во время E-шага.
Часто задаваемые вопросы
Сколько размеченных примеров мне нужно, чтобы получить хорошую начальную модель?
Для текста с большим количеством признаков может быть достаточно всего 10–50 на класс, при условии применения сглаживания Лапласа. Большее количество размеченных примеров всегда помогает, но полусупервизорный подход особенно эффективен, когда у вас менее нескольких сотен размеченных экземпляров.
Что такое параметр lambda и как его настроить?
Lambda контролирует, какой вес получают неразмеченные примеры относительно размеченных во время M-шага (lambda=1 обрабатывает их одинаково; lambda=0 игнорирует их). Настройте его с помощью перекрестной проверки на размеченном наборе, начиная со значений в {0.1, 0.3, 0.5, 1.0}. Уменьшите lambda, если вы подозреваете несоответствие распределений.
Всегда ли EM улучшает наивный байесовский классификатор, обученный только на размеченных данных?
Нет. Если неразмеченные данные поступают из другого распределения, EM может сдвинуть параметры в неверном направлении и увеличить ошибку. Всегда сравнивайте с базовой моделью, обученной только на размеченных данных, прежде чем развертывать полусупервизорную модель.
Чем это отличается от самообучения с наивным байесовским классификатором?
Самообучение присваивает жесткие метки неразмеченным примерам выше порога достоверности, затем переобучает модель. Полусупервизорный наивный байесовский классификатор через EM присваивает мягкие дробные метки всем неразмеченным примерам на каждой итерации, что статистически более обоснованно и позволяет избежать каскада уверенных ошибок, которые могут возникнуть при самообучении.
Подходит ли это для нетекстовых табличных данных?
Да. Для непрерывных признаков замените мультиномиальное правдоподобие гауссовым (или другим параметрическим) правдоподобием для каждого класса. Структура цикла EM идентична; меняются только формулы параметров M-шага.
Похожие методы
Источники
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
Открыть ссылку DOIСкопировано.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Скопировано.