Online Naive Bayes
- Автор метода
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- Год
- 2000s
- Тип
- Probabilistic classifier (online/incremental)
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Online Naive Bayes — это инкрементальная адаптация классического классификатора Naive Bayes, которая обновляет свои условно-классовые статистики по одному наблюдению (или одному мини-пакету) за раз, что делает его хорошо подходящим для потоков данных, очень больших наборов данных, которые не могут храниться в памяти, и сценариев, где модель должна постоянно адаптироваться по мере поступления новых размеченных примеров.
Интуиция метода
Классический Naive Bayes считывает все обучающие данные за один раз, вычисляет априорные вероятности классов и правдоподобия признаков, а затем фиксирует свои параметры. Вместо этого Online Naive Bayes поддерживает скользящие счетчики или достаточные статистики (средние значения, дисперсии, частоты признаков), которые инкрементально обновляются с каждым новым примером. Поскольку предположение о независимости признаков в условной вероятности Naive Bayes означает, что правдоподобие факторизуется на члены для каждого признака, статистики каждого признака могут обновляться независимо и с низкими затратами, что делает модель естественно подходящей для однопроходного обучения на потоках без ущерба для механизма вероятностного предсказания.
История
Naive Bayes имеет корни в байесовской статистике, восходящие к XVIII веку, но его использование в качестве классификатора текста было популяризировано в 1990-х годах (например, McCallum & Nigam, 1998). Инкрементальный вариант получил систематическое внимание в сообществе исследователей потоковой обработки данных в начале 2000-х годов, в частности, благодаря работе Domingos и Hulten по анализу высокоскоростных потоков данных (KDD 2000). В настоящее время это стандартный компонент инструментария для обработки потоков и напрямую реализован в scikit-learn через API partial_fit.
Когда применять
Используйте Online Naive Bayes, когда данные поступают в виде потока или слишком велики, чтобы загрузить их в память одновременно, когда требуются быстрые инкрементальные обновления с низким потреблением памяти, или когда модель должна постоянно адаптироваться к новым примерам (например, классификация текста в реальном времени, фильтрация спама или классификация событий в конвейерах IoT). Это также является надежной базовой моделью для высокоразмерных разреженных текстовых данных (мешок слов, TF-IDF) в потоковых сценариях. Не используйте его, когда предположение о независимости признаков сильно нарушено и имеется достаточно данных для обучения более выразительной модели в пакетном режиме, когда признаки сильно коррелируют и захват взаимодействий имеет решающее значение, или когда распределения классов крайне несбалансированы без коррекции.
Ограничения и замечания
- Наивное предположение о независимости признаков редко выполняется точно и может снизить точность, когда признаки сильно коррелируют.
- Не может изучать взаимодействия признаков; каждый признак вносит независимый вклад в апостериорную вероятность.
- Дрейф концепции требует явных механизмов забывания (например, скользящих окон, коэффициентов затухания), поскольку модель по умолчанию накапливает все исторические свидетельства.
- Гауссовский Naive Bayes предполагает унимодальные, примерно гауссовские распределения признаков для каждого класса, что может не выполняться.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Обрабатывает один пример за раз со стоимостью обновления O(1) на признак, что делает его чрезвычайно быстрым и эффективным по памяти для потоковых данных.
- Естественно вероятностный: выдает откалиброванные апостериорные вероятности классов, а не просто жесткие метки.
- Масштабируется до очень высокоразмерных пространств признаков (например, текст) без существенного снижения скорости.
- Нет необходимости хранить исторические данные; модель полностью определяется ее достаточными статистиками.
- Прост в реализации и понимании; предположение о независимости признаков часто работает на практике лучше, чем ожидалось.
Применение
- Обнаружение спама и фишинга в реальном времени в потоках электронной почты или сообщений.
- Инкрементальная классификация текста в новостных лентах или социальных сетях в реальном времени.
- Классификация событий датчиков в системах IoT, где данные поступают непрерывно.
- Базовый классификатор для высокоразмерных пространств признаков типа "мешок слов" или TF-IDF.
- Онлайн-анализ тональности потоковых отзывов клиентов или сообщений в социальных сетях.
- Любая задача классификации, слишком большая для загрузки в память, где приемлема быстрая вероятностная модель.
Как это работает
Как это работает
Априорные вероятности классов P(C_k) = N_k / N инициализируются на основе имеющихся размеченных данных при запуске (или устанавливаются равномерными). Достаточные статистики для каждого признака — счетчики для категориальных признаков, скользящее среднее и дисперсия для гауссовских признаков — инициализируются аналогично.
Формула
P(C_k) = N_k / N
При поступлении нового размеченного примера (x, y) счетчик класса N_y увеличивается на единицу, а достаточные статистики для каждого признака x_i при классе y обновляются: счетчики увеличиваются для признаков Бернулли или Мультиномиального распределения, а скользящее среднее и дисперсия обновляются с использованием алгоритма Велфорда для гауссовских признаков. Нет необходимости повторно обрабатывать старые примеры.
Во время предсказания (или после каждого обновления) правдоподобия для каждого признака P(x_i | C_k) вычисляются на основе текущих достаточных статистик. Для гауссовского Naive Bayes оценивается гауссовская функция плотности вероятности (PDF); для вариантов Мультиномиального или Бернулли используются сглаженные отношения частот.
Формула
P(x_i | C_k)
Апостериорная вероятность для каждого класса вычисляется как произведение априорной вероятности класса и всех правдоподобий для каждого признака, после чего возвращается класс с наибольшей апостериорной вероятностью. Поскольку на практике используются логарифмы, это сводится к сумме и позволяет избежать численного переполнения.
Формула
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)Частые ошибки
- Забывание применения сглаживания Лапласа (добавление единицы) для вариантов Мультиномиального/Бернулли, что приводит к проблемам с нулевой вероятностью для невиданных значений признаков.
- Игнорирование дрейфа концепции: без стратегии забывания или оконной стратегии модель медленно устаревает на нестационарных потоках.
- Использование гауссовского Naive Bayes для данных подсчета (например, подсчет слов) вместо мультиномиального Naive Bayes.
- Рассмотрение вероятностей модели как идеально откалиброванных без проверки; может потребоваться изотоническая регрессия или масштабирование Платта.
- Оценка только по точности при наличии несбалансированности классов; используйте точность (precision), полноту (recall) и F1-меру для каждого класса.
Часто задаваемые вопросы
Как Online Naive Bayes обрабатывает дрейф концепции?
По умолчанию он накапливает все свидетельства, поэтому медленно адаптируется к дрейфу. Чтобы реагировать быстрее, применяйте скользящее окно (учитывайте только недавние примеры), экспоненциальное забывание (придавайте меньший вес старым наблюдениям) или сбрасывайте достаточные статистики при обнаружении дрейфа.
Какой вариант использовать — гауссовский, мультиномиальный или бернулли?
Используйте мультиномиальный или бернулли Naive Bayes для текста (векторы признаков подсчета или бинарные) и гауссовский Naive Bayes для непрерывных признаков, которые примерно нормально распределены в каждом классе. Логика инкрементального обновления немного отличается, но все варианты поддерживают инкрементальные обновления.
Конкурентоспособен ли Online Naive Bayes с более сложными онлайн-моделями?
На высокоразмерных разреженных текстах он часто конкурентоспособен с онлайн-логистической регрессией или онлайн-SVM при более низкой вычислительной стоимости. На плотных, низкоразмерных или сильно коррелированных наборах признаков онлайн-логистическая регрессия или градиентный бустинг обычно превосходят его.
Как следует оценивать онлайн-классификатор?
Используйте преквенциальную (сначала тест, затем обучение) оценку: предсказывайте каждый пример перед обновлением модели, затем обновляйте. Это дает несмещенную оценку производительности в потоковом режиме без отдельного набора для проверки.
Можно ли инициализировать Online Naive Bayes из пакетно обученной модели?
Да. Обучите пакетную модель Naive Bayes на начальном наборе данных, чтобы получить хорошие начальные достаточные статистики, а затем переключитесь на инкрементальные обновления. Этот подход с "теплым" стартом позволяет избежать неточности "холодного" старта случайно инициализированной модели.
Похожие методы
Источники
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
Открыть ссылку DOIСкопировано.Online machine learning. Wikipedia.
Открыть ссылку на публикациюСкопировано.