Наивный Байес
- Автор метода
- Mitchell, T. M. (textbook treatment)
- Год
- 1997
- Тип
- Probabilistic classifier (Bayes' theorem with conditional independence)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Наивный Байес — это быстрый вероятностный классификатор, который применяет теорему Байеса, предполагая при этом, что признаки условно независимы при заданном классе.
Этот метод получил стандартное изложение в области машинного обучения в учебнике Тома Митчелла «Машинное обучение» 1997 года. Несмотря на это упрощающее («наивное») предположение, он быстро обучается и часто оказывается на удивление точным.
Интуиция метода
Вместо изучения сложных взаимодействий между признаками, Наивный Байес задает более простой вопрос: насколько вероятен каждый признак сам по себе при заданном классе? Затем он перемножает эти вероятности для каждого признака с базовой частотой класса и выбирает класс, который оказывается наиболее вероятным. Предположение об отсутствии взаимодействий признаков делает математику тривиальной, а обучение чрезвычайно быстрым — и на практике результирующий классификатор по-прежнему хорошо ранжирует классы, даже когда предположение о независимости строго не выполняется.
История
Классификаторы Наивного Байеса выросли из классической байесовской теории принятия решений и стали основным инструментом прикладного машинного обучения, особенно для задач классификации текстов, таких как фильтрация спама. Метод получил стандартное учебное изложение в книге Тома Митчелла «Машинное обучение» 1997 года, которая представляет формулировку теоремы Байеса и предположение об условной независимости, давшие классификатору его название.
Когда применять
Хорошо подходит для быстрой классификации, когда у вас есть категориальные, бинарные, непрерывные или текстовые признаки и по крайней мере около 30 наблюдений, особенно в качестве надежной и недорогой базовой модели. Он предъявляет мало требований к распределению в целом, но каждый вариант несет свое предположение о правдоподобии (например, нормальность внутри класса для Гауссова варианта), и он чувствителен к дисбалансу классов. Когда признаки сильно коррелированы или вам нужны откалиброванные оценки эффектов, предпочтите логистическую регрессию.
Ограничения и замечания
- Предположение об условной независимости редко выполняется, поэтому оценки вероятностей могут быть плохо откалиброваны, даже когда ранжирование хорошее.
- Чувствителен к дисбалансу классов: априорные вероятности должны быть скорректированы или данные должны быть повторно выбраны.
- Гауссов Наивный Байес деградирует, когда нарушается предположение о нормальности внутри класса.
- Ненадежен при очень малых выборках, когда оценки вероятностей для каждого класса ненадежны.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Чрезвычайно быстр в обучении и прогнозировании, даже на больших или высокоразмерных данных, таких как текст.
- Хорошо работает как простая, недорогая базовая модель и часто показывает удивительно хорошие результаты, несмотря на наивное предположение.
- Обрабатывает категориальные, бинарные, непрерывные и текстовые признаки с помощью различных вариантов.
- Требует относительно мало обучающих данных для оценки своих параметров.
Применение
- Классификация текстов, такая как фильтрация спама и категоризация документов.
- Быстрая базовая классификация перед попыткой использования более сложных моделей.
- Классификация с категориальными, бинарными, непрерывными признаками или признаками подсчета.
- Высокоразмерные задачи, где важна скорость обучения.
Как это работает
Как это работает
Согласно теореме Байеса, вероятность класса при заданных наблюдаемых признаках пропорциональна априорной вероятности класса, умноженной на правдоподобие этих признаков при данном классе. «Наивный» шаг заключается в предположении, что признаки условно независимы при заданном классе, поэтому совместное правдоподобие раскладывается на простое произведение правдоподобий для каждого признака. Это предположение редко выполняется точно на практике, однако производительность классификатора может быть на удивление высокой.
Формула
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)На основе обучающих данных модель оценивает априорные вероятности классов (насколько распространен каждый класс) и правдоподобия для каждого признака. Форма правдоподобия зависит от варианта: Гауссов Наивный Байес предполагает, что непрерывные признаки нормально распределены в каждом классе, в то время как Мультиномиальный Наивный Байес подходит для подсчета частоты терминов при классификации текстов и не принимает отрицательных значений. Поскольку каждый класс оценивается отдельно, наблюдений для каждого класса должно быть достаточно — в целом не менее 30.
Для нового наблюдения модель объединяет априорную вероятность с произведением правдоподобий для каждого признака для каждого кандидата в классы и присваивает класс с наивысшей результирующей вероятностью. Поскольку классы оцениваются независимо, несбалансированные данные могут исказить результат, поэтому априорные вероятности следует настраивать или выполнять повторную выборку данных.
Формула
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)Частые ошибки
- Доверие к необработанным выходным вероятностям как к откалиброванным, вместо того чтобы рассматривать их как ранжирование.
- Игнорирование дисбаланса классов вместо настройки априорных вероятностей или повторной выборки.
- Подача отрицательных значений в Мультиномиальный Наивный Байес, которые он не принимает.
- Применение Гауссова Наивного Байеса к явно ненормальным непрерывным признакам без проверки.
- Запуск на наборе данных с недостаточным количеством наблюдений на класс (менее ~30 в целом).
Часто задаваемые вопросы
Почему он называется «наивным»?
Потому что он предполагает, что признаки условно независимы при заданном классе — то есть, что знание одного признака ничего не говорит о другом внутри класса. Это редко бывает буквально правдой, но упрощение делает модель тривиальной для оценки и быстрой в работе, а классификатор часто по-прежнему точно ранжирует классы.
Какой вариант мне использовать?
Гауссов Наивный Байес предназначен для непрерывных признаков, предполагаемых нормально распределенными в каждом классе. Мультиномиальный Наивный Байес подходит для данных подсчета или частоты терминов, как при классификации текстов, и не принимает отрицательных значений. Подберите вариант, соответствующий типу ваших признаков.
Могу ли я доверять предсказанным вероятностям?
Используйте предсказанный класс с осторожностью как ранжирование. Поскольку предположение о независимости обычно нарушается, необработанные вероятности имеют тенденцию смещаться к 0 или 1 и часто плохо откалиброваны, даже когда выбранный класс правильный.
Сколько данных ему нужно?
Он экономичен в плане данных, но вам все равно нужно достаточно наблюдений на класс — по крайней мере, примерно 30 в целом — чтобы априорные вероятности классов и правдоподобия для каждого признака могли быть надежно оценены. Ниже этого уровня логистическая регрессия является более безопасным выбором.
Похожие методы
Источники
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN: 978-0070428072Скопировано.