Случайный лес с частичной разметкой
- Автор метода
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- Год
- 2009
- Тип
- Semi-supervised ensemble classifier
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Полуавтоматический случайный лес (SSL-RF) расширяет классический случайный лес, используя как размеченные, так и неразмеченные обучающие примеры.
Когда разметка данных является дорогостоящей или трудоемкой, SSL-RF назначает предварительные псевдо-метки неразмеченным наблюдениям с помощью самого леса, затем переобучается на обогащенном наборе данных, постепенно повышая точность без необходимости дополнительной ручной аннотации.
Интуиция метода
Представьте, что вы просите группу экспертов (ваши деревья) классифицировать случаи, но большинство файлов случаев не имеют подтвержденного диагноза. SSL-RF позволяет группе голосовать по неопределенным файлам, рассматривает уверенные голоса как предварительные диагнозы, добавляет эти файлы в обучающий пул и переобучается — повторяя процесс до тех пор, пока группа не придет к консенсусу. Размеченные примеры направляют лес, в то время как неразмеченное большинство формирует границы решений в областях, которые одни только размеченные данные не могли бы достичь, что приводит к лучшей обобщающей способности, когда метки редки.
История
Полуавтоматическое обучение как область было систематически исследовано Сяоцзинь Чжу (2005), установив теоретическую мотивацию для использования неразмеченных данных. Каноническая формулировка SSL-RF была представлена Лейстнером и др. на ICCV 2009, объединяя разделение на основе энтропии с регуляризацией многообразий в рамках случайного леса. Метод получил распространение в компьютерном зрении и медицинской визуализации, где затраты на аннотацию высоки, и с тех пор был расширен интеграцией глубоких признаков и вариантами графовой передачи меток.
Когда применять
Используйте полуавтоматический случайный лес, когда у вас есть обильные неразмеченные данные, но разметка является дорогостоящей, редкой или трудоемкой — что часто встречается в медицинской визуализации, дистанционном зондировании, классификации текстов и биологических данных. Он подходит для табличных данных, данных, полученных из изображений, и смешанных типов данных с хотя бы скромным размеченным подмножеством (примерно 5–20% от общего объема данных). Избегайте его, когда надежных меток практически нет (начальный лес будет слишком слабым, чтобы генерировать полезные псевдо-метки), когда границы классов сильно негладкие, или когда полностью контролируемая модель уже достигает удовлетворительной производительности только на вашем размеченном наборе.
Ограничения и замечания
- Качество псевдо-меток зависит от начального контролируемого леса; слабая начальная модель распространяет ошибки через все последующие итерации.
- Выбор порога уверенности нетривиален и может существенно повлиять на конечную производительность.
- Вычислительные затраты масштабируются с количеством неразмеченных образцов и итераций, особенно для больших лесов.
- Если распределение неразмеченных данных отличается от распределения размеченных данных (сдвиг ковариат), псевдо-метки могут систематически смещаться.
- Сходимость не гарантируется; итеративное самообучение может усиливать ранние ошибки классификации без тщательных критериев остановки.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Использует дешевые неразмеченные данные для повышения точности сверх того, что могут достичь только размеченные данные.
- Наследует все преимущества случайного леса: робастность, встроенную важность признаков и устойчивость к переобучению с помощью бэггинга.
- Гибкий порог уверенности позволяет контролировать, насколько агрессивно включаются неразмеченные данные.
- Естественно обрабатывает смешанные типы признаков, нелинейные зависимости и высокоразмерный ввод без предположений о распределении.
- Оценки вне выборки (out-of-bag) из размеченной части обеспечивают сигнал валидации даже при небольших размеченных наборах.
- Применим как к задачам классификации, так и к регрессии с минимальными алгоритмическими изменениями.
Применение
- Классификация медицинских изображений, где экспертная аннотация дорога, например, гистопатология и радиология.
- Анализ данных дистанционного зондирования и спутниковых снимков с ограниченным количеством истинных меток.
- Классификация текстов и документов, когда вручную можно разметить только часть документов.
- Анализ биологических и геномных данных, где лабораторная валидация требует больших ресурсов.
- Промышленный контроль качества с редкими метками неисправностей, но обильными неразмеченными показаниями датчиков.
- Обнаружение мошенничества, где подтвержденные случаи мошенничества редки по сравнению с неразмеченными транзакциями.
Как это работает
Как это работает
Процесс начинается с небольшого размеченного набора и большого неразмеченного набора. Размеченные наблюдения устанавливают начальное пространство признаков и распределение классов, гарантируя, что перед любой попыткой псевдо-разметки существует хотя бы один надежный сигнал.
Стандартный случайный лес обучается только на размеченных данных. Бутстрэп-выборка и случайный выбор признаков применяются точно так же, как и в случае с обучением с учителем, создавая ансамбль, предсказания которого отражают только доступные на данном этапе истинные метки.
Обученный лес предсказывает вероятности классов для каждого неразмеченного наблюдения. Образцы, предсказанная вероятность которых превышает порог уверенности — часто настраиваемый с помощью кросс-валидации — получают псевдо-метку. Образцы с низкой уверенностью могут оставаться неразмеченными или иметь пониженный вес, чтобы избежать распространения ошибок.
Лес переобучается на объединенном пуле исходных размеченных примеров и вновь псевдо-размеченных. Опциональное взвешивание образцов может снижать вес псевдо-размеченных экземпляров по сравнению с истинными метками. На этом этапе также могут применяться регуляризация многообразий или критерии разделения на основе энтропии.
Шаги псевдо-разметки и переобучения повторяются в течение фиксированного числа итераций или до тех пор, пока назначения псевдо-меток не стабилизируются в течение последовательных раундов. Ранняя остановка предотвращает накопление ошибок из-за чрезмерной уверенности, особенно в условиях высокого шума или высокого перекрытия.
Окончательные предсказания получаются путем агрегирования голосов всех деревьев в последнем обученном лесу: большинство голосов для классификации или средний отклик для регрессии. Оценки уверенности из леса также могут служить откалиброванными оценками неопределенности для последующего принятия решений.
Формула
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}Частые ошибки
- Установка порога уверенности слишком низким и заполнение обучающего набора шумными псевдо-метками.
- Игнорирование сдвига ковариат между размеченными и неразмеченными пулами, что может ухудшить, а не улучшить точность.
- Оценка исключительно по оценкам вне выборки без действительно отложенного размеченного тестового набора.
- Выполнение слишком большого количества итераций самообучения без ранней остановки, вызывающее накопление ошибок в раундах.
- Рассмотрение псевдо-размеченных наблюдений как столь же надежных, как и истинные метки, без применения какого-либо взвешивания образцов.
Часто задаваемые вопросы
Сколько размеченных данных мне нужно для начала?
Жесткого минимума нет, но начальный контролируемый лес должен быть достаточно сильным, чтобы генерировать полезные псевдо-метки. На практике, когда размечено по крайней мере 5–10% от общего числа образцов, или несколько сотен размеченных наблюдений, обычно получаются надежные начальные предсказания. При очень малом количестве меток рассмотрите вместо этого ко-тренинг или графовые методы.
Как выбрать порог уверенности для псевдо-разметки?
Проведите кросс-валидацию на размеченном наборе по сетке значений порога (например, от 0.60 до 0.95) и выберите значение, которое максимизирует производительность на отложенной выборке. Более высокий порог уменьшает шум, но также и объем используемых неразмеченных данных; консервативное начало около 0.80 является обычной практикой.
Может ли SSL-RF обрабатывать несбалансированные классы?
Да, но несбалансированность классов в размеченном наборе распространяется на псевдо-метки. Используйте критерии разделения с весами классов или передискретизируйте миноритарный класс в размеченном пуле перед первым шагом обучения. Отслеживайте точность и полноту по классам, а не общую точность.
Является ли SSL-RF тем же, что и самообучение с базовым учеником случайного леса?
Самообучение — это более широкая алгоритмическая схема; SSL-RF — одна из ее реализаций. Реализации SSL-RF также могут включать критерии разделения с регуляризацией многообразий или графовую структуру, выходя за рамки наивного итеративного самообучения.
Когда следует предпочесть градиентный бустинг SSL-RF?
Если все ваши данные размечены, градиентный бустинг обычно дает более высокую точность и должен быть предпочтительным. Используйте SSL-RF специально, когда доля размеченных данных мала, а большой пул неразмеченных данных доступен для использования.
Похожие методы
Источники
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
Открыть ссылку DOIСкопировано.Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
Открыть ссылку на публикациюСкопировано.