Skip to content
Назад к результатам поиска

Самообучающееся решающее дерево

Автор метода
Multiple authors (active research area, 2010s–2020s)
Год
2015–present
Тип
Self-supervised ensemble/single tree model
Семейство
Machine learning

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Самообучающееся решающее дерево сочетает интерпретируемость классических решающих деревьев со способностью использовать большие объемы неразмеченных данных посредством предварительных самообучающихся задач.

Модель изучает полезные представления признаков или критерии разделения узлов на неразмеченных выборках перед уточнением прогнозов на небольшом размеченном наборе, преодолевая разрыв между полностью размеченными деревьями и чисто неразмеченной кластеризацией.

Интуиция метода

Стандартным решающим деревьям требуются размеченные примеры в каждом узле. Во многих реальных сценариях сбор меток является дорогостоящим, но необработанные данные обильны. Самообучающиеся решающие деревья решают эту проблему, сначала предлагая дереву решить вспомогательную задачу — например, предсказать, принадлежат ли два образца одному кластеру, или восстановить маскированные признаки — используя только неразмеченные данные. Этот предварительный этап учит дерево, какие признаки и пороги являются глобально информативными. Когда метки наконец поступают, дерево уже имеет преимущество и нуждается в гораздо меньшем их количестве для достижения хорошей точности.

История

Самообучение как парадигма получило известность в глубоком обучении благодаря работам по контрастным целям и предварительным задачам в 2010-х годах. Исследователи впоследствии применили эти идеи к древовидным моделям, чтобы восстановить их преимущества в интерпретируемости в условиях нехватки меток. Ранние формулировки заимствовали псевдо-разметку из полуобучения, в то время как более поздние варианты приняли контрастные и реконструирующие цели непосредственно в критерий построения дерева, что сделало эту область активной областью исследований в 2020-х годах.

Когда применять

Рекомендуется, когда размеченные обучающие примеры редки, но имеется большой неразмеченный пул того же распределения, и когда все еще требуется некоторая степень интерпретируемости (исключая глубокие нейронные подходы). Также подходит, когда эксперты предметной области могут разработать осмысленные предварительные задачи, соответствующие целевому прогнозу. Не подходит, когда размеченный набор уже велик (стандартные размеченные деревья будут соответствовать или превосходить производительность), когда неразмеченные данные поступают из другого распределения, или когда максимальная предсказательная точность на табличных бенчмарках является единственной заботой (градиентный бустинг, как правило, превзойдет его).

Ограничения и замечания

  • Производительность чувствительна к дизайну предварительной задачи; плохо выбранная задача может ввести в заблуждение структуру дерева.
  • Шум в псевдо-метках накапливается при разделениях, если распределение неразмеченных данных смещается относительно размеченных данных.
  • Вычислительные затраты выше, чем у стандартных размеченных деревьев, из-за этапа предварительного обучения.
  • Теоретические гарантии качества псевдо-меток и сходимости менее установлены, чем для полностью размеченных деревьев.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Использует обильные неразмеченные данные для улучшения обобщения при нехватке размеченных образцов.
  • Сохраняет интерпретируемость решающих деревьев: разделения остаются читаемыми для человека и проверяемыми.
  • Гибкая структура, которая допускает разнообразные предварительные задачи, адаптированные к знаниям предметной области.
  • Снижает затраты на разметку без ущерба для природы предсказаний на основе деревьев типа «белый ящик».
  • Совместимость с ансамблевыми расширениями (случайный лес, бустинг) для дальнейшего повышения точности.

Применение

  • Медицинская диагностика, где размеченные записи пациентов редки, но неразмеченные изображения или клинические данные обильны.
  • Промышленное обнаружение неисправностей с использованием обильных журналов датчиков нормальной работы и небольшого количества размеченных событий неисправностей.
  • Классификация естественного языка с ограниченными аннотированными корпусами, но большими пулами необработанного текста.
  • Обнаружение финансовых мошенничеств, где подтвержденные метки мошенничества редки по сравнению с объемом транзакций.
  • Анализ научных данных (геномика, климат), где аннотация экспертами является узким местом.

Как это работает

Как это работает

1

Предварительная задача разрабатывается таким образом, чтобы решающее дерево могло обучаться на неразмеченных данных с автоматически генерируемыми управляющими сигналами. Распространенные варианты включают предсказание принадлежности к кластеру на основе предыдущего прохода k-средних, предсказание маскированных или поврежденных значений признаков, или назначение метки поворота/преобразования экземплярам. Предварительная задача заставляет структуру дерева обнаруживать информативные разделения без каких-либо меток, предоставленных человеком.

2

После предварительного этапа неразмеченным экземплярам назначаются псевдо-метки с высокой степенью уверенности, используя уже изученные представления или назначения кластеров. Эти псевдо-метки обрабатываются как мягкие цели при последующем обучении, эффективно расширяя размеченный пул от небольшого начального набора до гораздо большего рабочего набора, одновременно распространяя оценки структурной неопределенности вместе с каждой меткой.

3

Используя комбинированный сигнал от псевдо-меток и любых доступных истинных меток, решающее дерево строится с использованием стандартного алгоритма разделения (например, CART, ID3 или C4.5). Признаки, полученные из предварительного этапа, или оценки кластеров могут служить дополнительными входными измерениями, обогащая пространство признаков за пределами необработанных входов и позволяя выполнять разделения, которые были бы упущены чисто размеченным деревом при редких метках.

4

Разделения узлов выбираются для максимизации информационного критерия — прироста информации, индекса Джини или самообучающейся контрастной цели — оцененного по расширенному обучающему набору. Поскольку псевдо-метки отражают глобальную структуру, изученную на многих неразмеченных образцах, разделения, как правило, обобщаются лучше, чем те, которые изучены только на крошечном размеченном наборе.

5

После построения первоначального дерева этап дообучения повторно обрезает или перевзвешивает предсказания листьев, используя только проверенные размеченные примеры. Это исправляет любой шум в псевдо-метках, возникший на предыдущих этапах, и гарантирует, что окончательные предсказания соответствуют истинным границам классов, а не приблизительным границам псевдо-меток.

Частые ошибки

  • Разработка предварительной задачи, не связанной с последующей целью, что приводит к представлениям, которые не передаются.
  • Использование псевдо-меток без пороговой обработки уверенности, что приводит к заполнению обучающего набора зашумленными примерами.
  • Пропуск этапа дообучения и прямое развертывание дерева, обученного на псевдо-метках, что сохраняет систематические ошибки разметки.
  • Игнорирование сдвига распределения между размеченными и неразмеченными пулами — псевдо-метки будут отражать неправильную структуру данных.
  • Рассмотрение интерпретируемости как гарантированной без проверки того, что разделения, полученные из псевдо-меток, остаются семантически осмысленными.

Часто задаваемые вопросы

Чем это отличается от полуобучения с решающими деревьями?

Полуобучающие подходы обычно напрямую распространяют метки из размеченных узлов в неразмеченные. Самообучающиеся решающие деревья сначала определяют предварительную задачу, которая генерирует синтетические управляющие сигналы только из неразмеченных данных, давая дереву более богатое структурное руководство до получения каких-либо последующих меток.

Какую предварительную задачу мне выбрать?

Лучшая предварительная задача отражает последующую цель. Для табличной классификации распространенными отправными точками являются предсказание кластеров k-средних или реконструкция маскированных признаков. Если доступны знания предметной области — например, временной порядок в строках временных рядов — задача, использующая эту структуру, будет лучше передаваться.

Работает ли это для регрессионных целей?

Да. Псевдо-метки могут быть непрерывными центроидами кластеров или реконструированными значениями признаков, а дерево может быть построено с критерием среднеквадратичной ошибки на этапе дообучения. Предварительная задача просто должна производить сигнал, коррелирующий с непрерывным исходом.

Могу ли я объединить это со случайными лесами или бустингом?

Да. Каждое дерево в ансамбле может быть построено независимо с использованием самообучающейся процедуры, а окончательный ансамбль агрегирует их голоса или предсказания обычным образом. Это часто восстанавливает значительную часть разрыва в точности по сравнению с градиентным бустингом, сохраняя при этом интерпретируемость на уровне отдельных деревьев.

Как оценить качество псевдо-меток?

Сравните точность псевдо-меток на небольшой размеченной подвыборке с истинными метками перед дообучением. Точность псевдо-меток ниже 70% на этом отложенном размеченном наборе является предупреждающим знаком того, что предварительная задача плохо согласована или присутствует сдвиг распределения.

Похожие методы

Источники

  1. Self-supervised learning. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.
  2. Decision tree learning. Wikipedia.

    Открыть ссылку на публикацию
    Скопировано.