Активное обучение с машиной опорных векторов
- Автор метода
- Tong, S. & Koller, D.
- Год
- 2001
- Тип
- Active learning + kernel classifier
- Семейство
- Machine learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Активное обучение SVM сочетает в себе мощную способность машин опорных векторов (SVM) строить решающую границу с интеллектуальной стратегией запросов, которая выбирает наиболее информативные неразмеченные экземпляры для аннотации человеком.
Предложенный Tong и Koller в 2001 году, этот подход достигает высокой точности классификации, используя значительно меньше размеченных примеров, чем пассивное обучение с учителем, что делает его практичным всякий раз, когда разметка является дорогостоящей или медленной.
Интуиция метода
Стандартный SVM требует множества размеченных примеров для построения надежной решающей границы. Активное обучение SVM меняет рабочий процесс разметки: он обучает предварительный SVM на небольшом размеченном начальном наборе, затем просматривает все неразмеченные данные и задает вопрос: «Какой пример, если его разметить, наиболее сильно заострит границу?» Он выбирает экземпляр, находящийся ближе всего к текущей гиперплоскости — где модель наиболее неопределенна — размечает только эту точку, переобучает модель и повторяет процесс. Поскольку каждая метка выбирается стратегически, удивительно небольшое количество аннотаций может создать границу, почти такую же хорошую, как при исчерпывающей разметке.
История
Основополагающая формулировка активного обучения для SVM была представлена Саймоном Тонгом и Дафной Коллер на ICML 2001 и опубликована в Journal of Machine Learning Research (2001). Их алгоритм Simple Margin установил выбор запросов на основе отступа как стандартный подход. Обзор литературы Берра Сеттлза 2010 года систематизировал более широкую область активного обучения и закрепил AL-SVM как одну из его канонических реализаций. Метод остается эталоном в исследованиях по эффективному обучению с аннотациями и широко используется в классификации текстов, биомедицинском анализе изображений и дистанционном зондировании.
Когда применять
Используйте активное обучение SVM, когда размеченные данные дефицитны или дороги в получении — что часто встречается в медицинской визуализации, классификации документов и задачах научной аннотации — и доступен большой пул неразмеченных данных. Оно превосходит случайную разметку, когда затраты на разметку высоки, а решающая граница нетривиальна. Не используйте его, когда разметка всех доступных данных уже осуществима; когда пространство признаков является чрезвычайно высокоразмерным без четкой структуры ядра; или когда неразмеченный пул слишком мал, чтобы получить выгоду от выборочного запроса. Также избегайте, когда доступность оракула прерывиста, так как итеративный цикл требует многократного доступа человека.
Ограничения и замечания
- Переобучение SVM с нуля на каждой итерации является вычислительно затратным для больших размеченных пулов; инкрементальные обновления SVM смягчают, но не устраняют затраты.
- Выборка по отступу может выбирать избыточные или выбросные экземпляры, если неразмеченный пул содержит шум или дубликаты вблизи границы.
- Производительность сильно зависит от выбора ядра и гиперпараметров, которые трудно надежно настроить при малом количестве размеченных примеров.
- Предполагается, что оракул всегда доступен и непогрешим; зашумленные или непоследовательные метки от реальных аннотаторов ухудшают сходимость.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Достигает высокой точности классификации при значительно меньшем количестве размеченных примеров, чем пассивное обучение с учителем.
- Тесно основано на теории SVM: выбор запросов на основе отступа имеет четкое геометрическое и вероятностное обоснование.
- Гибкий выбор ядра (линейное, RBF, полиномиальное) позволяет адаптироваться к текстовым, графическим и табличным пространствам признаков.
- Формулировка на основе пула практична: весь неразмеченный набор доступен заранее, что часто встречается в реальных приложениях.
- Итеративное переобучение дает естественную кривую мониторинга производительности в зависимости от бюджета аннотаций.
Применение
- Классификация текстов и документов с дорогостоящей экспертной аннотацией (например, юридические, медицинские записи).
- Разметка биомедицинских изображений, где время радиолога или патологоанатома является ограничивающим фактором.
- Дистанционное зондирование и классификация спутниковых изображений с большими неразмеченными архивами.
- Обнаружение спама и вторжений, где разметка требует проверки экспертом по безопасности.
- Аннотация научных данных в геномике или материаловедении с высокой стоимостью разметки за экземпляр.
Как это работает
Как это работает
SVM обучается на небольшом начальном пуле размеченных примеров, устанавливая раннюю решающую гиперплоскость. Качество этого начального набора имеет значение: баланс классов и репрезентативное разнообразие важны даже при наличии нескольких примеров.
Алгоритм оценивает каждый неразмеченный экземпляр по его расстоянию до текущей гиперплоскости SVM. Экземпляр с наименьшим абсолютным значением отступа — то есть, ближайший к границе, где модель наименее уверена — выбирается в качестве следующего запроса. Эта стратегия известна как выборка по отступу (margin sampling) или простой отступ (simple margin).
Формула
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|Выбранный экземпляр представляется человеку-аннотатору (оракулу), который присваивает истинную метку класса. В активном обучении на основе пула (pool-based active learning) это один экземпляр за итерацию; варианты пакетного режима выбирают разнообразный мини-пакет для сокращения раундов взаимодействия с оракулом.
Недавно размеченный экземпляр добавляется к размеченному набору, и SVM переобучается с нуля (или обновляется инкрементально) на расширенном наборе. Выбор ядра (линейное, RBF, полиномиальное) и параметр регуляризации C фиксируются или кросс-валидируются на размеченном пуле.
Цикл продолжается до тех пор, пока не будет исчерпан заранее определенный бюджет (количество аннотаций, временной лимит или целевая точность на отложенном валидационном наборе) или пока отступ запрашиваемых экземпляров не пересечет порог уверенности, указывающий на достаточную определенность модели.
Частые ошибки
- Начало с несбалансированного по классам начального набора, что смещает начальную гиперплоскость и искажает все последующие запросы в сторону одной области.
- Игнорирование масштабирования признаков: отступы SVM основаны на расстоянии, поэтому не масштабированные признаки приводят к тому, что модель полностью игнорирует измерения с низкой дисперсией.
- Рассмотрение точности размеченного пула как надежной оценки производительности без отдельного отложенного тестового набора.
- Выбор слишком большого пакета за раунд, что вновь приводит к неэффективности пассивной разметки и снижает выгоду от активного выбора.
- Использование линейного ядра для изначально нелинейных данных, а затем приписывание плохих результатов активному обучению, а не неправильной спецификации модели.
Часто задаваемые вопросы
Чем активное обучение SVM отличается от стандартного SVM?
Стандартный SVM пассивно использует любые предоставленные размеченные данные. Активное обучение SVM активно выбирает, для каких неразмеченных экземпляров запрашивать метки, выбирая те, которые находятся ближе всего к текущей решающей границе. Модель классификации — это тот же SVM; меняется только стратегия сбора данных.
Какую стратегию запросов мне следует использовать?
Simple Margin (выбор единственного ближайшего неразмеченного экземпляра к гиперплоскости) является канонической и наиболее изученной стратегией. Варианты пакетного режима, которые максимизируют разнообразие в выбранном наборе, предпочтительны, когда раунды взаимодействия с оракулом дорогостоящи, за счет несколько более сложной реализации.
Когда мне следует прекратить запросы?
Общие критерии остановки включают исчерпание фиксированного бюджета аннотаций, достижение целевой точности на валидационном наборе или наблюдение, что последовательно запрашиваемые экземпляры находятся далеко от границы (что указывает на стабилизацию уверенности модели). Избегайте полагаться исключительно на производительность на обучающем наборе, которая является чрезмерно оптимистичной.
Может ли активное обучение SVM обрабатывать многоклассовые задачи?
Да, с помощью декомпозиций «один против всех» или «один против одного». Отступ для многоклассового выбора запросов обычно определяется как разница между двумя наивысшими оценками классов; выбираются экземпляры с наименьшим таким разрывом. Некоторые реализации используют специализированные критерии активного обучения для многоклассовой классификации.
Делает ли глубокое обучение активное обучение SVM устаревшим?
Не совсем. Активное обучение SVM остается конкурентоспособным, когда размеченных данных очень мало (от десятков до нескольких сотен примеров), вычислительные ресурсы для обучения ограничены или ценится интерпретируемость отступа. Методы глубокого активного обучения становятся предпочтительными только при наличии ресурсов GPU и очень большого неразмеченного пула.
Похожие методы
Источники
Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.
Открыть ссылку на публикациюСкопировано.Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Открыть ссылку на публикациюСкопировано.