Skip to content
Назад к результатам поиска

Дистилляция знаний

Автор метода
Hinton, G., Vinyals, O. & Dean, J.
Год
2015
Тип
Neural network compression (teacher–student)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Дистилляция знаний — это метод сжатия моделей, представленный Джеффри Хинтоном и его коллегами в 2015 году, который обучает небольшую модель-ученика, используя мягкие выходные метки большой модели-учителя.

Дистиллированные модели, такие как DistilBERT и TinyBERT, достигают примерно 97% производительности большей модели, работая при этом значительно быстрее.

Интуиция метода

Большая, точная модель часто слишком медленна или громоздка для развертывания. Вместо того чтобы обучать небольшую модель с нуля только на жестких метках, вы позволяете ей учиться на богатых выходных вероятностях большой модели: полное распределение классов учителя несет гораздо больше информации, чем один правильный ответ, раскрывая, какие классы похожи и насколько уверен учитель. Ученик усваивает эти «темные знания» и в итоге оказывается намного меньше, но почти столь же способен.

История

Дистилляция знаний была представлена Джеффри Хинтоном, Ориолом Виньяльсом и Джеффом Дином в статье на семинаре по глубокому обучению NeurIPS 2015, где было предложено сжатие большой модели в малую путем соответствия сглаженным выходным данным большей модели. Она стала стандартным инструментом для развертывания компактных глубоких моделей; DistilBERT Санха и его коллег 2019 года показал дистиллированную версию BERT, которая меньше, быстрее, дешевле и легче, сохраняя при этом большую часть точности оригинала.

Когда применять

Используйте его, когда у вас есть сильный, но громоздкий обученный учитель и вам нужен меньший, более быстрый ученик для развертывания на текстовых или непрерывных признаковых задачах, имея не менее примерно 100 наблюдений, специфичных для задачи. Предполагается, что модель-учитель уже обучена и доступна, а набор данных, специфичный для задачи, готов. При количестве наблюдений менее примерно 500 ученик не может достаточно дистиллировать от учителя, и возникает риск переобучения; при количестве менее примерно 100 дистилляция бессмысленна, и классическое машинное обучение является более безопасным выбором.

Ограничения и замечания

  • Требует уже обученной, доступной модели-учителя — дистилляция не может начаться без нее.
  • Нужен набор данных, специфичный для задачи; при недостаточном количестве данных ученик мало усваивает от учителя.
  • На малых наборах данных (n менее примерно 500) ученик переобучается и не усваивает знания учителя.
  • Добавляет конвейер обучения и нагрузку по настройке (температура, вес смешивания) поверх исходной модели.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Дает гораздо меньшую, более быструю модель, которая может восстановить около 97% производительности учителя.
  • Мягкие метки учителя несут более богатую информацию, чем жесткие метки, улучшая обобщение ученика.
  • Мало предположений: не требует нормально распределенных данных.
  • Повторно использует существующего обученного учителя, поэтому подходит для развертывания и обслуживания, где важны скорость и размер.

Применение

  • Сжатие больших языковых моделей в развертываемые модели-ученики, такие как DistilBERT и TinyBERT.
  • Ускорение инференса для классификации и предсказания текста, где полный учитель слишком медленный.
  • Уменьшение моделей для сред обслуживания с ограниченными ресурсами или чувствительных к задержкам.
  • Перенос возможностей тяжелой модели в легкую без переобучения с нуля.

Как это работает

Как это работает

1

Большая, хорошо обученная модель-учитель считается данной — она должна быть уже обучена и доступна. Этот учитель обладает предсказательной силой, которую вы хотите сохранить, но его слишком дорого использовать в больших масштабах.

2

Учитель выдает мягкие выходные метки: полные распределения вероятностей по классам, а не одну жесткую метку. Эти сглаженные предсказания раскрывают сходства, которые учитель видит между классами, предоставляя гораздо более богатый сигнал для обучения, чем только истинные метки.

3

Небольшая модель-ученик обучается одновременно соответствовать истинным меткам и мягким выходным данным учителя. Потери дистилляции объединяют стандартный член перекрестной энтропии по жестким меткам с членом дивергенции Кульбака — Лейблера, который приближает логиты ученика к логитам учителя, взвешенные коэффициентом смешивания альфа. Результатом является компактный ученик, который сохраняет большую часть точности учителя.

Формула
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)

Частые ошибки

  • Попытка дистилляции без должным образом обученного учителя для копирования.
  • Запуск на крошечном наборе данных задачи, где классическое машинное обучение справилось бы лучше.
  • Игнорирование веса смешивания альфа между потерями по жестким и мягким меткам.
  • Ожидание, что ученик полностью совпадет с учителем, а не приблизится к нему.

Часто задаваемые вопросы

Почему использовать мягкие метки вместо просто правильного ответа?

Полное распределение вероятностей учителя раскрывает, насколько похожи классы для него и насколько он уверен. Этот дополнительный сигнал — иногда называемый темными знаниями — помогает ученику лучше обобщать, чем только жесткие метки.

Насколько меньше может быть ученик?

Дистиллированные модели, такие как DistilBERT и TinyBERT, значительно меньше и быстрее своих учителей, достигая при этом примерно 97% производительности учителя, хотя точный компромисс зависит от задачи и архитектуры.

Что мне нужно перед дистилляцией?

Вам нужна модель-учитель, которая уже обучена и доступна, плюс набор данных, специфичный для задачи. При количестве наблюдений менее примерно 500 ученик испытывает трудности с достаточной дистилляцией от учителя и может переобучиться.

Что такое альфа в потерях?

Альфа смешивает две части потерь дистилляции: член перекрестной энтропии по истинным меткам и член дивергенции Кульбака — Лейблера, который выравнивает выходные данные ученика с выходными данными учителя. Настройка альфа балансирует обучение на основе истинных данных по сравнению с обучением на основе учителя.

Похожие методы

Источники

  1. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.

    Открыть ссылку на публикацию
    Скопировано.
  2. Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.

    Открыть ссылку на публикацию
    Скопировано.