Дистилляция знаний
- Автор метода
- Hinton, G., Vinyals, O. & Dean, J.
- Год
- 2015
- Тип
- Neural network compression (teacher–student)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дистилляция знаний — это метод сжатия моделей, представленный Джеффри Хинтоном и его коллегами в 2015 году, который обучает небольшую модель-ученика, используя мягкие выходные метки большой модели-учителя.
Дистиллированные модели, такие как DistilBERT и TinyBERT, достигают примерно 97% производительности большей модели, работая при этом значительно быстрее.
Интуиция метода
Большая, точная модель часто слишком медленна или громоздка для развертывания. Вместо того чтобы обучать небольшую модель с нуля только на жестких метках, вы позволяете ей учиться на богатых выходных вероятностях большой модели: полное распределение классов учителя несет гораздо больше информации, чем один правильный ответ, раскрывая, какие классы похожи и насколько уверен учитель. Ученик усваивает эти «темные знания» и в итоге оказывается намного меньше, но почти столь же способен.
История
Дистилляция знаний была представлена Джеффри Хинтоном, Ориолом Виньяльсом и Джеффом Дином в статье на семинаре по глубокому обучению NeurIPS 2015, где было предложено сжатие большой модели в малую путем соответствия сглаженным выходным данным большей модели. Она стала стандартным инструментом для развертывания компактных глубоких моделей; DistilBERT Санха и его коллег 2019 года показал дистиллированную версию BERT, которая меньше, быстрее, дешевле и легче, сохраняя при этом большую часть точности оригинала.
Когда применять
Используйте его, когда у вас есть сильный, но громоздкий обученный учитель и вам нужен меньший, более быстрый ученик для развертывания на текстовых или непрерывных признаковых задачах, имея не менее примерно 100 наблюдений, специфичных для задачи. Предполагается, что модель-учитель уже обучена и доступна, а набор данных, специфичный для задачи, готов. При количестве наблюдений менее примерно 500 ученик не может достаточно дистиллировать от учителя, и возникает риск переобучения; при количестве менее примерно 100 дистилляция бессмысленна, и классическое машинное обучение является более безопасным выбором.
Ограничения и замечания
- Требует уже обученной, доступной модели-учителя — дистилляция не может начаться без нее.
- Нужен набор данных, специфичный для задачи; при недостаточном количестве данных ученик мало усваивает от учителя.
- На малых наборах данных (n менее примерно 500) ученик переобучается и не усваивает знания учителя.
- Добавляет конвейер обучения и нагрузку по настройке (температура, вес смешивания) поверх исходной модели.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Дает гораздо меньшую, более быструю модель, которая может восстановить около 97% производительности учителя.
- Мягкие метки учителя несут более богатую информацию, чем жесткие метки, улучшая обобщение ученика.
- Мало предположений: не требует нормально распределенных данных.
- Повторно использует существующего обученного учителя, поэтому подходит для развертывания и обслуживания, где важны скорость и размер.
Применение
- Сжатие больших языковых моделей в развертываемые модели-ученики, такие как DistilBERT и TinyBERT.
- Ускорение инференса для классификации и предсказания текста, где полный учитель слишком медленный.
- Уменьшение моделей для сред обслуживания с ограниченными ресурсами или чувствительных к задержкам.
- Перенос возможностей тяжелой модели в легкую без переобучения с нуля.
Как это работает
Как это работает
Большая, хорошо обученная модель-учитель считается данной — она должна быть уже обучена и доступна. Этот учитель обладает предсказательной силой, которую вы хотите сохранить, но его слишком дорого использовать в больших масштабах.
Учитель выдает мягкие выходные метки: полные распределения вероятностей по классам, а не одну жесткую метку. Эти сглаженные предсказания раскрывают сходства, которые учитель видит между классами, предоставляя гораздо более богатый сигнал для обучения, чем только истинные метки.
Небольшая модель-ученик обучается одновременно соответствовать истинным меткам и мягким выходным данным учителя. Потери дистилляции объединяют стандартный член перекрестной энтропии по жестким меткам с членом дивергенции Кульбака — Лейблера, который приближает логиты ученика к логитам учителя, взвешенные коэффициентом смешивания альфа. Результатом является компактный ученик, который сохраняет большую часть точности учителя.
Формула
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)Частые ошибки
- Попытка дистилляции без должным образом обученного учителя для копирования.
- Запуск на крошечном наборе данных задачи, где классическое машинное обучение справилось бы лучше.
- Игнорирование веса смешивания альфа между потерями по жестким и мягким меткам.
- Ожидание, что ученик полностью совпадет с учителем, а не приблизится к нему.
Часто задаваемые вопросы
Почему использовать мягкие метки вместо просто правильного ответа?
Полное распределение вероятностей учителя раскрывает, насколько похожи классы для него и насколько он уверен. Этот дополнительный сигнал — иногда называемый темными знаниями — помогает ученику лучше обобщать, чем только жесткие метки.
Насколько меньше может быть ученик?
Дистиллированные модели, такие как DistilBERT и TinyBERT, значительно меньше и быстрее своих учителей, достигая при этом примерно 97% производительности учителя, хотя точный компромисс зависит от задачи и архитектуры.
Что мне нужно перед дистилляцией?
Вам нужна модель-учитель, которая уже обучена и доступна, плюс набор данных, специфичный для задачи. При количестве наблюдений менее примерно 500 ученик испытывает трудности с достаточной дистилляцией от учителя и может переобучиться.
Что такое альфа в потерях?
Альфа смешивает две части потерь дистилляции: член перекрестной энтропии по истинным меткам и член дивергенции Кульбака — Лейблера, который выравнивает выходные данные ученика с выходными данными учителя. Настройка альфа балансирует обучение на основе истинных данных по сравнению с обучением на основе учителя.
Похожие методы
Источники
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
Открыть ссылку на публикациюСкопировано.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
Открыть ссылку на публикациюСкопировано.