Skip to content
返回搜索结果

知识蒸馏

提出者
Hinton, G., Vinyals, O. & Dean, J.
年份
2015
类型
Neural network compression (teacher–student)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

知识蒸馏是一种模型压缩技术,由 Geoffrey Hinton 及其同事于 2015 年提出,它利用大型教师模型的软标签输出来训练一个小型学生模型。DistilBERT 和 TinyBERT 等蒸馏模型能够达到大型模型约 97% 的性能,同时运行速度快得多。

方法背后的直觉

一个大型、准确的模型通常运行速度太慢或体积太大而无法部署。与其仅根据硬标签从头开始训练一个小模型,不如让它从大模型的丰富概率输出来学习:教师模型在类别上的完整分布比单个正确答案携带更多信息,它揭示了哪些类别看起来相似以及教师有多自信。学生模型吸收了这种“暗知识”,最终体积大大减小,但能力几乎与教师模型相当。

历史学

知识蒸馏由 Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 于 2015 年在 NeurIPS 深度学习研讨会论文中提出,该论文提出了通过匹配大型模型的软化输出来将大型模型压缩成小型模型的方法。它已成为部署紧凑型深度模型(如 DistilBERT 和 TinyBERT)的标准工具,Sanh 及其同事于 2019 年提出的 DistilBERT 展示了一个蒸馏版的 BERT,它更小、更快、更便宜、更轻量,同时保留了原始模型的大部分准确性。

何时使用

当您拥有一个强大但庞大的已训练教师模型,并希望部署一个更小、更快的学生模型来处理文本或连续特征任务时,可以使用此方法,前提是至少有大约 100 个特定任务的观测数据。它假定教师模型已经训练好并且可用,并且特定任务的数据集已准备就绪。在少于约 500 个观测数据的情况下,学生模型无法从教师那里充分学习,并且存在过拟合的风险;在少于约 100 个观测数据的情况下,蒸馏毫无意义,经典的机器学习是更安全的选择。

局限与注意事项

  • 需要一个已经训练好且可用的教师模型——没有它就无法开始蒸馏。
  • 需要一个特定任务的数据集;数据太少会导致学生模型从教师那里学到的东西很少。
  • 在小型数据集(n 小于约 500)上,学生模型会过拟合,并且无法吸收教师的知识。
  • 在原始模型之上增加了训练流程和调优负担(温度、混合权重)。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 产生一个体积更小、运行速度更快的模型,其性能可恢复到教师模型的约 97%。
  • 教师模型的软标签比硬标签携带更丰富的信息,从而提高了学生的泛化能力。
  • 假设较少:不需要正态分布的数据。
  • 重用了现有的已训练教师模型,因此适合对速度和大小有要求的部署和推理场景。

应用

  • 将大型语言模型压缩成可部署的学生模型,如 DistilBERT 和 TinyBERT。
  • 在教师模型过慢的情况下,加速文本分类和预测的推理。
  • 缩小模型以适应资源受限或延迟敏感的推理环境。
  • 在不从头开始重新训练的情况下,将大型模型的性能转移到轻量级模型中。

使用方式

使用方式

1

假定已有一个大型、训练良好的教师模型——它必须已经训练好并且可用。这个教师模型拥有您希望保留的预测能力,但规模化运行成本过高。

2

教师模型产生软标签输出:在类别上的完整概率分布,而不是单个硬标签。这些软化后的预测暴露了教师在类别之间看到的相似性,提供了比仅使用真实标签更丰富的训练信号。

3

小型学生模型被训练来同时匹配真实标签和教师的软标签输出。蒸馏损失结合了硬标签上的标准交叉熵项和将学生模型的对数(logits)拉向教师模型对数(logits)的 Kullback–Leibler 散度项,并由混合因子 alpha 加权。结果是一个紧凑的学生模型,保留了教师模型的大部分准确性。

公式
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)

常见陷阱

  • 尝试在没有合适的教师模型可供复制的情况下进行蒸馏。
  • 在经典的机器学习方法效果更好的小型任务数据集上运行蒸馏。
  • 忽略硬标签和软标签损失项之间的 alpha 混合权重。
  • 期望学生模型完全匹配教师模型,而不是接近它。

常见问题

为什么使用软标签而不是仅使用正确答案?

教师模型的完整概率分布揭示了它认为类别有多相似以及它有多自信。这种额外的信号——有时称为暗知识——有助于学生模型比仅使用硬标签获得更好的泛化能力。

学生模型可以缩小多少?

DistilBERT 和 TinyBERT 等蒸馏模型比它们的教师模型小得多、快得多,同时能达到教师模型约 97% 的性能,尽管确切的权衡取决于任务和架构。

蒸馏之前需要什么?

您需要一个已经训练好且可用的教师模型,以及一个特定任务的数据集。如果观测数据少于约 500 个,学生模型将难以从教师那里充分学习,并可能过拟合。

损失中的 alpha 是什么?

Alpha 混合了蒸馏损失的两个部分:关于真实标签的交叉熵项,以及使学生模型输出与教师模型对齐的 Kullback–Leibler 散度项。调整它可以在从真实标签学习和从教师模型学习之间取得平衡。

相关方法

参考文献

  1. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.

    打开出版物文献
    已复制。
  2. Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.

    打开出版物文献
    已复制。