少样本学习
- 提出者
- Lake, B. M.; Vinyals, O.; Finn, C. et al.
- 年份
- 2011–2017
- 类型
- Meta-learning / low-data learning paradigm
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
少样本学习是一种机器学习范式,它通过利用从大规模相关训练分布中获得的先验知识,使模型能够仅凭少数(通常为一到五)标记示例来识别新类别或解决新任务。在标记成本高昂、稀缺或结构受限的领域,它尤其具有相关性。
方法背后的直觉
人类能够仅凭一张照片就可靠地识别出一种新的鸟类,因为他们已经积累了多年经验带来的丰富视觉知识。少样本学习试图在计算上复制这种能力:模型首先接触大量多样化的任务,从而学会如何快速学习,然后在推理时仅使用一小部分标记的支持集来适应一个全新的任务。关键的见解是,正确的表示和适应策略可以替代标准监督学习所需的大量标记数据集。
历史学
少样本学习在 2011 年左右引起了正式关注,当时 Lake 等人使用分层贝叶斯程序归纳模型演示了人类水平的手写字符单样本学习。该领域在 2016 年后随着深度度量学习方法而加速——Vinyals 等人的匹配网络和 Snell 等人的原型网络——随后是 Finn 等人在 2017 年提出的模型无关元学习 (MAML),它通过基于梯度的快速适应统一了该范式。此后,大型预训练模型使少样本学习成为现代自然语言处理和视觉系统中的标准能力。
何时使用
当目标任务的标记数据确实稀缺——每个类别大约少于 10 到 20 个示例——但有大量相关数据集可用于预训练或元训练时,应使用少样本学习。典型的用例包括罕见病分类、濒危物种识别、低资源语言任务以及冷启动用户的个性化推荐。如果标记是可行的,不要将其用作收集更多标记数据的替代品;有足够的标记时,完全监督或微调的迁移学习几乎总是优于少样本方法。如果元训练分布与目标域差异很大,也要避免使用,因为这会使学习到的先验失效。
局限与注意事项
- 需要大规模、多样化的元训练集;当元训练和目标分布显著偏离时,性能会急剧下降。
- 基于优化方法(例如 MAML)由于二阶梯度而在元训练期间计算量大。
- 标准数据集(miniImageNet、Omniglot)上的基准准确性可能会夸大实际性能,如果测试域不同的话。
- 选择正确的架构、嵌入骨干网络和回合采样策略涉及非平凡的超参数决策。
- 当每个类别的标记示例超过大约 20 个时,标准的迁移学习或微调通常能以更低的复杂性提供更好的准确性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 能够从每个类别的一到五个标记示例中进行实际学习,大大降低了标注成本。
- 回合式训练明确地为模型准备了它将在低数据部署场景中面临的情况。
- 基于度量的方法(原型网络、匹配网络)在推理时计算量轻——无需梯度下降步骤。
- 广泛适用于视觉、自然语言处理、音频和结构化数据任务。
- 自然地与大型预训练模型集成,无需完全微调即可利用强大的先验知识。
应用
- 医学影像中的罕见病或异常分类,因为标记病例本身就很少。
- 低资源自然语言处理任务,例如新语言或领域中的意图检测。
- 推荐系统中新用户交互很少时的冷启动个性化。
- 生态学和生物多样性监测中的濒危物种或细粒度物种识别。
- 工业缺陷检测,当只有少量缺陷样本可用于训练时。
- 机器人和交互式机器学习中新分类任务的快速原型设计。
使用方式
使用方式
训练被组织成多个回合(episode),每个回合模拟一个少样本场景。在每个回合中,从训练池中采样一小组类别,模型必须学会区分它们。这种回合式训练确保了模型的先验知识是为了快速适应而构建的,而不是为了死记硬背特定类别。
每个回合将其示例分为支持集(模型可以使用的一小部分标记示例)和查询集(用于衡量模型泛化能力的未见示例)。一个 k-shot, n-way 任务为 n 个新类别中的每个类别提供 k 个标记示例。这种结构在训练时模拟了部署场景。
模型学习一个嵌入函数——通常是一个深度神经网络——该函数将输入映射到一个特征空间,在该空间中,同一类别的示例聚集在一起,不同类别的示例则被分开。这种共享表示的质量是下游少样本准确性的主要决定因素。
在测试时,模型要么计算查询嵌入和支持嵌入之间的相似度(如匹配网络或原型网络等基于度量的方法),要么执行少量梯度下降步骤来适应支持集中的参数(如 MAML 等基于优化方法)。这两种策略都利用了学习到的表示,而无需从头开始重新训练。
查询集上的损失用于跨回合更新元学习器的参数,从而使表示和适应策略得到全局改进。在部署时,最终模型可以在几秒钟内适应任何新的支持集,并在没有进一步优化的情况下对未见查询示例进行预测。
常见陷阱
- 将少样本学习与零样本学习混淆:少样本在测试时需要每个新类别的至少一个标记示例。
- 在元训练期间见过的测试类别上进行评估,夸大了报告的准确性。
- 忽略领域差距:在 ImageNet 上元训练的模型不会自动泛化到医学组织学,除非进行领域自适应。
- 使用标准的监督损失而没有回合式训练,并期望少样本泛化。
- 仅报告前 1 名准确率而没有多次回合抽样的置信区间,这掩盖了少样本结果的方差。
常见问题
少样本学习与迁移学习有什么区别?
迁移学习在新任务上微调预训练模型,通常受益于数十到数千个标记示例。少样本学习专门设计用于仅用每个类别一到五个示例进行适应,使用回合式元训练,使模型学会如何快速泛化,而不是如何拟合特定领域。
k-shot n-way 是什么意思?
它描述了回合的结构:n-way 表示同时呈现 n 个新类别,k-shot 表示为每个类别提供 k 个标记示例。一个 5-way 1-shot 任务要求模型在仅有一个标记示例的情况下,将查询图像分类到五个类别之一。
我需要 GPU 来运行少样本学习吗?
元训练——尤其是像 MAML 这样的基于优化方法——需要大量的计算,并且通常在 GPU 上进行。然而,基于度量的推理(将查询嵌入与支持原型进行比较)计算量很小,并且在主干预训练后可以在生产环境的 CPU 上运行。
我需要多少个元训练任务?
这取决于多样性而不是绝对数量。来自多样化类别池的数千个回合式采样任务是一个常见的基线。最重要的是元训练类别足够多且足够多样化,能够泛化到未见的目标类别。
少样本学习和零样本学习是相同的吗?
不是。零样本学习在测试时不需要新类别的标记示例,完全依赖于语义类别描述符或属性。少样本学习总是在支持集中为每个新类别提供至少一个标记示例。
相关方法
参考文献
Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.
打开出版物文献已复制。Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.
打开出版物文献已复制。