度量学习
- 提出者
- Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
- 年份
- 2003 (foundational); refined 2009 (LMNN)
- 类型
- Representation learning / supervised distance optimization
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
度量学习是一种机器学习框架,它从数据中训练一个距离或相似性函数,使得语义上相似的示例在学习到的空间中彼此靠近,而语义上不相似的示例则被推开。与欧几里得距离等固定距离不同,学习到的度量可以适应任务的结构,从而显著提高下游分类器、聚类器和检索系统的准确性。
方法背后的直觉
像欧几里得距离这样的标准距离会平等对待所有特征维度。但在许多问题中,某些特征比其他特征更具信息量,并且相关维度因类别而异。度量学习类似于训练尺子:给定关于哪些示例对应该靠近、哪些示例对应该远离的信息,它可以调整特征空间的几何形状,使得简单的最近邻分类器或聚类算法能够立即获得正确的分组。学习到的空间有效地捕捉了特定任务的“相似”含义。
历史学
现代框架由 Xing 等人(2003)建立,他们将度量学习表述为具有成对约束的凸优化问题。Weinberger 和 Saul(2009)引入了大边界最近邻(LMNN),为基于 k-NN 的任务设定了新标准。深度度量学习加速了该领域的发展:Chopra 等人(2005)推广了具有对比损失的孪生网络,Schroff 等人(2015)为大规模人脸验证引入了 FaceNet 三元组损失。如今,度量学习是少样本学习和视觉表示研究的重要支撑。
何时使用
当下游任务本质上是基于相似性的——例如,少样本分类、人脸验证、医学图像检索、说话人识别或产品推荐——并且固定欧几里得距离表现不佳,因为特征的相关性不均等时,使用度量学习。它在具有中等到大型标记数据集和高维输入(如图像或文本嵌入)时表现出色。当每类标记示例非常少(每类约 5-10 个以下)时,当最终目标是简单的表格回归或分类(逻辑回归或梯度提升效果良好)时,或者当需要关于显式特征系数的可解释性时,应避免使用。
局限与注意事项
- 三元组和对比损失需要仔细的样本/三元组挖掘;随机采样主要产生容易的、信息量少的样本,并大大减慢训练速度。
- 线性马氏方法与特征维度的二次方成比例增长,在非常高的维度下如果不进行降维会变得难以承受。
- 需要标记数据或成对约束数据;完全无监督的环境在没有额外假设的情况下限制了可以学习的内容。
- 评估是间接的——度量质量必须通过下游任务来评估,而不是单一的损失值。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 使特征空间的几何形状适应特定任务,显著提高最近邻和聚类准确性。
- 实现少样本识别:一旦学习到良好的度量,对新类别的分类只需要少量示例。
- 跨领域迁移能力强——在一个数据集上学习到的度量可以针对相关任务进行微调,只需少量额外数据。
- 模型无关性:学习到的嵌入可以馈送任何下游算法(k-NN、SVM、k-means),而无需重新训练这些组件。
- 对比和三元组公式通过最小批次采样可扩展到非常大的数据集。
应用
- 人脸验证和识别:学习两个面部图像是否显示同一个人。
- 少样本图像分类:从一个或几个示例中对新视觉类别进行分类。
- 医学图像检索:在大型数据库中查找相似的扫描区域或组织病理学切片。
- 说话人识别和语音验证在生物特征认证系统中。
- 电子商务中的产品推荐和视觉搜索。
使用方式
使用方式
从标记数据或成对标注数据中,定义正例对(同类或明确相似)和负例对(不同类或明确不相似)。这些约束编码了任务中“近”和“远”的含义,并构成了训练度量的监督信号。
选择一个参数化的距离函数——最常见的是由半正定矩阵 M 控制的马氏距离,或者一个神经网络嵌入函数后接欧几里得距离或余弦距离。矩阵 M 将轴对齐缩放推广到全特征重加权。
公式
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0制定一个目标,在尊重某个边界或软约束的同时,将正例对拉近并将负例对推开。常见目标包括对比损失、三元组损失(锚点-正例距离比锚点-负例距离小一个边界值),或大边界最近邻(LMNN)合页损失。
通过梯度下降或半定规划优化度量参数(M 或神经网络权重)。对于基于三元组的目标,诸如困难负例挖掘之类的最小批次采样策略至关重要:随机采样往往会产生信息量少的样本,从而减慢收敛速度。
在推理时,将学习到的度量或嵌入应用于新数据。下游任务——最近邻分类、k-均值聚类、图像检索或推荐——在学习到的空间中运行,其中距离忠实地反映了语义相似性。
常见陷阱
- 使用随机三元组采样而不是困难或半困难负例挖掘,这会导致梯度接近于零,训练停滞。
- 仅在训练类别上评估度量;在未见类别上的性能(实际泛化目标)可能低得多。
- 在计算余弦相似性之前忽略归一化嵌入,导致尺度伪影。
- 将学习到的嵌入视为可解释的,但未进行线性探测或 SHAP 等额外分析,就将其与原始特征关联起来。
- 将学习到的度量应用于领域偏移(不同的数据分布)而不进行重新验证或微调。
常见问题
度量学习与对比学习有什么区别?
对比学习是一类特定的度量学习目标(例如,对比损失、SimCLR),它对比正例对和负例对。度量学习是一个更广泛的框架,还包括马氏方法、三元组损失和代理(proxy)目标。
每类需要多少示例?
线性马氏方法可以用少至 10-20 个每类示例来工作。深度度量学习通常需要每类几十到几百个示例才能学习到有用的嵌入,尽管预训练的骨干网络可以显著降低此要求。
度量学习与降维是同一回事吗?
不完全是。PCA 或 UMAP 等方法在没有直接监督的情况下减少维度。度量学习使用类别或成对监督来塑造几何形状,因此产生的空间是任务判别的,而不仅仅是紧凑的。
度量学习能处理类别不平衡吗?
可以,但必须对样本/三元组采样进行分层,以避免主导类别压倒批次。代理损失(Proxy-NCA、Proxy-Anchor)比三元组采样对类别不平衡更具鲁棒性。
何时应使用度量学习而不是标准分类器?
当需要泛化到训练时未见的类别(开放集识别、少样本学习),或者当任务是检索而非固定类别预测时,优先选择度量学习。
相关方法
参考文献
Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.
打开出版物文献已复制。Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.
打开出版物文献已复制。