Skip to content
返回搜索结果

贝叶斯自编码器异常检测

提出者
Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
年份
2014–2015
类型
Probabilistic generative model for unsupervised anomaly detection
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

贝叶斯自编码器异常检测使用变分自编码器——一种基于正常数据训练的概率生成模型——通过高重建误差或在学习分布下的低似然度来标记异常。通过将潜在空间视为概率分布而非固定点,它在每个异常分数旁边提供原则性的不确定性估计,这在高风险检测任务中尤其有价值。

方法背后的直觉

标准的自编码器学习压缩和重建其训练数据;与训练集不同的对象重建效果差,因此得分异常。贝叶斯版本,通常实现为变分自编码器,更进一步:它不将每个输入编码到潜在空间中的一个固定点,而是将其编码到一个概率分布。这意味着模型不仅知道什么是可能的正常,还知道它对该评估有多自信。异常分数计算为在潜在后验上平均的重建概率,因此它们带有固有的不确定性,而不是脆弱的点估计。

历史学

变分自编码器由 Kingma 和 Welling 于 2014 年提出,作为深度生成模型的一个原则性框架,它通过重参数化技巧将神经网络的灵活性与贝叶斯潜在变量推理相结合。An 和 Cho 于 2015 年将其应用于异常检测,他们表明重建概率——而不是重建误差——提供了更可靠的异常分数。此后,贝叶斯自编码器已成为无监督异常检测研究的标准工具,并已扩展到时间序列、图数据和联邦设置。

何时使用

当您拥有充足的无标签正常数据但确认的异常标签很少或没有时,输入空间是高维的(例如,图像、传感器阵列、多通道时间序列或宽表格数据),并且您需要异常分数旁边的不确定性估计来进行下游决策时(例如,医学成像、欺诈检测、工业质量控制),请使用贝叶斯自编码器异常检测。当正常数据流形复杂且非线性时,它的性能优于隔离森林或单类 SVM 等简单方法。当您的数据集很小(少于几百个样本)、输入是低维且具有线性结构(经典统计方法更简单且更具可解释性)、您需要严格的实时吞吐量而没有 GPU 加速,或者当存在明确的异常类别且监督分类可行时,请勿使用它。

局限与注意事项

  • 需要大量的正常样本训练数据;稀疏或异质的正常类数据会降低性能。
  • 训练计算成本高昂——对于非平凡的输入尺寸,通常需要 GPU 加速。
  • 超参数选择(潜在维度、架构深度、KL 项的 beta 加权)强烈影响结果,需要仔细调整。
  • 后验崩溃——一种常见的 VAE 病态,编码器忽略输入——可能会悄无声息地降低异常分数。
  • 在进行额外的后验分析之前,解释特定样本为何被标记为异常仍然很困难。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 为每个异常分数提供校准的不确定性估计,支持风险感知决策。
  • 处理线性或核方法无法处理的高维和非线性数据分布。
  • 完全无监督:训练不需要异常标签。
  • 学习到的潜在空间可以可视化和解释,以了解模型认为哪些模式是正常的。
  • 灵活的架构允许纳入领域特定的先验和结构化潜在空间。
  • 重建概率比原始均方误差更具原则性,降低了对任意缩放的敏感性。

应用

  • 工业制造中的缺陷检测,使用视觉检查数据。
  • 医学影像异常检测(例如,仅在健康受试者上训练的 MRI 扫描中检测病变)。
  • 网络入侵检测,其中正常流量模式丰富但攻击稀少且多样。
  • 金融欺诈检测,当标记的欺诈案例不可用或很快过时时。
  • 通过工业机械上的传感器阵列异常检测进行预测性维护。
  • 科学数据质量控制,标记实验数据集中不寻常的观测值。

使用方式

使用方式

1

编码器神经网络将每个输入 x 映射到潜在变量 z 上高斯后验的参数(均值和方差),捕获模型对压缩表示的不确定性,而不是固定于单个代码。

公式
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))
2

潜在代码通过重参数化技巧绘制——将缩放后的噪声添加到后验均值——使采样步骤可微分,从而可以通过反向传播训练整个网络。

公式
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)
3

解码器网络将采样的潜在代码映射回输入空间上的重建分布,学习正常数据的生成过程。

公式
p_{\theta}(x|z)
4

训练最大化证据下界(ELBO):期望重建对数似然度减去使后验接近标准高斯先验的 KL 散度。训练期间仅使用正常(分布内)数据。

公式
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))
5

在推理时,异常分数计算为在解码器下输入的负期望对数似然度,在多个后验样本上平均。高分表示模型在学习的正常数据分布下无法很好地重建的输入。

公式
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]

常见陷阱

  • 在包含异常的“正常”类的数据集上进行训练,导致模型将异常模式学习为正常。
  • 任意选择异常分数阈值,而不是使用已知的正常样本的保留验证集。
  • 在训练期间忽略后验崩溃,这可能使重建误差普遍无信息。
  • 在不同输入尺度的不同数据集上比较原始重建误差而不进行归一化。
  • 在高度不平衡的测试集上仅使用准确率进行评估,而不是使用 AUROC 或平均精度。

常见问题

这与用于异常检测的标准(确定性)自编码器有何不同?

标准的自编码器将输入映射到固定的潜在代码,并通过重建误差对异常进行评分。贝叶斯(变分)自编码器将输入映射到潜在分布,并通过后验样本平均的重建概率对异常进行评分。概率公式提供了更可靠的分数和明确的不确定性,但代价是训练复杂度更高。

我应该选择什么潜在维度?

潜在维度应足够大以捕获正常数据的结构,但又足够小以防止模型记忆单个样本。从大约输入维度 5-20% 的维度开始,并通过保留的正常数据集上的重建质量进行调整。

我需要 GPU 硬件来运行此方法吗?

对于中等宽度(少于几百个特征)的表格数据,CPU 是可行的,但训练会很慢。对于图像或高维传感器数据,强烈建议使用 GPU。推理(评分)通常比训练快得多。

我如何设置异常阈值?

阈值在训练期间不被学习。使用一组已确认的正常样本,并选择一个可接受的误报率的得分百分位数(例如,第 95 或 99 百分位数)。避免在用于评估最终性能的相同数据上选择阈值。

当训练集中出现一些异常时,此方法是否有效?

轻微的污染(几个百分点)通常可以容忍,因为模型是在多数类上优化的。然而,严重的污染会改变模型学习到的“正常”内容,应通过尽可能彻底地清理训练数据来最小化。

相关方法

参考文献

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).

    打开出版物文献
    已复制。
  2. An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.

    打开出版物文献
    已复制。