Skip to content
Voltar aos resultados

Calibração de Modelo

Proposto por
Platt; Guo et al.
Ano
2017
Tipo
Post-hoc probability correction technique
Família
Trustworthy ML

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A calibração de modelo é uma técnica pós-hoc que ajusta as saídas de probabilidade de um classificador treinado para que as pontuações de confiança preditas correspondam às frequências de resultados empíricos.

Um classificador é considerado perfeitamente calibrado se, entre todas as predições feitas com confiança p, exatamente uma fração p delas estiver correta. A descalibração sistemática de redes neurais profundas modernas foi rigorosamente documentada por Guo et al. (2017), que mostraram que redes treinadas com perda de entropia cruzada padrão tendem a ser superconfiantes, e propuseram o escalonamento de temperatura como um remédio simples e eficaz.

A intuição por trás do método

Imagine um meteorologista que diz 'há 90% de chance de chuva' em 100 dias diferentes. Se apenas 60 desses dias realmente tiverem chuva, o meteorologista está superconfiante. A calibração é como recalibrar a escala do meteorologista para que, quando ele disser 90%, a taxa de chuva seja verdadeiramente 90%. Para uma rede neural, isso significa esticar ou comprimir suas pontuações de confiança brutas até que os números no rótulo reflitam fielmente a frequência com que a rede está correta.

História

A calibração de probabilidade tem raízes no escalonamento de Platt (Platt, 1999), que ajustava uma sigmoide às saídas de SVM, e na regressão isotônica aplicada a classificadores Naive Bayes. O tratamento moderno foi substancialmente avançado por Guo et al. (2017), que testaram ResNet e outras arquiteturas e encontraram superconfiança sistemática correlacionada com a capacidade do modelo. Sua proposta de escalonamento de temperatura tornou-se uma linha de base padrão, impulsionando trabalhos subsequentes sobre calibração condicional por classe, calibração de ensemble e calibração sob desvio de distribuição ao longo do final dos anos 2010 e 2020.

Quando usar

Use a calibração de modelo sempre que as probabilidades preditas alimentarem decisões subsequentes que dependem de seu valor nominal, como estratificação de risco médico, limiares de pontuação de fraude ou classificadores sensíveis ao custo. É particularmente importante para redes neurais profundas, que Guo et al. (2017) demonstraram se tornarem cada vez mais superconfiantes à medida que a profundidade e a largura do modelo aumentam. A calibração assume um conjunto retido representativo; ela não pode corrigir o desvio de distribuição entre as distribuições de calibração e implantação. Quando intervalos de predição, em vez de probabilidades pontuais, são necessários, considere a predição conformal.

Limitações e considerações

  • A calibração requer um conjunto de validação retido; pequenos conjuntos de calibração produzem estimativas de temperatura não confiáveis.
  • O escalonamento de temperatura assume que um único escalar global é suficiente, o que pode falhar quando a descalibração é específica de classe ou região.
  • O ECE é sensível ao número e à largura dos compartimentos, tornando as comparações entre estudos ruidosas sem padronização.
  • A calibração não melhora a nitidez ou a capacidade discriminativa; um modelo com baixa discriminação permanece assim após a calibração.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • O escalonamento de temperatura adiciona apenas um parâmetro e não pode reduzir a acurácia da classificação, tornando-o extremamente leve.
  • O ECE fornece um diagnóstico interpretável e acionável que quantifica a descalibração antes e depois da correção.
  • A calibração pós-hoc é agnóstica ao modelo e pode ser aplicada a qualquer classificador pré-treinado sem retreinamento.
  • Probabilidades bem calibradas permitem seleção confiável de limiares e cálculos de valor esperado em pipelines subsequentes.

Aplicações

  • Sistemas de diagnóstico médico onde pontuações de risco descalibradas levam a limiares de tratamento incorretos.
  • Pontuação de crédito e detecção de fraude onde as saídas de probabilidade impulsionam decisões de aceitação/rejeição sensíveis ao custo.
  • Classificadores de processamento de linguagem natural onde a agregação ponderada pela confiança das saídas do modelo é necessária.
  • Pipelines de detecção de objetos que usam limiares de confiança para filtrar detecções candidatas antes do raciocínio subsequente.
  • Configurações de aprendizado em conjunto (ensemble) e federado onde as saídas de múltiplos modelos devem ser combinadas em uma escala de probabilidade comum.

Como funciona

Como funciona

1

Para cada exemplo de validação, extraia a probabilidade softmax máxima em todas as classes como a confiança reportada pelo modelo. Este escalar representa o quão certo o modelo afirma estar sobre sua principal predição e serve como entrada bruta para o pipeline de calibração.

Fórmula
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

Divida as predições em M compartimentos de largura igual por confiança. Para cada compartimento, calcule a diferença entre a confiança média e a acurácia média, e então tire uma média ponderada entre os compartimentos. O Erro de Calibração Esperado (ECE) resultante é o principal diagnóstico: um ECE menor indica melhor alinhamento entre as probabilidades preditas e as frequências observadas.

Fórmula
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

Divida o vetor logit pré-softmax por um único escalar aprendível T antes do softmax. Quando T é maior que 1, a distribuição é achatada, reduzindo a superconfiança; quando T é menor que 1, ela é acentuada. O escalonamento de temperatura não altera a ordem de classificação das predições, deixando a acurácia inalterada enquanto melhora a calibração.

Fórmula
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

Encontre a temperatura ótima T* minimizando a verossimilhança logarítmica negativa (NLL) do conjunto de validação retido. Este é um problema de otimização convexa unidimensional, resolvido eficientemente com gradiente descendente ou busca em linha. O T* resultante é então fixado e aplicado no tempo de inferência a todas as predições futuras.

Fórmula
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

Erros comuns

  • Calibrar nos mesmos dados usados para treinamento leva ao overfitting e a um ECE espuriamente baixo no conjunto de treinamento.
  • Usar probabilidades calibradas como se fossem estimativas de incerteza confunde incerteza aleatória e epistêmica.
  • Relatar apenas o ECE pode mascarar uma calibração deficiente nas caudas; sempre visualize o diagrama de confiabilidade junto com a métrica escalar.
  • Aplicar um modelo calibrado a uma distribuição de implantação deslocada invalida a calibração e pode produzir confiança enganosa.

Perguntas frequentes

A calibração afeta a acurácia da classificação?

O escalonamento de temperatura não altera a ordem de classificação das probabilidades de classe, portanto, a acurácia top-1 permanece inalterada. Outros métodos de calibração, como a regressão isotônica, podem em casos raros alterar a predição argmax, mas seu objetivo principal é a acurácia da probabilidade, e não a acurácia da classificação, e qualquer impacto na acurácia é tipicamente desprezível.

Como sei se meu modelo precisa de calibração?

Trace um diagrama de confiabilidade: agrupe as predições por compartimento de confiança e trace a confiança média em relação à acurácia empírica. Um modelo perfeitamente calibrado segue a diagonal. Uma curva consistentemente acima da diagonal sinaliza superconfiança; uma abaixo sinaliza subconfiança. Calcule o ECE como uma única estatística de resumo; valores acima de aproximadamente 0,05 são comumente considerados descalibração não trivial na prática.

Quando devo usar regressão isotônica em vez de escalonamento de temperatura?

A regressão isotônica é uma função monótona não paramétrica e pode capturar descalibrações complexas e não uniformes em todo o intervalo de probabilidade. Prefira-a quando o diagrama de confiabilidade mostrar um padrão não monótono ou irregular. No entanto, a regressão isotônica requer mais dados para ser ajustada de forma confiável, e o escalonamento de temperatura é geralmente preferido quando o conjunto de calibração é pequeno ou quando a simplicidade e a interpretabilidade são prioridades.

Métodos relacionados

Fontes

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    Abrir referência da publicação
    Copiado.