Saltar al contenido
Volver a los resultados

Calibración del modelo

Propuesto por
Platt; Guo et al.
Año
2017
Tipo
Post-hoc probability correction technique
Familia
Trustworthy ML

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La calibración del modelo es una técnica post-hoc que ajusta las salidas de probabilidad de un clasificador entrenado para que las puntuaciones de confianza predichas coincidan con las frecuencias empíricas de los resultados.

Se dice que un clasificador está perfectamente calibrado si, de todas las predicciones realizadas con una confianza p, exactamente una fracción p de ellas son correctas. La descalibración sistemática de las redes neuronales profundas modernas fue documentada rigurosamente por Guo et al. (2017), quienes demostraron que las redes entrenadas con la pérdida estándar de entropía cruzada tienden a ser demasiado confiadas y propusieron el escalado de temperatura como un remedio simple y efectivo.

La intuición detrás del método

Imagine a un pronosticador del tiempo que dice 'hay un 90% de probabilidad de lluvia' en 100 días diferentes. Si solo 60 de esos días realmente ven lluvia, el pronosticador tiene demasiada confianza. La calibración es como recalibrar la escala del pronosticador para que cuando diga 90%, la tasa de lluvia sea realmente del 90%. Para una red neuronal, esto significa estirar o comprimir sus puntuaciones de confianza brutas hasta que los números en la etiqueta reflejen fielmente con qué frecuencia la red tiene razón.

Historia

La calibración de probabilidades tiene sus raíces en el escalado de Platt (Platt, 1999), que ajustaba una sigmoide a las salidas de SVM, y la regresión isótona aplicada a clasificadores naive Bayes. El tratamiento moderno fue sustancialmente avanzado por Guo et al. (2017), quienes compararon ResNet y otras arquitecturas y encontraron una sobreconfianza sistemática correlacionada con la capacidad del modelo. Su propuesta de escalado de temperatura se convirtió en una línea base estándar, impulsando trabajos de seguimiento sobre calibración condicional a la clase, calibración de conjuntos y calibración bajo desplazamiento de distribución a lo largo de finales de la década de 2010 y 2020.

Cuándo usarlo

Utilice la calibración del modelo siempre que las probabilidades predichas alimenten decisiones posteriores que dependan de su valor nominal, como la estratificación de riesgos médicos, los umbrales de puntuación de fraude o los clasificadores sensibles al costo. Es particularmente importante para las redes neuronales profundas, que Guo et al. (2017) demostraron que se vuelven cada vez más confiadas a medida que aumenta la profundidad y el ancho del modelo. La calibración asume un conjunto representativo retenido; no puede corregir el desplazamiento de la distribución entre las distribuciones de calibración y despliegue. Cuando se necesitan intervalos de predicción en lugar de probabilidades puntuales, considere la predicción conforme en su lugar.

Limitaciones y consideraciones

  • La calibración requiere un conjunto de validación retenido; los conjuntos de calibración pequeños producen estimaciones de temperatura poco fiables.
  • El escalado de temperatura asume que un único escalar global es suficiente, lo que puede fallar cuando la descalibración es específica de la clase o de la región.
  • El ECE es sensible al número y ancho de los contenedores, lo que hace que las comparaciones entre estudios sean ruidosas sin estandarización.
  • La calibración no mejora la agudeza o la capacidad discriminatoria; un modelo con poca discriminación sigue siéndolo después de la calibración.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • El escalado de temperatura añade solo un parámetro y no puede reducir la precisión de la clasificación, lo que lo hace extremadamente ligero.
  • El ECE proporciona un diagnóstico interpretable y accionable que cuantifica la descalibración antes y después de la corrección.
  • La calibración post-hoc es agnóstica al modelo y puede aplicarse a cualquier clasificador preentrenado sin reentrenamiento.
  • Las probabilidades bien calibradas permiten una selección fiable de umbrales y cálculos de valor esperado en pipelines posteriores.

Aplicaciones

  • Sistemas de diagnóstico médico donde las puntuaciones de riesgo mal calibradas conducen a umbrales de tratamiento incorrectos.
  • Puntuación de crédito y detección de fraude donde las salidas de probabilidad impulsan decisiones de aceptación/rechazo sensibles al costo.
  • Clasificadores de procesamiento de lenguaje natural donde se requiere la agregación ponderada por confianza de las salidas del modelo.
  • Pipelines de detección de objetos que utilizan umbrales de confianza para filtrar detecciones candidatas antes del razonamiento posterior.
  • Entornos de aprendizaje de conjuntos (ensemble) y federado donde las salidas de múltiples modelos deben combinarse en una escala de probabilidad común.

Cómo funciona

Cómo funciona

1

Para cada ejemplo de validación, extraiga la probabilidad softmax máxima entre todas las clases como la confianza reportada por el modelo. Este escalar representa cuán seguro se declara el modelo acerca de su predicción principal y sirve como entrada bruta para el pipeline de calibración.

Fórmula
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

Particione las predicciones en M contenedores (bins) de igual ancho por confianza. Para cada contenedor, calcule la brecha entre la confianza media y la precisión media, luego tome un promedio ponderado entre los contenedores. El Error de Calibración Esperado (ECE) resultante es el diagnóstico principal: un ECE más bajo indica una mejor alineación entre las probabilidades predichas y las frecuencias observadas.

Fórmula
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

Divida el vector logit pre-softmax por un único escalar aprendible T antes del softmax. Cuando T es mayor que 1, la distribución se aplana, reduciendo la sobreconfianza; cuando T es menor que 1, se agudiza. El escalado de temperatura no altera el orden de clasificación de las predicciones, dejando la precisión sin cambios mientras mejora la calibración.

Fórmula
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

Encuentre la temperatura óptima T* minimizando la log-verosimilitud negativa (NLL) del conjunto de validación retenido. Este es un problema de optimización convexa unidimensional, resuelto eficientemente con descenso de gradiente o búsqueda de línea. La T* resultante se fija y se aplica en el tiempo de inferencia a todas las predicciones futuras.

Fórmula
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

Errores comunes

  • Calibrar en los mismos datos utilizados para el entrenamiento conduce a sobreajuste y a un ECE espuriamente bajo en el conjunto de entrenamiento.
  • Usar probabilidades calibradas como si fueran estimaciones de incertidumbre confunde la incertidumbre aleatoria y epistémica.
  • Reportar solo el ECE puede enmascarar una mala calibración en las colas; siempre visualice el diagrama de fiabilidad junto con la métrica escalar.
  • Aplicar un modelo calibrado a una distribución de despliegue desplazada invalida la calibración y puede producir una confianza engañosa.

Preguntas frecuentes

¿Afecta la calibración a la precisión de la clasificación?

El escalado de temperatura no cambia el orden de clasificación de las probabilidades de clase, por lo que la precisión de primer orden (top-1) no cambia. Otros métodos de calibración como la regresión isótona pueden en casos raros alterar la predicción argmax, pero su objetivo principal es la precisión de la probabilidad en lugar de la precisión de la clasificación, y cualquier impacto en la precisión suele ser insignificante.

¿Cómo sé si mi modelo necesita calibración?

Trace un diagrama de fiabilidad: agrupe las predicciones por contenedor de confianza y trace la confianza media frente a la precisión empírica. Un modelo perfectamente calibrado sigue la diagonal. Una curva consistentemente por encima de la diagonal indica sobreconfianza; una por debajo indica subconfianza. Calcule el ECE como una estadística resumen única; valores superiores a aproximadamente 0.05 se consideran comúnmente descalibración no trivial en la práctica.

¿Cuándo debo usar regresión isótona en lugar de escalado de temperatura?

La regresión isótona es una función monótona no paramétrica y puede capturar descalibraciones complejas y no uniformes en todo el rango de probabilidad. Prefiérala cuando el diagrama de fiabilidad muestre un patrón no monótono o irregular. Sin embargo, la regresión isótona requiere más datos para ajustarse de manera fiable, y el escalado de temperatura se prefiere generalmente cuando el conjunto de calibración es pequeño o cuando la simplicidad y la interpretabilidad son prioritarias.

Métodos relacionados

Fuentes

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    Abrir referencia de la publicación
    Copiado.