Conformal Prediction
- Propuesto por
- Vovk, Gammerman & Shafer
- Año
- 2005
- Tipo
- Distribution-free uncertainty quantification framework
- Familia
- Trustworthy ML
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Conformal Prediction es un marco de trabajo libre de distribuciones para construir conjuntos de predicción (para clasificación) o intervalos de predicción (para regresión) estadísticamente válidos alrededor de la salida de cualquier modelo de aprendizaje automático preentrenado.
Introducido por Vovk, Gammerman y Shafer en su monografía de 2005, proporciona una garantía de cobertura marginal en muestras finitas —la etiqueta verdadera cae dentro del conjunto de predicción con una probabilidad de al menos 1-alfa— sin requerir supuestos paramétricos sobre la distribución de los datos.
La intuición detrás del método
Imagine una estación meteorológica que, en lugar de decir 'mañana será de 22°C', dice 'mañana será entre 19°C y 25°C, y garantizamos que este intervalo es correcto al menos el 90% de los días a largo plazo'. Conformal Prediction funciona de manera similar: envuelve la predicción puntual de cualquier modelo existente con un margen de seguridad basado en datos, calibrado con ejemplos retenidos, de modo que el conjunto resultante sea demostrablemente fiable bajo supuestos muy leves sobre cómo se recopilaron los datos.
Historia
Conformal Prediction fue formalizado por Vladimir Vovk, Alexander Gammerman y Glenn Shafer en su monografía de Springer de 2005, basándose en ideas anteriores de aprendizaje transductivo en línea de finales de la década de 1990. La variante inductiva (split-conformal), que separa el entrenamiento de la calibración, fue popularizada posteriormente para hacer el método escalable. La década de 2020 vio una rápida adopción en el aprendizaje profundo, con extensiones que incluyen la predicción conformada mondriana para garantías condicionales, conjuntos de predicción que controlan el riesgo y control de riesgo conformado.
Cuándo usarlo
Utilice Conformal Prediction cuando necesite garantías rigurosas de cobertura en muestras finitas sobre la salida de incertidumbre de un modelo sin supuestos de distribución. Es apropiado tanto para tareas de clasificación como de regresión donde hay datos de calibración de la misma distribución que los datos de prueba. Las limitaciones incluyen el supuesto de intercambiabilidad (violado bajo desplazamiento de covariables), y que la cobertura es marginal en lugar de condicional, lo que significa que algunas subpoblaciones pueden estar sub- o sobre-cubiertas. Las alternativas incluyen intervalos creíbles bayesianos (requieren supuestos de distribución) y regresión cuantil (sin garantía de muestra finita sin envoltura conformada).
Limitaciones y consideraciones
- La garantía de cobertura es marginal (promediada sobre las entradas de prueba), no condicional a cada x individual.
- Asume la intercambiabilidad de los datos de calibración y prueba; el rendimiento se degrada bajo desplazamiento de covariables o de etiquetas.
- Los conjuntos de predicción pueden ser poco informativos cuando el modelo base es débil o la tasa de miscobertura objetivo alfa es pequeña.
- Los métodos de división conformada (split-conformal) requieren un conjunto de calibración dedicado, lo que reduce los datos disponibles para el entrenamiento.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Proporciona garantías de cobertura marginal en muestras finitas y libres de distribuciones, válidas para cualquier modelo base.
- Agnóstico al modelo: envuelve cualquier clasificador o regresor preentrenado sin reentrenamiento.
- Computacionalmente ligero en tiempo de inferencia — solo requiere almacenar puntuaciones de calibración y calcular un cuantil.
- Las puntuaciones de no conformidad flexibles permiten la adaptación a diversas tareas, incluyendo detección de objetos y generación de lenguaje natural.
Aplicaciones
- Diagnóstico médico: producir conjuntos de predicción para clasificación de enfermedades que garanticen que el diagnóstico verdadero se incluya con alta probabilidad, apoyando la toma de decisiones clínicas segura.
- Descubrimiento de fármacos: generar regiones de confianza fiables para predicciones de propiedades moleculares, ayudando a los químicos a priorizar compuestos para pruebas costosas en laboratorio.
- Conducción autónoma: construir regiones de incertidumbre con garantía de cobertura alrededor de las salidas de detección de objetos para activar comportamientos de seguridad de respaldo.
- Procesamiento del lenguaje natural: conjuntos de predicción calibrados para clasificación de texto e incertidumbre a nivel de token en las salidas de modelos de lenguaje grandes.
- Evaluación de riesgos financieros: intervalos de predicción libres de distribución para pronósticos de rendimiento que se mantienen válidos bajo escrutinio regulatorio sin requerir modelos paramétricos.
Cómo funciona
Cómo funciona
Un modelo convencional de aprendizaje automático —cualquier clasificador, regresor o red neuronal— se entrena en una división de entrenamiento dedicada. Conformal Prediction es agnóstico a este modelo; lo trata como una caja negra. La calidad de los conjuntos de predicción finales está influenciada por la precisión del modelo base, pero la garantía de validez se mantiene independientemente.
Fórmula
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})En una división de calibración separada que el modelo base no ha visto, se calcula una puntuación de no conformidad para cada ejemplo. Para regresión, la puntuación es típicamente el residuo absoluto |y - f_hat(x)|; para clasificación, puede ser 1 menos la probabilidad predicha de la clase verdadera. Estas puntuaciones miden cuán 'sorprendente' es cada punto de calibración en relación con el modelo.
Fórmula
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}Se calcula el cuantil empírico (1-alfa) de las puntuaciones de no conformidad de calibración con un factor de corrección de muestra finita. Este cuantil corregido q_hat es el umbral que, por la intercambiabilidad de los datos, garantizará que la cobertura se mantenga en un punto de prueba nuevo con una probabilidad de al menos 1-alfa.
Fórmula
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)Para una nueva entrada de prueba x_new, el conjunto de predicción contiene cada etiqueta candidata y cuya puntuación de no conformidad no exceda q_hat. En regresión, esto produce un intervalo [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; en clasificación, produce el subconjunto de clases con una probabilidad predicha suficientemente alta. Se garantiza que el conjunto cubrirá la etiqueta verdadera con una probabilidad marginal de al menos 1-alfa.
Fórmula
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}Errores comunes
- Usar el conjunto de entrenamiento como conjunto de calibración infla el optimismo y destruye la garantía de validez — siempre use una división de calibración retenida.
- Confundir cobertura marginal con cobertura condicional: la garantía no implica que cada subpoblación esté cubierta al nivel 1-alfa.
- Ignorar el desplazamiento de la distribución: aplicar un predictor conformado calibrado con datos históricos a una distribución de despliegue desplazada rompe la garantía teórica.
- Tratar el tamaño del conjunto de predicción como una medida de confianza directa sin reconocer que el tamaño del conjunto depende conjuntamente de la calidad del modelo y del alfa elegido.
Preguntas frecuentes
¿Requiere Conformal Prediction conocer la distribución de los datos?
No. La garantía de cobertura marginal se basa únicamente en el supuesto de intercambiabilidad —aproximadamente que los puntos de calibración y de prueba se extraen i.i.d. de la misma distribución. No es necesario especificar ninguna familia paramétrica, lo que hace que el marco de trabajo sea 'libre de distribuciones'. Esta es su principal ventaja teórica sobre los intervalos creíbles bayesianos y los intervalos de confianza clásicos basados en la normalidad.
¿Cómo se elige el tamaño del conjunto de calibración y cómo afecta a los resultados?
Un conjunto de calibración más grande produce una estimación del cuantil empírico más ajustada y estable, lo que resulta en conjuntos de predicción más pequeños. Una regla general común es tener al menos unos cientos de ejemplos de calibración. Con conjuntos de calibración muy pequeños (menos de 1/alfa puntos), la corrección de muestra finita fuerza conjuntos de cobertura completa, haciendo que el método no sea informativo. Existe un compromiso estándar de sesgo-varianza entre el tamaño del conjunto de entrenamiento y el tamaño del conjunto de calibración.
¿Se puede aplicar Conformal Prediction a redes neuronales profundas?
Sí. Dado que el marco de trabajo es agnóstico al modelo, envuelve cualquier red neuronal sin modificaciones. La puntuación de no conformidad se define típicamente utilizando la salida softmax del modelo para clasificación o su predicción puntual para regresión. Computacionalmente, la calibración solo requiere un único pase hacia adelante sobre el conjunto de calibración, lo que lo hace muy práctico para modelos grandes.
Métodos relacionados
Fuentes
Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.
ISBN: 978-0-387-00152-4Copiado.