Regresión Logística Semisupervisada
- Propuesto por
- Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
- Año
- 1995–2000
- Tipo
- Semi-supervised classifier
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La regresión logística semisupervisada extiende el clasificador logístico estándar incorporando datos no etiquetados durante el entrenamiento.
Utilizando envoltorios de autoentrenamiento, expectativa-maximización o propagación de etiquetas, asigna iterativamente etiquetas suaves a ejemplos no etiquetados y refina los parámetros del modelo, mejorando la generalización cuando los datos etiquetados son escasos en relación con el conjunto de datos completo.
La intuición detrás del método
Imagine entrenar un clasificador de enfermedades con solo 50 diagnósticos confirmados pero 5.000 registros de pacientes cuyo resultado se desconoce. La regresión logística estándar ignora por completo esos registros no etiquetados. La regresión logística semisupervisada utiliza las propias predicciones probabilísticas del modelo para asignar etiquetas tentativas a los casos no etiquetados, se reentrena con el conjunto ampliado de pseudo-etiquetas y se repite. Cada iteración acerca el límite de decisión hacia regiones de alta densidad de datos, permitiendo efectivamente que los datos no etiquetados guíen dónde pertenece el límite sin requerir una costosa anotación experta.
Historia
El aprendizaje semisupervisado para clasificadores probabilísticos se sistematizó a finales de la década de 1990. Yarowsky (1995) popularizó el autoentrenamiento para tareas de PNL, y Nigam et al. (2000) formalizaron el enfoque EM para la clasificación de texto con modelos de 'naive Bayes' y similares a la regresión logística. El volumen de 2006 de MIT Press de Chapelle, Scholkopf y Zien consolidó los fundamentos teóricos. La regresión logística semisupervisada es ahora una técnica estándar en entornos donde los presupuestos de anotación son limitados, implementada en el envoltorio SelfTrainingClassifier de scikit-learn y en bibliotecas dedicadas de SSL.
Cuándo usarlo
Elija la regresión logística semisupervisada cuando los ejemplos etiquetados sean pocos — típicamente cuando la fracción etiquetada sea inferior al 20% de los datos totales disponibles — pero exista un gran conjunto de datos no etiquetados de la misma distribución y la anotación sea costosa. Es muy adecuada para clasificación de texto, predicción de resultados clínicos e investigación de encuestas donde los resultados se observan parcialmente. No la utilice cuando los datos no etiquetados provengan de una distribución diferente a la del conjunto etiquetado (desplazamiento de covariables), cuando las etiquetas falten no al azar y la falta sea informativa, o cuando el conjunto etiquetado ya sea lo suficientemente grande como para que una regresión logística estándar logre un buen rendimiento — en esos casos, el ruido de las pseudo-etiquetas añade más daño que beneficio.
Limitaciones y consideraciones
- Si los datos etiquetados iniciales son muy pocos o no representativos, las pseudo-etiquetas tempranas son ruidosas y los errores se acumulan a lo largo de las iteraciones.
- Asume que los datos no etiquetados se extraen de la misma distribución que los datos etiquetados — violado en muchos escenarios de recolección del mundo real.
- La convergencia a un óptimo local no garantiza una mejora sobre la línea de base supervisada.
- Los umbrales de confianza en el autoentrenamiento requieren ajuste e interactúan con el desequilibrio de clases de maneras no obvias.
- La interpretación de los coeficientes se vuelve más difícil porque el conjunto de entrenamiento efectivo incluye etiquetas generadas algorítmicamente.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Explota grandes conjuntos de datos no etiquetados para mejorar un clasificador logístico sin costo adicional de etiquetado.
- Preserva la interpretabilidad de los coeficientes de regresión logística y las razones de probabilidades.
- El envoltorio de autoentrenamiento es agnóstico al modelo y fácil de añadir a cualquier canalización de regresión logística existente.
- La variante EM proporciona un marco probabilístico principista con una garantía formal de convergencia.
- La regularización (L1/L2) se puede combinar de manera sencilla para controlar el sobreajuste en datos pseudo-etiquetados.
Aplicaciones
- Predicción de resultados clínicos donde solo un subconjunto de pacientes tiene diagnósticos confirmados.
- Clasificación de texto con grandes corpus y pequeños conjuntos de entrenamiento etiquetados por expertos.
- Investigación de encuestas donde los encuestados responden solo a un subconjunto de preguntas de resultado.
- Análisis de sentimientos y minería de opiniones con datos de redes sociales parcialmente anotados.
- Detección de fraude donde los casos de fraude confirmados son raros pero los volúmenes de transacciones son grandes.
- Estudios de imágenes médicas donde las etiquetas de radiólogos están disponibles para un subconjunto de escaneos.
Cómo funciona
Cómo funciona
Se ajusta un modelo de regresión logística estándar a los ejemplos etiquetados disponibles. Esto proporciona estimaciones iniciales de los coeficientes y estimaciones de probabilidad de clase para cada observación. Incluso con pocas etiquetas, este arranque en caliente produce un límite de decisión inicial razonable que las iteraciones subsiguientes refinarán.
El modelo entrenado puntúa cada ejemplo no etiquetado, produciendo una probabilidad posterior P(y=k | x) para cada clase. En el autoentrenamiento, a los ejemplos cuya probabilidad máxima excede un umbral de confianza se les asigna una pseudo-etiqueta dura. En los enfoques basados en EM, se asignan membresías fraccionales suaves en lugar de una clase dura, manteniendo la incertidumbre explícita durante todo el proceso.
Fórmula
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)La regresión logística se vuelve a ajustar en el conjunto combinado de ejemplos verdaderamente etiquetados y ejemplos no etiquetados pseudo-etiquetados (o etiquetados suavemente). Se aplica regularización — L1 o L2 — para evitar que el conjunto de datos ampliado impulse los coeficientes hacia la señal de pseudo-etiqueta ruidosa de manera demasiado agresiva.
Los pasos de puntuación de datos no etiquetados y reentrenamiento se repiten hasta la convergencia — típicamente cuando el cambio en la log-verosimilitud o los valores de los coeficientes entre iteraciones cae por debajo de una pequeña tolerancia. La variante EM alterna formalmente entre un paso E (cálculo de etiquetas esperadas) y un paso M (maximización de la log-verosimilitud de datos completos).
Una vez que converge, el modelo final se evalúa en un conjunto de prueba etiquetado reservado utilizando métricas estándar como precisión, AUC y F1. La validación cruzada debe realizarse solo en la partición etiquetada para evitar fugas de etiquetas del grupo no etiquetado en la estimación de validación.
Errores comunes
- Incluir ejemplos no etiquetados en el conjunto de validación o prueba, lo que infla las estimaciones de rendimiento al filtrar información de distribución.
- Establecer un umbral de confianza bajo que inunda el conjunto de entrenamiento con pseudo-etiquetas inciertas, acumulando errores tempranos.
- Ignorar el desequilibrio de clases al asignar pseudo-etiquetas, lo que hace que la clase mayoritaria domine las iteraciones sucesivas.
- Tratar los datos pseudo-etiquetados como equivalentes a los datos verdaderamente etiquetados en la cuantificación de incertidumbre o pruebas de significación posteriores.
- Omitir la regularización en el conjunto de entrenamiento ampliado, permitiendo que el ruido de las pseudo-etiquetas impulse el sobreajuste.
Preguntas frecuentes
¿Cómo se diferencia la regresión logística semisupervisada de la regresión logística estándar?
La regresión logística estándar utiliza solo ejemplos etiquetados. La variante semisupervisada asigna iterativamente etiquetas tentativas a datos no etiquetados y los incluye en el reentrenamiento, de modo que el límite de decisión está formado tanto por etiquetas confirmadas como por la estructura del conjunto de datos no etiquetados más grande.
¿Qué umbral de confianza debo usar para el autoentrenamiento?
Los puntos de partida comunes son 0.85–0.95 para clasificación binaria. El umbral correcto depende del equilibrio de clases y la calidad de las etiquetas. Ajústelo en el conjunto de validación etiquetado y supervise la fracción de ejemplos no etiquetados añadidos por iteración para evitar una avalancha de pseudo-etiquetas inciertas.
¿Todavía puedo interpretar los coeficientes como razones de probabilidades?
Sí, pero con precaución. Los coeficientes estimados conservan la interpretación de log-probabilidades, pero sus intervalos de confianza se subestiman porque los datos pseudo-etiquetados se tratan como observaciones reales. La inferencia sobre la significación debe basarse únicamente en la porción verdaderamente etiquetada.
¿Qué pasa si mis datos no etiquetados provienen de un período o fuente diferente?
El desplazamiento de la distribución entre los conjuntos etiquetado y no etiquetado es uno de los principales modos de fallo. Si los datos no etiquetados provienen de una población o período diferente, las pseudo-etiquetas pueden reforzar errores sistemáticos. Verifique el desplazamiento de covariables antes de continuar.
¿Existe una implementación lista para usar?
Sí. El envoltorio SelfTrainingClassifier de scikit-learn envuelve cualquier clasificador probabilístico, incluido LogisticRegression, para el autoentrenamiento. La variante EM requiere implementación manual o bibliotecas dedicadas de SSL como SKSSL o LASSL.
Métodos relacionados
Fuentes
Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.
Abrir referencia DOICopiado.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.