Aprendizaje activo
- Propuesto por
- Burr Settles
- Año
- 2009
- Tipo
- Interactive supervised learning framework
- Familia
- Interactive ML
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El aprendizaje activo es un paradigma iterativo de aprendizaje automático en el que un algoritmo de aprendizaje consulta selectivamente a un oráculo —típicamente un anotador humano— para obtener etiquetas sobre los ejemplos no etiquetados más informativos.
Formalizado por Burr Settles en su seminal revisión bibliográfica de 2009, el aprendizaje activo aborda el cuello de botella práctico del coste de anotación logrando una alta precisión del modelo con muchos menos ejemplos etiquetados de los que requiere el aprendizaje supervisado pasivo.
La intuición detrás del método
Imagine a un estudiante de medicina que, en lugar de memorizar cada página de un libro de texto, pregunta al médico tratante solo sobre los casos más desconcertantes. El estudiante aprende más rápido centrándose en la incertidumbre en lugar de revisar ejemplos que ya comprende. El aprendizaje activo funciona de la misma manera: el modelo identifica los ejemplos que más le confunden, solicita etiquetas humanas para esas instancias específicas y se actualiza a sí mismo, repitiendo este ciclo hasta que el rendimiento es satisfactorio.
Historia
El concepto de consultar selectivamente ejemplos de entrenamiento informativos se remonta al diseño experimental óptimo de Fedorov (1972) y al aprendizaje por consulta de Cohn et al. (1994). El campo fue sustancialmente unificado y popularizado por el informe técnico de Burr Settles de 2009, que catalogó estrategias de consulta, límites teóricos y aplicaciones en PNL, bioinformática y visión por computadora. El aprendizaje activo profundo surgió después de 2016, a medida que las redes neuronales se convirtieron en la clase de modelo dominante, impulsando nuevas técnicas de estimación de incertidumbre.
Cuándo usarlo
El aprendizaje activo es más beneficioso cuando los datos no etiquetados son abundantes pero la anotación experta es costosa, lenta o escasa —común en imágenes médicas, clasificación de documentos legales, curación de datos científicos y procesamiento del lenguaje natural. Asume la disponibilidad del oráculo y que la estrategia de consulta puede identificar significativamente ejemplos informativos. Es menos adecuado cuando el coste de anotación es insignificante, el conjunto no etiquetado es pequeño, o la distribución de la tarea cambia sustancialmente entre consultas. Las alternativas incluyen el aprendizaje semisupervisado (cuando no se pueden obtener etiquetas interactivamente) y el autoentrenamiento (cuando las consultas al oráculo son inviables).
Limitaciones y consideraciones
- Las estrategias de consulta pueden introducir sesgos de muestreo, haciendo que el conjunto etiquetado no sea representativo de la distribución real de los datos.
- Las ganancias de rendimiento dependen en gran medida de la elección de la estrategia de consulta, que es específica de la tarea y del modelo.
- Reentrenar el modelo después de cada consulta es computacionalmente costoso para redes neuronales grandes.
- El ruido del oráculo (discrepancia o errores del anotador) puede degradar el rendimiento si no se modela explícitamente.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Reduce drásticamente el coste de etiquetado al centrar el esfuerzo de anotación en los ejemplos más informativos.
- Aplicable a cualquier aprendiz supervisado —clasificación, regresión, predicción estructurada— sin modificar la arquitectura del modelo subyacente.
- Teóricamente fundamentado: el muestreo por incertidumbre y la consulta a un comité tienen justificaciones PAC-learning y bayesianas.
- Compatible con flujos de trabajo de crowdsourcing y plataformas de anotación modernas.
Aplicaciones
- Anotación de imágenes médicas (radiología, patología) donde el etiquetado experto es costoso y escaso.
- Reconocimiento de entidades nombradas y extracción de relaciones en PNL, reduciendo los requisitos de corpus etiquetados manualmente.
- Descubrimiento de fármacos: selección de qué candidatos moleculares sintetizar y ensayar.
- Clasificación de teledetección e imágenes satelitales con etiquetas de verdad terreno limitadas.
- Conducción autónoma: priorización de la anotación de escenarios de conducción raros o críticos para la seguridad.
Cómo funciona
Cómo funciona
El proceso comienza con un gran conjunto de ejemplos no etiquetados U y un conjunto etiquetado L inicialmente vacío. Un modelo base puede ser preentrenado con cualquier dato semilla etiquetado disponible, o inicializado aleatoriamente. Esta separación de datos etiquetados y no etiquetados es la suposición estructural definitoria del aprendizaje activo basado en conjuntos.
Fórmula
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptysetEn cada iteración, el aprendiz puntúa cada instancia no etiquetada según un criterio de informativeness —aquí, el muestreo por incertidumbre selecciona el ejemplo cuya probabilidad posterior de clase máxima es la más baja, indicando una incertidumbre máxima del modelo. Criterios alternativos incluyen el desacuerdo por consulta a un comité y el cambio esperado del modelo.
Fórmula
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})La instancia seleccionada x* se presenta a un oráculo (experto humano, plataforma de crowdsourcing o anotador automatizado) que proporciona una etiqueta y*. El par recién etiquetado se mueve de U a L, y el contador del presupuesto de consulta se decrementa. El coste del oráculo se trata típicamente como uniforme por consulta.
Fórmula
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}Los parámetros del modelo se reentrenan (o se ajustan finamente) en el conjunto etiquetado actual L minimizando una pérdida empírica. El modelo actualizado vuelve a puntuar el conjunto restante, y el ciclo de consulta-selección-etiquetado-reentrenamiento se repite hasta que se agota el presupuesto o se alcanza un umbral de precisión objetivo.
Fórmula
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)Errores comunes
- Problema de arranque en frío: con muy pocas etiquetas iniciales, las estimaciones de incertidumbre no son fiables, lo que lleva a consultas tempranas deficientes.
- El aprendizaje activo en modo batch puede seleccionar instancias redundantes si se ignoran las correlaciones inter-consulta.
- Aplicar el aprendizaje activo a redes neuronales profundas con incertidumbre basada en dropout (por ejemplo, MC Dropout) puede subestimar la incertidumbre en regiones fuera de distribución.
- Comparar ejecuciones de aprendizaje activo entre semillas o presupuestos de consulta sin intervalos de confianza conduce a conclusiones engañosas sobre la superioridad de la estrategia.
Preguntas frecuentes
¿Cómo se diferencia el aprendizaje activo del aprendizaje semisupervisado?
El aprendizaje semisupervisado explota la estructura de los datos no etiquetados (por ejemplo, agrupamiento, supuestos de variedad) sin consultar a un oráculo, actualizando el modelo utilizando pseudo-etiquetas o regularización de consistencia. El aprendizaje activo solicita explícitamente etiquetas verdaderas de un oráculo para ejemplos seleccionados. Los dos enfoques son complementarios y pueden combinarse.
¿Qué estrategia de consulta debo usar en la práctica?
El muestreo por incertidumbre es la línea base más utilizada y funciona bien para clasificadores binarios y multiclase. La consulta a un comité es preferible cuando ya se dispone de un conjunto. El cambio esperado del modelo o BALD (Aprendizaje Activo Bayesiano por Desacuerdo) tienden a funcionar mejor para modelos profundos pero son computacionalmente más pesados. Comience con el muestreo por incertidumbre y compare con alternativas.
¿Se puede aplicar el aprendizaje activo a tareas de regresión?
Sí. Para la regresión, la informativeness se mide típicamente por la varianza predictiva (por ejemplo, de un proceso gaussiano o un conjunto) en lugar de la entropía de la probabilidad de clase. El aprendiz consulta puntos donde la varianza es mayor. Esta es una práctica estándar en la optimización bayesiana y el diseño de experimentos basado en modelos sustitutos.
Métodos relacionados
Fuentes
Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.
Abrir referencia de la publicaciónCopiado.