Saltar al contenido
Volver a los resultados

K-Vecinos más Cercanos con Aprendizaje Activo

Propuesto por
Settles, B. (active learning framework); Fix & Hodges (KNN base)
Año
1951–2010
Tipo
Active learning with KNN base learner
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El aprendizaje activo con K-Vecinos más Cercanos (KNN) combina la predicción basada en instancias de KNN con una estrategia de consulta iterativa que selecciona los ejemplos no etiquetados más informativos para su anotación.

El modelo solicita etiquetas solo para instancias donde los márgenes de votación del vecindario son más estrechos, logrando una precisión competitiva con muchos menos ejemplos etiquetados que un KNN totalmente supervisado en datos tabulares.

La intuición detrás del método

KNN clasifica un punto observando sus k vecinos etiquetados más cercanos y realizando una votación mayoritaria. Cuando esos vecinos están casi divididos equitativamente entre clases, el modelo tiene una incertidumbre genuina, y esa incertidumbre señala cuál ejemplo no etiquetado sería más valioso de etiquetar. El aprendizaje activo explota esta señal: en cada iteración, el algoritmo encuentra el punto no etiquetado cuyo vecindario está más equitativamente dividido, pide a un oráculo que lo etiquete, lo añade al conjunto etiquetado y repite. El resultado es que el esfuerzo de etiquetado se concentra cerca de los límites de decisión, donde las nuevas etiquetas enseñan más.

Historia

El clasificador K-Vecinos más Cercanos se origina en Fix y Hodges (1951) y fue formalizado por Cover y Hart (1967). El aprendizaje activo como marco principista fue sistemáticamente revisado por Burr Settles (2010), quien documentó el muestreo de incertidumbre basado en grupos, la consulta por comité y las estrategias ponderadas por densidad. KNN ha sido un aprendiz base en benchmarks de aprendizaje activo basado en grupos desde al menos el trabajo fundamental de Cohn, Atlas y Ladner (1994), valorado por su señal de incertidumbre transparente y su costo de reentrenamiento cero por iteración.

Cuándo usarlo

Utilice el aprendizaje activo con KNN cuando los datos etiquetados sean escasos o costosos de obtener, las instancias no etiquetadas sean abundantes, el espacio de características tenga una dimensionalidad moderada y se espere que el límite de decisión sea localmente suave. Es especialmente práctico en proyectos de clasificación en etapas tempranas donde el etiquetado debe ser racionado. Evítelo cuando el conjunto de datos tenga una dimensionalidad muy alta (las métricas de distancia de KNN se degradan en dimensiones altas, la maldición de la dimensionalidad), cuando el grupo etiquetado ya sea grande (KNN pasivo es suficiente), cuando se requiera predicción de baja latencia a escala (la predicción de KNN es O(n) en el conjunto etiquetado) o cuando el presupuesto de etiquetas sea tan pequeño que las estimaciones del vecindario no sean fiables.

Limitaciones y consideraciones

  • El costo de predicción escala linealmente con el tamaño del conjunto etiquetado, haciendo que la inferencia sea lenta a medida que el grupo crece a través de las iteraciones.
  • La incertidumbre basada en la distancia se degrada drásticamente en espacios de alta dimensionalidad debido a la maldición de la dimensionalidad.
  • El techo de precisión de KNN está por debajo del de los métodos de ensamblaje; la estrategia activa no puede compensar la capacidad limitada del aprendiz base.
  • Sensible a la elección de k y la métrica de distancia; las malas configuraciones predeterminadas conducen a estimaciones de incertidumbre poco fiables.
  • Se almacenan todos los puntos etiquetados en memoria; presupuestos grandes resultan en un alto consumo de memoria.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • No paramétrico y libre de suposiciones: no se requieren suposiciones distribucionales sobre los datos.
  • La estimación de la incertidumbre es natural e interpretable — refleja directamente la división de votos entre los vecinos más cercanos.
  • El aprendizaje perezoso significa que no hay costo de reentrenamiento por iteración; el conjunto etiquetado ampliado es el modelo actualizado.
  • Efectivo para concentrar etiquetas cerca de los límites de decisión, logrando una buena resolución de límites con pocas anotaciones.
  • Funciona bien en datos tabulares de dimensionalidad moderada con características continuas y binarias.

Aplicaciones

  • Anotación de registros médicos o imágenes donde el tiempo de etiquetado experto es limitado y los límites de decisión son localmente suaves.
  • Clasificación de texto o documentos con corpus etiquetados pequeños y abundantes documentos no etiquetados utilizando distancias basadas en incrustaciones.
  • Tareas de detección de fallos en sensores e industriales donde solo una fracción de los eventos puede ser verificada manualmente.
  • Encuestas ecológicas donde la confirmación de campo de las etiquetas de especies es costosa y está agrupada localmente.
  • Clasificadores prototipo en etapas tempranas antes de cambiar a un modelo de mayor capacidad una vez que se han recopilado suficientes etiquetas.

Cómo funciona

Cómo funciona

1

Se ensambla un pequeño conjunto inicial de instancias etiquetadas para sembrar el proceso, junto con un grupo más grande de instancias no etiquetadas. Se recomienda la selección aleatoria estratificada para asegurar que esté presente al menos un ejemplo por clase, dando a KNN un vecindario inicial significativo antes de que comience el bucle activo.

2

Se ajusta un clasificador KNN al conjunto etiquetado actual utilizando una k y una métrica de distancia elegidas (comúnmente euclidiana o coseno). Dado que KNN es perezoso y almacena todos los puntos de entrenamiento, el ajuste es instantáneo, pero el costo de predicción escala linealmente con el tamaño del conjunto etiquetado, una consideración relevante a medida que el grupo crece a través de las iteraciones.

3

Cada instancia no etiquetada se puntúa mediante un criterio de informativeness. El muestreo de margen calcula la diferencia entre las proporciones de votos de las dos clases principales entre los k vecinos; el muestreo de entropía calcula H(y-sombrero | x) sobre todas las proporciones de clases. Se consulta la instancia con el margen más pequeño o la entropía más alta: x* = argmax H(y-sombrero | x).

Fórmula
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)
4

La instancia consultada se envía a un oráculo — un anotador humano o un mecanismo de etiquetado automatizado — para obtener su etiqueta verdadera. La etiqueta se añade al conjunto de entrenamiento y la instancia se elimina del grupo no etiquetado. Se debe monitorear la fiabilidad del anotador, ya que las etiquetas ruidosas degradan drásticamente el rendimiento de KNN cerca de los límites.

5

Dado que KNN es un aprendiz perezoso, no se necesita un reentrenamiento explícito; el conjunto etiquetado ampliado constituye inmediatamente el nuevo modelo. El ciclo de consulta-puntuación-etiqueta se repite hasta que se agota el presupuesto de etiquetado, se alcanza un umbral de precisión de validación o se alcanza un número máximo de iteraciones. El rendimiento final se informa en un conjunto de prueba independiente y reservado.

Errores comunes

  • No normalizar las características antes de calcular las distancias, lo que hace que las características de alta magnitud dominen el vecindario.
  • Usar el conjunto de prueba para guiar o evaluar la selección de consultas, lo que constituye una fuga de datos.
  • Establecer k demasiado pequeño (k=1) cerca del límite de decisión, produciendo puntuaciones de incertidumbre muy variables que no reflejan la ambigüedad real.
  • Ignorar el desequilibrio de clases en el conjunto semilla, lo que sesga las consultas tempranas hacia los límites de la clase mayoritaria.
  • Tratar la precisión del aprendizaje activo como equivalente a una línea de base totalmente supervisada sin informar el recuento de etiquetas utilizado.

Preguntas frecuentes

¿Por qué usar KNN en lugar de un modelo más potente como aprendiz activo?

La incertidumbre de división de votos de KNN es barata de calcular y no requiere reentrenamiento — añadir un nuevo punto etiquetado actualiza inmediatamente el modelo. Esto lo hace atractivo cuando el costo computacional por iteración es importante. Para una precisión máxima con un presupuesto de etiquetas fijo, los aprendices base de ensamblaje como random forest o gradient boosting suelen superar a KNN.

¿Cómo elijo k para el aprendizaje activo?

Un rango inicial común es k = 5 a 15. Valores de k más pequeños producen estimaciones de incertidumbre más ruidosas; valores de k más grandes suavizan el límite pero pueden perder ambigüedades de grano fino. Realice validación cruzada de k en el conjunto semilla etiquetado inicial y ajústelo a medida que el grupo etiquetado crece.

¿Importa el escalado de características?

Sí, críticamente. La distancia de KNN está dominada por características de alta magnitud si las características no están normalizadas. Siempre aplique escalado min-max o estandarización z-score antes de calcular distancias y puntuaciones de incertidumbre.

¿Cuántos ejemplos etiquetados iniciales se necesitan?

Como mínimo, se requieren una o dos instancias etiquetadas por clase para que KNN pueda formar vecindarios para todas las clases. En la práctica, 5-20 instancias etiquetadas proporcionan estimaciones de incertidumbre iniciales más estables; menos corren el riesgo de vecindarios degenerados que producen consultas tempranas poco informativas.

¿Cuándo debo detener el bucle activo?

Establezca un presupuesto de etiquetado de antemano, o monitoree la precisión de validación y deténgase cuando la mejora por nueva etiqueta caiga por debajo de un umbral significativo. Nunca use el conjunto de prueba como señal de parada, ya que esto filtra información en el proceso de consulta.

Métodos relacionados

Fuentes

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.

    Abrir referencia de la publicación
    Copiado.
  2. Zhu, X., Lafferty, J., & Ghahramani, Z. (2003). Combining active learning and semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the ICML 2003 Workshop on the Continuum from Labeled to Unlabeled Data, 58–65.

    Abrir referencia de la publicación
    Copiado.