Saltar al contenido
Volver a los resultados

Vecinos más cercanos (K-NN)

Propuesto por
Cover, T.M. & Hart, P.E.
Año
1967
Tipo
Instance-based (non-parametric) learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El método de los K vecinos más cercanos (K-NN), formalizado por Cover y Hart en 1967, es un método no paramétrico e basado en instancias que clasifica o predice una nueva observación examinando los k ejemplos más cercanos en los datos de entrenamiento.

Para la clasificación, toma una votación mayoritaria entre esos vecinos; para la regresión, promedia sus valores.

La intuición detrás del método

La idea es simple: entradas similares tienden a tener salidas similares. Para etiquetar un nuevo punto, K-NN encuentra el puñado de ejemplos de entrenamiento que se encuentran más cerca de él en el espacio de características y deja que ellos decidan. No hay ninguna ecuación ajustada de antemano — los propios datos de entrenamiento constituyen el modelo, y una predicción solo se realiza cuando llega un nuevo punto.

Historia

La clasificación de patrones por vecinos más cercanos recibió su base estadística formal por Thomas Cover y Peter Hart en su artículo de 1967 en IEEE Transactions on Information Theory, que analizó la tasa de error de la regla del vecino más cercano. K-NN se convirtió en uno de los métodos de aprendizaje basados en instancias más tempranos y duraderos y sigue siendo un clasificador de referencia estándar.

Cuándo usarlo

Utilice K-NN para clasificación o predicción en datos tabulares con características continuas, binarias u ordinales y al menos unas 30 observaciones. No asume ninguna distribución particular, pero sí requiere que las características se normalicen y que el número de características sea pequeño en relación con el tamaño de la muestra (se prefiere p mucho menor que n). En muestras pequeñas o de alta dimensionalidad, la maldición de la dimensionalidad domina — las distancias entre vecinos pierden su significado — y un modelo paramétrico como la regresión logística o Naive Bayes es la mejor opción.

Limitaciones y consideraciones

  • Sensible al escalado de características; sin estandarización, las características a gran escala dominan la distancia.
  • Se degrada rápidamente en altas dimensiones (maldición de la dimensionalidad), donde las distancias entre vecinos pierden su significado.
  • Cada predicción requiere escanear todo el conjunto de entrenamiento, lo que es lento en el momento de la predicción con datos grandes.
  • Necesita al menos un tamaño de muestra moderado; en muestras pequeñas, las distancias entre vecinos más cercanos no tienen significado.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Conceptualmente simple y fácil de explicar: sin ecuación en tiempo de entrenamiento, los datos son el modelo.
  • No paramétrico — no hace suposiciones sobre la distribución subyacente.
  • Maneja naturalmente problemas multiclase y límites de decisión complejos y no lineales.
  • Funciona tanto para clasificación como para regresión con la misma idea básica.

Aplicaciones

  • Clasificación de datos tabulares en dos o más categorías.
  • Predicción numérica (regresión) promediando los ejemplos más cercanos.
  • Una línea base simple e interpretable antes de probar modelos más complejos.
  • Reconocimiento de patrones donde la similitud con ejemplos conocidos impulsa la decisión.

Cómo funciona

Cómo funciona

1

Para una nueva observación, K-NN mide cuán lejos está de cada ejemplo de entrenamiento, típicamente usando la distancia euclidiana a través de las características. Dado que la distancia es sensible a la escala, las características deben estandarizarse primero — de lo contrario, una variable medida en una escala numérica grande dominaría el cálculo y distorsionaría cuáles vecinos se consideran más cercanos.

Fórmula
d(x, x_i) = \sqrt{\sum_{j=1}^{p}(x_j - x_{ij})^2}
2

Los k puntos de entrenamiento con las distancias más pequeñas a la nueva observación se seleccionan como sus vecinos. El valor de k controla cuán local es la decisión: un k pequeño sigue de cerca los datos pero es sensible al ruido, mientras que un k mayor suaviza el límite. k debe elegirse mediante validación cruzada (por ejemplo, el método del codo) en lugar de adivinarse.

3

Los vecinos deciden la predicción: para la clasificación, el nuevo punto toma la clase más común entre sus k vecinos (una votación mayoritaria), y para la regresión, toma el promedio de sus valores. Esto hace que el método sea fácil de entender, pero cada predicción requiere escanear el conjunto de entrenamiento.

Fórmula
\hat{y} = \text{mode/mean of the } k \text{ nearest neighbors}

Errores comunes

  • Omitir la estandarización de características, de modo que una variable a gran escala controle silenciosamente la distancia.
  • Elegir k manualmente en lugar de seleccionarlo con validación cruzada.
  • Aplicar K-NN con muchas características y pocas observaciones, donde la relación dimensión/muestra lo rompe.
  • Informar solo la precisión en lugar de la precisión, la exhaustividad, el F1 y una matriz de confusión.

Preguntas frecuentes

¿Cómo elijo el valor de k?

k debe seleccionarse con validación cruzada en lugar de adivinarse — por ejemplo, probando un rango de valores y utilizando el método del codo para encontrar dónde el error deja de mejorar. Un k pequeño sigue de cerca los datos pero es sensible al ruido, mientras que un k mayor suaviza el límite de decisión.

¿Por qué debo estandarizar las características?

K-NN decide quién está 'más cerca' usando la distancia, que es sensible a la escala. Si una característica está en una escala numérica mucho mayor que las otras, domina la distancia y distorsiona el conjunto de vecinos. Se requiere estandarizar las características (por ejemplo, con un StandardScaler) para que cada característica contribuya de manera justa.

¿Por qué K-NN tiene dificultades con muchas características?

En espacios de alta dimensionalidad, todos los puntos se vuelven aproximadamente equidistantes — la maldición de la dimensionalidad — por lo que los vecinos 'más cercanos' ya no están significativamente cerca. El rendimiento de K-NN cae rápidamente, y un modelo paramétrico como Naive Bayes o regresión logística es generalmente preferible. Mantener p mucho menor que n ayuda.

¿Hay un paso de entrenamiento?

No en el sentido habitual. K-NN está basado en instancias (perezoso): simplemente almacena los datos de entrenamiento y realiza todo el trabajo en el momento de la predicción, cuando calcula distancias para encontrar los vecinos más cercanos de un nuevo punto.

Métodos relacionados

Fuentes

  1. Cover, T.M. & Hart, P.E. (1967). Nearest Neighbor Pattern Classification. IEEE Transactions on Information Theory, 13(1), 21–27.

    Abrir referencia DOI
    Copiado.