Saltar al contenido
Volver a los resultados

Máquina de Vectores de Soporte Semisupervisada

Propuesto por
Joachims, T.
Año
1999
Tipo
Semi-supervised classifier
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La Máquina de Vectores de Soporte Semisupervisada (S3VM) extiende la SVM clásica incorporando grandes cantidades de datos no etiquetados junto con un pequeño conjunto de entrenamiento etiquetado.

Busca un hiperplano de máximo margen que no solo separe los ejemplos etiquetados, sino que también atraviese regiones de baja densidad de la distribución completa de datos, lo que resulta en una mejor generalización cuando las muestras etiquetadas son escasas.

La intuición detrás del método

Una SVM estándar aprende un límite de decisión únicamente a partir de puntos etiquetados. La S3VM observa que los datos no etiquetados aún portan información geométrica sobre dónde se agrupan densamente los datos y dónde se diluyen. Al exigir que el límite de decisión evite las regiones de alta densidad —independientemente de si esos puntos tienen etiquetas o no— el modelo puede explotar la mayoría no etiquetada para agudizar el límite que de otro modo trazaría basándose solo en un puñado de ejemplos etiquetados. El resultado es un margen que respeta la estructura subyacente de los datos, no solo las etiquetas conocidas.

Historia

Los fundamentos de la S3VM fueron sentados por Vapnik en su trabajo temprano sobre inferencia transductiva, pero el método se adoptó ampliamente después de que Joachims (1999) demostrara su efectividad para la clasificación de texto bajo el nombre de SVM Transductiva. El tratamiento exhaustivo en Chapelle, Scholkopf y Zien (2006) consolidó la S3VM junto con otros enfoques semisupervisados y sigue siendo la referencia estándar. Trabajos posteriores introdujeron relajaciones convexas y solucionadores escalables para abordar los desafíos computacionales y de óptimos locales del método original.

Cuándo usarlo

La S3VM es la opción adecuada cuando los datos etiquetados son caros o escasos (p. ej., menos de unos pocos cientos de ejemplos) pero hay abundantes datos no etiquetados disponibles —un escenario común en clasificación de texto, bioinformática o cualquier dominio donde la anotación sea costosa. Funciona mejor cuando se cumple la suposición de clúster: las clases forman clústeres distintos y el límite de decisión se encuentra en una región de baja densidad. Evite la S3VM cuando los datos etiquetados ya son abundantes (la SVM estándar igualará o superará su rendimiento a menor costo), cuando la suposición de clúster se viola (las clases se solapan fuertemente en el espacio de características) o cuando la distribución no etiquetada se desvía de la distribución etiquetada, lo que puede empujar el límite en la dirección incorrecta.

Limitaciones y consideraciones

  • La optimización no es convexa debido a las pseudo-etiquetas, lo que la hace sensible a la inicialización y propensa a óptimos locales.
  • El costo computacional escala pobremente con el número de ejemplos no etiquetados — grandes conjuntos de datos no etiquetados resultan costosos.
  • Se basa en la suposición de clúster; si las clases no forman clústeres bien separados, los datos no etiquetados pueden degradar el rendimiento.
  • Requiere una cuidadosa sintonización del peso de la pérdida etiquetada C y del peso de la pérdida no etiquetada C*, lo que aumenta la complejidad de la selección del modelo.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha eficazmente grandes conjuntos de datos no etiquetados para mejorar la generalización cuando los ejemplos etiquetados son escasos.
  • Hereda las garantías de máximo margen y la flexibilidad de kernel de las SVM estándar.
  • Bien adaptada a datos dispersos de alta dimensionalidad, como el texto, donde los corpus no etiquetados son abundantes.
  • Existen extensiones probabilísticas (S3VM de Proceso Gaussiano) y variantes de kernel para límites no lineales.
  • Precisión competitiva en regímenes de baja cantidad de datos etiquetados en comparación con alternativas puramente supervisadas.

Aplicaciones

  • Clasificación de texto y documentos con pocos ejemplos de entrenamiento etiquetados.
  • Tareas de bioinformática como la predicción de la función de proteínas, donde la anotación experimental es costosa.
  • Categorización de páginas web aprovechando grandes corpus rastreados pero no anotados.
  • Análisis de imágenes médicas, donde el etiquetado por expertos es lento y costoso.
  • Cualquier problema de clasificación de alta dimensionalidad con datos no etiquetados abundantes y etiquetas escasas.

Cómo funciona

Cómo funciona

1

Se ajusta una SVM inicial a los ejemplos etiquetados disponibles, aprendiendo un límite de decisión y un margen preliminares. Esto proporciona un modelo de partida y predicciones iniciales para el conjunto de datos no etiquetados, anclando la posterior optimización semisupervisada en una solución supervisada.

2

La SVM preliminar asigna etiquetas de clase tentativas (pseudo-etiquetas) a todos los ejemplos no etiquetados basándose en el lado de la frontera actual en el que caen. Estas pseudo-etiquetas permiten que los puntos no etiquetados participen en la maximización del margen a pesar de que su clase verdadera sea desconocida.

3

El objetivo central de la S3VM minimiza conjuntamente la pérdida de bisagra en los ejemplos etiquetados y la pseudo-pérdida de bisagra en los ejemplos no etiquetados, mientras maximiza el margen. Un parámetro de balanceo C* controla la fuerza con la que los puntos no etiquetados influyen en el límite, intercambiando la explotación de la estructura en los datos no etiquetados con el ajuste a la verdad fundamental etiquetada.

Fórmula
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*
4

Dado que las pseudo-etiquetas pueden ser erróneas, el algoritmo itera: reasigna pseudo-etiquetas utilizando el límite actualizado y vuelve a resolver la optimización conjunta. El intercambio de ejemplos no etiquetados mal asignados a la clase opuesta y la reoptimización mueven progresivamente el límite hacia huecos de menor densidad en los datos.

5

Una vez alcanzada la convergencia, los nuevos ejemplos se clasifican por el signo de la función de decisión lineal aprendida. El hiperplano resultante se sitúa en una región de baja densidad de la distribución completa de datos, proporcionando una mejor generalización en ejemplos retenidos que una SVM puramente supervisada entrenada con el mismo pequeño conjunto etiquetado.

Fórmula
f(x) = \text{sign}(w^\top x + b)

Errores comunes

  • Asumiendo que los datos no etiquetados siempre ayudan — si la suposición de clúster se viola, la S3VM puede tener un rendimiento peor que una SVM supervisada.
  • Usar un C* muy grande en relación con C, sobreponderando los puntos no etiquetados y permitiendo que el límite se desvíe de la señal etiquetada.
  • No validar en un conjunto etiquetado retenido, lo que hace imposible detectar cuándo los datos no etiquetados han perjudicado el rendimiento.
  • Aplicar S3VM cuando los datos etiquetados y no etiquetados provienen de distribuciones diferentes (desplazamiento de covariables), lo que viola las suposiciones del método.

Preguntas frecuentes

¿Cómo difiere la S3VM de una SVM estándar?

Una SVM estándar utiliza solo datos etiquetados para colocar su límite de decisión. La S3VM incorpora adicionalmente ejemplos no etiquetados exigiendo que el límite atraviese regiones de baja densidad de la distribución completa de datos, mejorando la generalización cuando los datos etiquetados son escasos.

¿Qué es la suposición de clúster y por qué es importante?

La suposición de clúster establece que el límite de decisión se encuentra en una región de baja densidad de datos, lo que significa que las clases forman clústeres separables. La S3VM explota esto dirigiendo el límite lejos de las regiones densas. Si las clases se solapan fuertemente, esta suposición falla y los datos no etiquetados pueden inducir a error al modelo.

¿Cómo elijo el peso no etiquetado C*?

C* controla la fuerza con la que los ejemplos no etiquetados influyen en el margen. Una estrategia común es comenzar con C* mucho menor que C y aumentarlo gradualmente mientras se monitoriza la precisión de validación en un pequeño conjunto de retención etiquetado, deteniéndose antes de que el rendimiento se degrade.

¿Puede la S3VM manejar límites no lineales?

Sí. Al igual que las SVM estándar, la S3VM admite funciones de kernel (RBF, polinomial, etc.) que mapean implícitamente los datos a espacios de mayor dimensión donde un límite lineal se vuelve no lineal en el espacio de características original.

¿Cuándo debería preferir el autoentrenamiento o la propagación de etiquetas sobre la S3VM?

El autoentrenamiento es más simple de implementar y escala mejor a grandes conjuntos de datos no etiquetados; prefíralo cuando los recursos computacionales sean limitados. La propagación de etiquetas funciona bien en datos con estructura de grafo. La S3VM se prefiere cuando se desean garantías de máximo margen y es probable que se cumpla la suposición de clúster.

Métodos relacionados

Fuentes

  1. Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.

    Abrir referencia de la publicación
    Copiado.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiado.