Clasificación de texto con pocos ejemplos
- Tipo
- NLP text-classification task (low-resource)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La clasificación de texto con pocos ejemplos asigna documentos a clases utilizando solo un puñado de ejemplos etiquetados por clase.
Basándose en los avances de Gao et al. (2021) y el enfoque SetFit sin indicaciones (prompt-free) de Tunstall et al. (2022), se apoya en redes prototípicas, MAML o el ajuste fino (fine-tuning) de un modelo preentrenado grande para aprender de etiquetas escasas.
La intuición detrás del método
La mayoría de los clasificadores necesitan un gran conjunto de entrenamiento etiquetado, pero etiquetar texto es caro y a veces solo existen unos pocos ejemplos por clase. La clasificación de texto con pocos ejemplos sortea esto comenzando con un modelo que ya entiende el lenguaje —un modelo preentrenado grande— y lo impulsa hacia sus clases con solo unos pocos ejemplos de cada una. En lugar de aprender cada clase desde cero, compara nuevos documentos con un pequeño conjunto de prototipos etiquetados o adapta ligeramente el modelo preentrenado para que incluso un ejemplo por clase pueda guiar la decisión.
Historia
La clasificación de texto con pocos ejemplos surgió de la investigación en aprendizaje con pocos ejemplos y metaaprendizaje adaptada al lenguaje. Gao et al. (2021) mostraron cómo hacer que los modelos de lenguaje preentrenados fueran mejores aprendices con pocos ejemplos, y Tunstall et al. (2022) introdujeron SetFit para un aprendizaje eficiente con pocos ejemplos sin indicaciones (prompt-free), haciendo el enfoque práctico con conjuntos etiquetados pequeños y modelos base preentrenados potentes.
Cuándo usarlo
Utilice la clasificación de texto con pocos ejemplos cuando tenga texto que clasificar pero solo unos pocos ejemplos etiquetados por clase —muchos menos de los que necesitaría un clasificador supervisado convencional—. Asume que existe al menos un ejemplo para cada clase y funciona mejor cuando hay disponible un modelo preentrenado grande para suministrar el conocimiento faltante. Con datos etiquetados abundantes, un clasificador de texto supervisado ordinario es la opción más sencilla.
Limitaciones y consideraciones
- Necesita al menos un ejemplo etiquetado por cada clase; las clases totalmente nuevas no pueden predecirse.
- La calidad depende en gran medida del modelo base preentrenado —un modelo débil o poco adecuado limita el rendimiento—.
- Con muy pocos ejemplos, las predicciones pueden ser inestables y sensibles a los ejemplos elegidos.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprende de muy pocos ejemplos etiquetados —tan solo uno por clase—, donde los clasificadores supervisados convencionales fallan.
- Reutiliza el amplio conocimiento del lenguaje dentro de un modelo preentrenado grande, por lo que se necesita pocos datos específicos de la tarea.
- Flexible entre estrategias: redes prototípicas, MAML o ajuste fino ligero encajan en el mismo flujo de trabajo (pipeline).
Aplicaciones
- Clasificar texto cuando el etiquetado es costoso y solo hay disponibles unos pocos ejemplos por categoría.
- Arrancar un clasificador para un nuevo dominio o conjunto de etiquetas antes de que se realice el etiquetado a gran escala.
- Prototipado rápido de categorización de texto en entornos de investigación y operativos con etiquetas escasas.
- Extender un esquema existente con clases nuevas y escasamente etiquetadas.
Cómo funciona
Cómo funciona
Se reúne un conjunto pequeño etiquetado con al menos un ejemplo por clase —a veces solo unos pocos por clase—. Este es el conjunto de soporte del cual aprende el método; cuanto más pequeño sea, más dependerá el método del conocimiento ya existente en el modelo preentrenado.
Se elige un modelo preentrenado grande como modelo base (backbone), porque ya codifica un amplio conocimiento del lenguaje. Se prefiere un modelo preentrenado potente —cuanto más sepa de antemano sobre el lenguaje, menos necesitará enseñarse cada clase a partir de sus pocos ejemplos.
El modelo base se orienta hacia sus clases con una de las estrategias de pocos ejemplos: las redes prototípicas construyen un prototipo de clase a partir de los pocos ejemplos y clasifican por el prototipo más cercano, MAML metaaprende metaparámetros iniciales que se adaptan rápidamente, y el ajuste fino actualiza ligeramente el modelo preentrenado en el conjunto pequeño.
Cada nuevo documento es codificado por el modelo adaptado y se le asigna una etiqueta de clase —por prototipo más cercano o por la capa clasificadora ajustada (fine-tuned)—, produciendo una etiqueta predicha por documento a pesar de los escasos datos de entrenamiento.
Errores comunes
- Tratar una clase con cero ejemplos etiquetados como aprendible —cada clase debe tener al menos un ejemplo—.
- Emparejar el método con un modelo preentrenado pequeño o mal ajustado, lo que elimina el conocimiento previo del que depende la configuración de pocos ejemplos.
- Sobreestimar la precisión a partir de un conjunto de soporte diminuto; con tan pocos ejemplos, las estimaciones de evaluación son ruidosas.
Preguntas frecuentes
¿Cuántos ejemplos por clase necesita realmente?
Se requiere al menos un ejemplo etiquetado por clase, y el método está diseñado para funcionar con solo unos pocos por clase. Cuantos menos proporcione, más se apoyará en el conocimiento previo del modelo base preentrenado.
¿Qué estrategia de pocos ejemplos debo usar?
Las redes prototípicas construyen un prototipo por clase a partir de los pocos ejemplos y clasifican por el prototipo más cercano; MAML aprende metaparámetros que se adaptan rápidamente a nuevas tareas; el ajuste fino actualiza ligeramente un modelo preentrenado en el conjunto pequeño. Las tres encajan en el mismo flujo de trabajo; el estilo SetFit de ajuste fino sin indicaciones (prompt-free) es una opción predeterminada práctica.
¿Por qué el modelo preentrenado importa tanto?
Con solo unos pocos ejemplos etiquetados, la mayor parte del conocimiento tiene que venir de otro lugar. Un modelo preentrenado grande suministra una comprensión amplia del lenguaje, por lo que un modelo base más potente generalmente da mejores resultados con pocos ejemplos.
¿Cuándo debería preferir un clasificador supervisado normal en su lugar?
Cuando tenga datos etiquetados abundantes. Los métodos de pocos ejemplos existen para escenarios con pocas etiquetas; con un conjunto etiquetado grande y equilibrado, un clasificador de texto supervisado estándar es más sencillo y generalmente más potente.
Métodos relacionados
Fuentes
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
Abrir referencia DOICopiado.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
Abrir referencia DOICopiado.