Clasificación Zero-Shot — Clasificación de Texto sin Datos de Entrenamiento
- Propuesto por
- Yin, Hay & Roth
- Año
- 2019
- Tipo
- NLP text-classification task
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La clasificación zero-shot es una tarea de procesamiento del lenguaje natural que asigna texto a categorías descritas en lenguaje claro sin requerir datos de entrenamiento etiquetados.
Formalizada como un problema de inferencia por Yin, Hay y Roth (2019), permite que un gran modelo de lenguaje preentrenado reconozca nuevas categorías sobre la marcha simplemente nombrándolas, lo que permite una rápida adaptación a nuevos conjuntos de etiquetas.
La intuición detrás del método
Normalmente, un clasificador debe ver muchos ejemplos etiquetados de cada categoría antes de poder reconocerlos. La clasificación zero-shot omite ese paso: usted proporciona los nombres de las categorías como palabras ordinarias —por ejemplo, política, deportes, ciencia— y un gran modelo de lenguaje preentrenado que ya comprende el lenguaje juzga qué tan bien se ajusta cada etiqueta candidata al texto. Debido a que el modelo aporta su propio conocimiento amplio del lenguaje, puede agregar o cambiar categorías instantáneamente sin recopilar y etiquetar nuevos datos de entrenamiento.
Historia
La clasificación de texto zero-shot fue comparada sistemáticamente y formulada como un problema de inferencia textual por Yin, Hay y Roth (2019), quienes demostraron que un modelo entrenado en inferencia de lenguaje natural puede clasificar texto en categorías no vistas tratando cada etiqueta como una hipótesis. La capacidad más amplia de los grandes modelos de lenguaje para realizar tareas para las que nunca fueron entrenados explícitamente fue popularizada por Brown et al. (2020) en el trabajo de aprendizaje few-shot sobre GPT-3.
Cuándo usarlo
La clasificación zero-shot es adecuada cuando tiene texto para categorizar pero no datos de entrenamiento etiquetados, y cuando las categorías pueden cambiar o crecer con el tiempo. Requiere un gran modelo de lenguaje preentrenado (como modelos de inferencia basados en BART o RoBERTa) y etiquetas candidatas que se definan de manera clara y disjunta. Es muy adecuada para la creación rápida de prototipos y para entornos donde la recopilación de ejemplos etiquetados para cada clase no es práctica.
Limitaciones y consideraciones
- Depende de un gran modelo de lenguaje preentrenado (BART, RoBERTa), lo que conlleva un costo computacional.
- La precisión depende de cuán clara y disjuntamente estén redactadas las etiquetas candidatas.
- Sin entrenamiento específico para la tarea, puede ser superado por un clasificador supervisado cuando existe una gran cantidad de datos etiquetados.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- No requiere datos de entrenamiento etiquetados: las categorías se describen en lenguaje claro.
- Se adapta rápidamente a nuevas categorías: agregar una clase solo significa agregar su nombre a la lista de etiquetas candidatas.
- Aprovecha el amplio conocimiento lingüístico ya capturado en un gran modelo preentrenado.
Aplicaciones
- Categorizar documentos en conjuntos de etiquetas que cambian con frecuencia sin reentrenamiento.
- Prototipado rápido de tareas de clasificación antes de recopilar cualquier dato etiquetado.
- Enrutamiento o etiquetado de texto entrante (temas, intenciones) utilizando solo nombres de categorías.
- Exploración de categorías emergentes en corpus de texto de investigación y operativos.
Cómo funciona
Cómo funciona
Usted describe las categorías objetivo como etiquetas candidatas en lenguaje natural —frases cortas que el modelo puede leer directamente. Estas etiquetas deben estar claramente redactadas y ser disjuntas, ya que el modelo compara el texto con cada etiqueta tal como está escrita; las etiquetas vagas o superpuestas difuminan la decisión.
El texto y las etiquetas candidatas se introducen en un gran modelo de lenguaje preentrenado como BART o RoBERTa. No se realiza ningún ajuste con sus propios datos: el modelo utiliza el conocimiento lingüístico que adquirió durante el preentrenamiento para representar tanto el documento como cada etiqueta candidata.
El modelo puntúa qué tan fuertemente cada etiqueta candidata es respaldada por el texto, enmarcando la tarea como inferencia de lenguaje natural: ¿implica el texto la hipótesis de que pertenece a esta etiqueta? Cada etiqueta recibe una puntuación de compatibilidad del modelo preentrenado.
La etiqueta con la puntuación más alta se asigna al texto (o un conjunto clasificado de etiquetas para configuraciones multietiqueta). Dado que la puntuación se basa completamente en el modelo preentrenado, agregar una nueva categoría es tan simple como agregar su nombre a la lista de candidatas.
Errores comunes
- Las etiquetas candidatas vagas o superpuestas difuminan las decisiones del modelo; defina cada etiqueta claramente y manténgalas disjuntas.
- Esperar que la precisión zero-shot iguale a la de un clasificador totalmente supervisado cuando hay muchos datos etiquetados disponibles; en ese caso, entrene un modelo supervisado en su lugar.
- Usar un modelo pequeño o genérico en lugar de uno grande capaz de inferencia degrada los resultados.
- Formular las etiquetas en un idioma que el modelo preentrenado no maneja bien reduce la fiabilidad.
Preguntas frecuentes
¿Requiere la clasificación zero-shot algún dato de entrenamiento?
No. Esa es su característica definitoria: usted describe las categorías como etiquetas candidatas en lenguaje natural y un gran modelo preentrenado juzga el ajuste, por lo que no se requieren ejemplos etiquetados.
¿En qué modelo se basa?
Se basa en un gran modelo de lenguaje preentrenado, típicamente un modelo entrenado para inferencia como BART o RoBERTa. La calidad del resultado depende en gran medida del uso de un modelo preentrenado capaz en lugar de uno pequeño y genérico.
¿Cómo debo escribir las etiquetas candidatas?
Defínalas claramente y manténgalas disjuntas. El modelo compara el texto con cada etiqueta tal como está escrita, por lo que las etiquetas vagas o superpuestas difuminan la decisión y reducen la precisión.
¿Es tan preciso como un clasificador supervisado?
No necesariamente. Cuando tiene una gran cantidad de datos etiquetados, un clasificador supervisado entrenado con esos datos puede superar al zero-shot. El zero-shot brilla cuando los datos etiquetados son escasos o el conjunto de categorías cambia constantemente.
Métodos relacionados
Fuentes
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Abrir referencia DOICopiado.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Abrir referencia de la publicaciónCopiado.