Saltar al contenido
Volver a los resultados

Clasificación basada en BERT ajustado

Propuesto por
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
Año
2019
Tipo
Pre-trained transformer fine-tuned for classification
Familia
Deep learning / NLP / CV

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La clasificación basada en BERT ajustado adapta un transformador BERT preentrenado a una tarea específica de clasificación de texto añadiendo una capa de salida ligera y continuando el entrenamiento basado en gradientes sobre ejemplos etiquetados.

Consistentemente logra una precisión cercana al estado del arte en análisis de sentimiento, categorización de temas, detección de intenciones y otras tareas de clasificación de PLN con conjuntos de datos etiquetados relativamente pequeños.

La intuición detrás del método

BERT se preentrena con grandes cantidades de texto no etiquetado, aprendiendo representaciones contextuales ricas del lenguaje. El ajuste fino (fine-tuning) reutiliza ese conocimiento general adjuntando una cabeza de clasificación simple en la parte superior y entrenando todo el modelo —o solo la cabeza— con sus ejemplos etiquetados. Dado que BERT ya comprende la sintaxis, la semántica y el conocimiento del mundo, el modelo necesita muchos menos ejemplos etiquetados que entrenar un clasificador neuronal desde cero, y converge a una mayor precisión más rápidamente. El token [CLS] representa un resumen a nivel de oración que el clasificador lee.

Historia

BERT (Bidirectional Encoder Representations from Transformers) fue introducido por Google AI en 2019 por Devlin et al., basándose en la arquitectura Transformer de Vaswani et al. (2017). Sus tareas de preentrenamiento de modelado de lenguaje enmascarado y predicción de la siguiente oración produjeron representaciones contextuales profundas que superaron el estado del arte anterior en once puntos de referencia de PLN simultáneamente. El ajuste fino de BERT para clasificación se convirtió rápidamente en el paradigma dominante en la investigación de PLN aplicada, generando sucesores como RoBERTa, DistilBERT y ALBERT.

Cuándo usarlo

Utilice la clasificación basada en BERT ajustado cuando tenga datos de texto con categorías etiquetadas y necesite alta precisión en tareas como análisis de sentimiento, detección de intenciones, etiquetado de temas o clasificación de documentos. Sobresale incluso con unos pocos cientos a unos pocos miles de ejemplos etiquetados, porque el preentrenamiento proporciona un rico conocimiento previo. Prefiéralo sobre los clasificadores tradicionales de bolsa de palabras (bag-of-words) siempre que el significado contextual sea importante. No lo utilice cuando los recursos computacionales estén severamente limitados (la inferencia en CPU es lenta), cuando el dominio del texto sea radicalmente diferente del texto web estándar y no exista un punto de control específico del dominio, o cuando se requiera una interpretabilidad completa de los pesos de características individuales por parte de revisores o reguladores.

Limitaciones y consideraciones

  • Alto consumo de memoria y cómputo tanto en el ajuste fino como en la inferencia; la GPU es efectivamente necesaria para un rendimiento práctico.
  • Ventana de contexto limitada (512 tokens para BERT base); los documentos más largos que esto deben ser truncados o divididos.
  • Los internos del modelo siguen siendo en gran medida opacos, lo que puede entrar en conflicto con las demandas regulatorias o de revisión por pares de interpretabilidad.
  • Riesgo de olvido catastrófico si la tasa de aprendizaje es demasiado alta o el entrenamiento dura demasiado.
  • El rendimiento se degrada en dominios altamente especializados (notas clínicas, contratos legales) a menos que se utilice un punto de control adaptado al dominio.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Logra una precisión cercana al estado del arte en la mayoría de los puntos de referencia de clasificación de texto con datos etiquetados limitados.
  • Captura el significado contextual de largo alcance que los modelos de bolsa de palabras y TF-IDF no logran.
  • El aprendizaje por transferencia reduce drásticamente los datos etiquetados y el tiempo de entrenamiento requeridos en comparación con el entrenamiento desde cero.
  • Amplio ecosistema de puntos de control preentrenados específicos del dominio (biomédico, legal, financiero, multilingüe) a través de HuggingFace.
  • API consistente entre tareas: la misma receta de ajuste fino se aplica a configuraciones binarias, multiclase y multietiqueta.
  • La tokenización integrada de subpalabras maneja lenguajes morfológicamente ricos, palabras raras y errores tipográficos con elegancia.

Aplicaciones

  • Análisis de sentimiento de reseñas de productos, publicaciones en redes sociales y respuestas de encuestas.
  • Detección de intenciones y relleno de ranuras (slot filling) en sistemas de diálogo y asistentes virtuales.
  • Etiquetado de temas y categorías para artículos de noticias, resúmenes o tickets de soporte.
  • Clasificación de texto clínico, como gravedad de triaje o asignación de códigos ICD, utilizando BioBERT específico del dominio.
  • Detección de discurso de odio y toxicidad en flujos de trabajo de moderación de contenido.
  • Clasificación de documentos legales e identificación de tipos de cláusulas utilizando variantes de BERT legal.

Cómo funciona

Cómo funciona

1

Se carga un punto de control (checkpoint) BERT preentrenado (p. ej., bert-base-uncased o una variante específica del dominio) con todas sus capas de transformador congeladas o descongeladas. El tokenizador convierte el texto crudo en tokens de subpalabras WordPiece, anteponiendo el token especial [CLS] que se utiliza como representación de la secuencia, y añade separadores [SEP].

2

Una cabeza de clasificación lineal mapea el estado oculto final del token [CLS] a puntuaciones logit sobre el conjunto de clases objetivo. La pérdida de entropía cruzada se calcula entre la distribución predicha y las etiquetas de oro. Este es el único bloque de pesos inicializado de nuevo; todo lo demás se hereda del preentrenamiento.

Fórmula
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})
3

Todos los parámetros del modelo —o un subconjunto seleccionado como las N capas superiores del transformador— se actualizan conjuntamente mediante retropropagación utilizando una tasa de aprendizaje pequeña (típicamente de 2e-5 a 5e-5). El entrenamiento dura de dos a cuatro épocas; más épocas corren el riesgo de olvido catastrófico de las representaciones preentrenadas.

4

El dropout (generalmente 0.1) aplicado antes de la cabeza de clasificación, combinado con la detención temprana (early stopping) o un calentamiento lineal de la tasa de aprendizaje con decaimiento, protege contra el sobreajuste. Los conjuntos de datos con clases desequilibradas se benefician de una pérdida ponderada o de un sobremuestreo de la clase minoritaria antes del ajuste fino.

5

En la inferencia, la entrada tokenizada se procesa a través del modelo ajustado, y el argmax de la salida softmax selecciona la clase predicha. Se recomienda la calibración de las puntuaciones de confianza si las decisiones posteriores dependen de umbrales de probabilidad.

Fórmula
\hat{y} = \arg\max_k\, p(y=k|x)

Errores comunes

  • Usar una tasa de aprendizaje demasiado alta (superior a 5e-5), lo que desestabiliza los pesos preentrenados y colapsa el rendimiento.
  • Ajuste fino durante demasiadas épocas sin detención temprana, lo que lleva al olvido catastrófico del conocimiento del lenguaje preentrenado.
  • Ignorar el desequilibrio de clases en la pérdida de ajuste fino, lo que hace que el modelo prediga casi exclusivamente la clase mayoritaria.
  • Truncar documentos largos a 512 tokens sin considerar qué parte del texto contiene la información más relevante.
  • Evaluar solo en la distribución de entrenamiento y no probar la generalización en un conjunto retenido o fuera de dominio.

Preguntas frecuentes

¿Cuántos ejemplos etiquetados necesito para ajustar BERT de manera efectiva?

El ajuste fino de BERT puede funcionar bien con tan solo unos cientos de ejemplos por clase para tareas binarias simples, y típicamente alcanza un rendimiento sólido con 1.000–10.000 instancias etiquetadas. Para entornos de muy bajos recursos, los enfoques de pocas muestras (few-shot) o basados en indicaciones (prompt-based) pueden superar al ajuste fino estándar.

¿Debo ajustar todas las capas o solo la cabeza de clasificación?

Ajustar todas las capas conjuntamente suele producir la mejor precisión, siempre que se utilice una tasa de aprendizaje pequeña (2e-5 a 5e-5). Congelar la mayoría de las capas y entrenar solo la cabeza es más rápido y seguro cuando los datos etiquetados son muy escasos, pero generalmente sacrifica varios puntos de precisión.

¿Cómo manejo documentos de más de 512 tokens?

Las estrategias comunes incluyen truncar a los primeros 512 tokens (a menudo suficiente para indicios de clasificación al principio), agrupar ventanas deslizantes sobre fragmentos superpuestos, o codificadores jerárquicos que agregan representaciones a nivel de fragmento. La mejor opción depende de dónde aparezca el contenido discriminatorio de la clase en sus documentos.

¿Qué variante de BERT debo elegir?

Comience con bert-base-uncased para texto de dominio general en inglés. Utilice un punto de control específico del dominio (p. ej., BioBERT para biomédico, LegalBERT para legal) cuando su texto difiera sustancialmente de Wikipedia y BookCorpus. RoBERTa-base a menudo supera a BERT en puntos de referencia de clasificación y es una alternativa sólida.

¿Cómo informo los resultados para una publicación?

Informe precisión, exhaustividad (recall) y F1 macro junto con la precisión, especialmente para conjuntos de datos desequilibrados. Ejecute el ajuste fino con múltiples semillas aleatorias (al menos tres) e informe la media y la desviación estándar para mostrar la estabilidad de los resultados. Incluya una evaluación de un conjunto de prueba retenido que nunca se utilizó para la selección de hiperparámetros.

Métodos relacionados

Fuentes

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    Abrir referencia DOI
    Copiado.
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.

    Abrir referencia DOI
    Copiado.