Clasificación basada en BERT
- Propuesto por
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
- Año
- 2019
- Tipo
- Pre-trained language model with fine-tuning
- Familia
- Deep learning / NLP / CV
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La clasificación basada en BERT ajusta el modelo Bidirectional Encoder Representations from Transformers de Google sobre un conjunto de datos de texto etiquetado, reemplazando la cabeza genérica preentrenada con una capa de clasificación específica para la tarea.
Aprovecha el contexto bidireccional profundo de cientos de millones de parámetros preentrenados para ofrecer una precisión de vanguardia en tareas de clasificación de texto de longitud corta y media con cantidades relativamente modestas de datos etiquetados.
La intuición detrás del método
BERT lee cada palabra de una oración con plena conciencia de todas las palabras circundantes en ambas direcciones simultáneamente, a diferencia de los modelos anteriores que leían de izquierda a derecha o de derecha a izquierda. Antes del ajuste fino, BERT ya ha absorbido patrones lingüísticos ricos de un corpus masivo. Para clasificar texto, se coloca una delgada capa de clasificación en la parte superior y todo el modelo se reentrena brevemente con sus ejemplos etiquetados. El modelo ajusta sus representaciones internas para adaptarse a sus categorías específicas, al tiempo que conserva el amplio conocimiento lingüístico sobre el que fue preentrenado, lo que permite un rendimiento sólido incluso cuando los datos etiquetados son escasos.
Historia
BERT fue publicado por Devlin et al. en Google AI Language en 2019 e inmediatamente estableció nuevos resultados de vanguardia en 11 puntos de referencia de PLN, incluidos GLUE y SQuAD. Su innovación clave fue el preentrenamiento bidireccional a través de modelado de lenguaje enmascarado y predicción de la siguiente oración. Desde 2019, ha generado una familia de derivados —RoBERTa, ALBERT, DistilBERT, variantes específicas de dominio— y se convirtió en la base del PLN aplicado moderno, incluida la clasificación de texto en entornos académicos, industriales y clínicos.
Cuándo usarlo
Utilice la clasificación basada en BERT cuando tenga datos de texto etiquetados y desee una precisión de vanguardia para tareas como análisis de sentimientos, categorización de temas, detección de intenciones o clasificación de texto clínico. Funciona bien con tan solo unos cientos de ejemplos etiquetados por clase, lo que la convierte en una opción sólida cuando no se dispone de grandes corpus anotados. Prefiérala sobre modelos más simples (TF-IDF + regresión logística, CNN, LSTM) cuando la sutileza lingüística, el contexto de largo alcance o las distinciones semánticas sutiles impulsen la tarea. Evítela cuando las secuencias excedan los 512 tokens sin un manejo especial, cuando la computación de GPU no esté disponible o sea demasiado costosa, cuando se requiera una latencia de inferencia en tiempo real inferior a unos pocos milisegundos, o cuando el dominio sea muy especializado y exista muy poca información de preentrenamiento en el dominio; en tales casos, un modelo específico del dominio (BioBERT, LegalBERT) puede ser más apropiado.
Limitaciones y consideraciones
- Límite de longitud de secuencia estricto de 512 tokens; los documentos más largos requieren truncamiento, fragmentación o enfoques jerárquicos.
- Alto costo computacional y de memoria en el tiempo de inferencia en comparación con modelos más ligeros como DistilBERT o regresión logística.
- El ajuste fino en conjuntos de datos muy pequeños (menos de ~100 ejemplos por clase) corre el riesgo de olvido catastrófico o sobreajuste.
- Los internos del modelo permanecen en gran medida opacos; explicar las predicciones requiere herramientas adicionales como visualización de atención o SHAP.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- La autoatención bidireccional captura un significado contextual rico que los modelos unidireccionales basados en RNN no pueden representar.
- El preentrenamiento en grandes corpus proporciona fuertes prioridades lingüísticas, lo que permite un buen rendimiento con datos etiquetados limitados.
- El ajuste fino es rápido —típicamente solo 3–5 épocas— en comparación con el entrenamiento de un modelo grande desde cero.
- Una única arquitectura maneja muchas tareas de clasificación de PLN sin ingeniería de características específica para la tarea.
- Puntos de control preentrenados ampliamente disponibles (BERT-base, BERT-large) y derivados para muchos idiomas y dominios.
Aplicaciones
- Análisis de sentimientos de reseñas, publicaciones en redes sociales y respuestas a encuestas.
- Clasificación de temas e intenciones para soporte al cliente, chatbots y moderación de contenido.
- Clasificación de texto clínico: codificación de diagnósticos, triaje de notas clínicas y detección de eventos adversos.
- Categorización de resúmenes científicos y cribado de citas en revisiones sistemáticas.
- Detección de discurso de odio y desinformación en plataformas sociales.
Cómo funciona
Cómo funciona
El texto de entrada se divide en tokens WordPiece y se antepone un token especial [CLS]. Un token [SEP] marca los límites de las oraciones. Cada token se mapea a un ID numérico y se rellena o trunca a una longitud de secuencia máxima fija, típicamente 128 o 512 tokens.
La secuencia de tokens pasa a través de todas las capas Transformer de BERT. Cada capa aplica autoatención multienfocada para que cada token pueda atender a cada otro token en ambas direcciones simultáneamente, construyendo representaciones ricas y conscientes del contexto en cada posición.
Fórmula
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])El estado oculto correspondiente al token [CLS] en la capa BERT final se extrae como un vector de longitud fija que representa toda la secuencia de entrada. Esta representación agrupada captura el significado general del texto.
Una cabeza de clasificación lineal —una matriz de pesos y un sesgo— mapea el vector [CLS] a una puntuación por clase. Una función softmax convierte estas puntuaciones en probabilidades de clase, y la clase con la probabilidad más alta es la predicción.
Fórmula
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)Todo el modelo —capas BERT y cabeza de clasificación— se optimiza conjuntamente en el conjunto de entrenamiento etiquetado utilizando pérdida de entropía cruzada y una tasa de aprendizaje pequeña (típicamente 2e-5 a 5e-5 con AdamW) durante un pequeño número de épocas (generalmente 3–5). Un programa de calentamiento de la tasa de aprendizaje evita grandes actualizaciones de gradiente tempranas que podrían destruir los pesos preentrenados.
Errores comunes
- Usar una tasa de aprendizaje demasiado alta, lo que destruye los pesos preentrenados y resulta en ninguna mejora sobre una línea base aleatoria.
- Truncar todas las entradas sin verificar si el texto más relevante cae cerca del principio o del final de la secuencia.
- Omitir una división adecuada de entrenamiento/validación/prueba y medir el rendimiento solo en el conjunto de entrenamiento.
- Ignorar el desequilibrio de clases: informar solo la precisión en un conjunto de datos desequilibrado oculta la baja recuperación de la clase minoritaria.
- Elegir BERT cuando el entorno de implementación carece de recursos de GPU, lo que lleva a una latencia de inferencia inaceptable en producción.
Preguntas frecuentes
¿Cuántos datos etiquetados necesito para ajustar BERT?
BERT puede producir un rendimiento útil con tan solo unos cientos de ejemplos etiquetados por clase, ya que el preentrenamiento ya ha inculcado fuertes prioridades lingüísticas. El rendimiento mejora sustancialmente hasta varios miles de ejemplos; más allá de eso, los rendimientos disminuyen. Con menos de aproximadamente 100 ejemplos por clase, el sobreajuste es un riesgo real: considere la aumentación de datos o un modelo más ligero.
¿Qué tasa de aprendizaje debo usar al ajustar?
Una tasa de aprendizaje entre 2e-5 y 5e-5 con el optimizador AdamW es el rango estándar recomendado por el artículo original. Las tasas de aprendizaje más altas tienden a destruir los pesos preentrenados; las más bajas hacen que la convergencia sea muy lenta. Use un calentamiento lineal durante los primeros el 10% de los pasos de entrenamiento.
Mis textos tienen más de 512 tokens. ¿Qué debo hacer?
Las estrategias comunes incluyen truncar a los primeros o últimos 512 tokens, dividir el documento en fragmentos superpuestos y agregar las representaciones [CLS], o usar un modelo de documentos largos como Longformer o BigBird que pueda manejar secuencias de miles de tokens.
¿Debo usar BERT-base o BERT-large?
BERT-base (110 M de parámetros) es la opción práctica por defecto: entrena más rápido, usa menos memoria de GPU y su precisión es suficiente para la mayoría de las tareas de clasificación. BERT-large (340 M de parámetros) puede agregar algunos puntos porcentuales en tareas complejas, pero requiere significativamente más cómputo y es propenso al sobreajuste en conjuntos de datos más pequeños.
¿Cómo evalúo el clasificador de manera justa?
Divida los datos en conjuntos de entrenamiento, validación y prueba antes de cualquier ajuste fino. Informe F1 macro (no solo precisión) para que el rendimiento de la clase minoritaria sea visible. Use el conjunto de validación para la búsqueda de hiperparámetros y la detención temprana, y reporte el resultado del conjunto de prueba solo una vez al final.
Métodos relacionados
Fuentes
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
Abrir referencia DOICopiado.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.
Abrir referencia DOICopiado.