TextCNN
- Propuesto por
- Kim, Y.
- Año
- 2014
- Tipo
- Convolutional neural network (deep learning)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
TextCNN es una red neuronal convolucional para clasificación de texto, introducida por Yoon Kim en 2014, que aplica filtros de convolución paralelos de diferentes tamaños de ventana sobre incrustaciones de palabras para capturar patrones locales de n-gramas.
Es rápida y eficaz para análisis de sentimiento y clasificación de temas.
La intuición detrás del método
Muchas señales que deciden de qué trata una oración son frases cortas — dos, tres o cuatro palabras como 'no muy bueno' o 'altamente recomendado'. TextCNN desliza filtros pequeños a través de la secuencia de vectores de palabras, cada filtro actuando como un detector para un tipo particular de frase corta. Al usar varios tamaños de ventana en paralelo, aprende a detectar las frases más reveladoras independientemente de dónde aparezcan en el texto, y luego utiliza las señales más fuertes para decidir la etiqueta.
Historia
TextCNN fue introducido por Yoon Kim en 2014 (EMNLP), demostrando que una CNN simple construida sobre vectores de palabras preentrenados logra resultados sólidos en varios puntos de referencia de clasificación de oraciones. Zhang y Wallace (2015) le siguieron con un análisis de sensibilidad para profesionales que examinó cómo las decisiones de diseño, como los tamaños de ventana de los filtros y el número de mapas de características, afectan el rendimiento, convirtiendo a TextCNN en una línea base bien entendida y ampliamente utilizada para la clasificación de texto.
Cuándo usarlo
Adecuado para clasificar o predecir a partir de texto etiquetado — análisis de sentimiento o clasificación de temas — cuando se dispone de un corpus etiquetado de tamaño razonable (al menos unos 200 documentos, y más cómodamente 500+) y se tienen listas incrustaciones de palabras preentrenadas como Word2Vec o GloVe. No requiere datos con distribución normal. En conjuntos de texto muy pequeños (menos de unos 100 documentos) el aprendizaje profundo falla y una canalización clásica de TF-IDF más aprendizaje automático es suficiente; entre aproximadamente 100 y 500 documentos, el gradient boosting es una opción más segura porque TextCNN tiende a sobreajustarse.
Limitaciones y consideraciones
- Necesita un conjunto de datos de texto etiquetado e incrustaciones de palabras preentrenadas para funcionar bien.
- Se sobreajusta en corpus pequeños: por debajo de unos 500 documentos, los patrones de n-gramas no se aprenden de manera fiable.
- Por debajo de aproximadamente 100 documentos, el aprendizaje profundo falla por completo y los modelos más simples son preferibles.
- Captura solo ventanas locales, por lo que las dependencias de muy largo alcance a lo largo de un documento son más difíciles de modelar.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Rápido de entrenar y eficaz para análisis de sentimiento y clasificación de temas.
- Captura patrones locales de n-gramas a través de filtros paralelos de varios tamaños de ventana.
- Independiente de la posición: la agrupación máxima capta la frase clave dondequiera que aparezca en el texto.
- Aprovecha incrustaciones de palabras preentrenadas para codificar el significado sin ingeniería de características manual.
Aplicaciones
- Análisis de sentimiento en reseñas, comentarios y respuestas de encuestas.
- Clasificación de temas de documentos y textos cortos.
- Categorización de texto etiquetado en dominios sociales, de salud, económicos y de negocios.
- Una línea base rápida para la clasificación a nivel de oración antes de probar modelos de secuencia más pesados.
Cómo funciona
Cómo funciona
Cada palabra en el texto de entrada se mapea a una incrustación de palabra densa (como Word2Vec o GloVe), convirtiendo la oración en una matriz donde cada fila es un vector de palabra. Esta representación coloca palabras con significado similar juntas, dando a la capa de convolución una vista numérica significativa del texto.
Filtros de convolución paralelos de diferentes tamaños de ventana (por ejemplo, que cubren 3, 4 y 5 palabras consecutivas) se deslizan sobre la matriz de incrustaciones. Cada filtro produce un valor de característica en cada posición combinando las palabras que abarca actualmente, por lo que captura patrones locales de n-gramas dondequiera que ocurran en la oración.
Fórmula
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)La agrupación máxima (max-over-time pooling) conserva solo la activación más fuerte de cada filtro, resumiendo la frase más saliente que detectó. Estas características agrupadas se concatenan y se pasan a una capa de clasificación final que produce la clase predicha, como un sentimiento o un tema.
Fórmula
\hat{c} = \max_i c_iErrores comunes
- Entrenar con muy pocos documentos etiquetados y confiar en un modelo sobreajustado.
- Omitir las incrustaciones preentrenadas y aprender vectores desde cero en un corpus pequeño.
- Elegir tamaños de ventana sin comprobaciones de sensibilidad en el conjunto de validación.
- Recurrir a TextCNN cuando una canalización de TF-IDF más aprendizaje automático clásico sería suficiente en datos pequeños.
Preguntas frecuentes
¿Cuánta texto etiquetado necesito?
TextCNN funciona mejor con unos pocos cientos de documentos etiquetados o más. Por debajo de unos 500, tiende a sobreajustarse y los patrones de n-gramas no se aprenden de manera fiable, y por debajo de aproximadamente 100 documentos, el aprendizaje profundo falla por completo — una canalización clásica de TF-IDF más aprendizaje automático es suficiente.
¿Necesito incrustaciones de palabras preentrenadas?
Se asumen y recomiendan encarecidamente incrustaciones preentrenadas como Word2Vec o GloVe. Codifican el significado de las palabras aprendido de corpus grandes, lo cual es especialmente valioso cuando su conjunto etiquetado es modesto.
¿Qué hacen los diferentes tamaños de ventana?
Cada tamaño de ventana permite que un filtro mire una longitud de frase diferente — por ejemplo, tres, cuatro o cinco palabras consecutivas. Ejecutar varios tamaños en paralelo captura patrones de n-gramas de diferentes longitudes, y un análisis de sensibilidad puede ayudar a elegirlos.
¿Cuándo debería elegir un método diferente?
En conjuntos de texto muy pequeños (menos de unos 100 documentos) use un modelo de aprendizaje automático clásico más TF-IDF; entre aproximadamente 100 y 500 documentos, el gradient boosting es una opción más segura, ya que TextCNN se sobreajusta cuando los datos son escasos.
Métodos relacionados
Fuentes
Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.
Abrir referencia DOICopiado.Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.
Abrir referencia de la publicaciónCopiado.