Regresión con texto — Predicción de números a partir de texto
- Tipo
- Supervised regression on text features
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La regresión basada en texto predice una variable objetivo continua utilizando características extraídas del texto — puntuaciones TF-IDF, incrustaciones o n-gramas — como variables independientes.
Basándose en el programa de texto como datos consolidado por Gentzkow, Kelly y Taddy (2019), permite estimar un resultado numérico como un precio, una calificación o una puntuación de sentimiento directamente a partir de documentos, y se utiliza ampliamente en aplicaciones de ciencias sociales, economía y finanzas.
La intuición detrás del método
Un modelo de regresión normalmente necesita predictores numéricos, pero la materia prima aquí es texto. La idea es convertir cada documento en un vector de números que capture su redacción, y luego ejecutar una regresión del objetivo numérico sobre esas características. En lugar de codificar manualmente el significado de un documento, el método permite que las propias palabras — ponderadas por su poder informativo — impulsen la predicción de una cantidad continua.
Historia
La regresión con texto se sitúa dentro del movimiento más amplio de texto como datos, revisado por Gentzkow, Kelly y Taddy (2019), que enmarcó cómo el texto no estructurado puede servir como entrada a modelos econométricos y estadísticos. Taddy (2013) avanzó el uso predictivo del texto introduciendo la regresión inversa multinominal para recuperar el sentimiento y otras cantidades a partir de recuentos de palabras, ilustrando cómo los resultados numéricos pueden leerse a partir de características de texto.
Cuándo usarlo
Utilice la regresión con texto cuando tenga un predictor de texto y un resultado numérico continuo que desee predecir a partir de él, con al menos aproximadamente cincuenta documentos para aprender. El texto debe ser vectorizado primero, y la reducción de dimensionalidad a menudo es útil dada la amplitud de los espacios de características del texto. No asume entradas distribuidas normalmente. Con muchos menos documentos, o sin un objetivo numérico sobre el cual regresionar, el método no es apropiado.
Limitaciones y consideraciones
- Necesita una muestra razonable (alrededor de cincuenta documentos o más) para estimar coeficientes estables.
- El texto debe ser vectorizado primero, y la muy alta dimensionalidad generalmente requiere reducción de dimensionalidad.
- La calidad predictiva depende de cuán bien las características de texto elegidas porten señal sobre el objetivo numérico.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Permite predecir un resultado continuo directamente a partir de texto, sin codificación manual del contenido del documento.
- Funciona con varios tipos de características — TF-IDF, incrustaciones o n-gramas — de modo que la representación pueda coincidir con el corpus.
- No requiere entradas distribuidas normalmente, ajustándose a las características dispersas y de alta dimensionalidad que produce el texto.
Aplicaciones
- Estimación de calificaciones o puntuaciones numéricas a partir de texto de reseñas y comentarios.
- Predicción de cantidades financieras o de mercado a partir de noticias, presentaciones y divulgaciones.
- Recuperación de puntuaciones continuas de sentimiento o actitud a partir de texto de redes sociales en investigación de ciencias sociales.
- Vinculación de contenido escrito con resultados medidos en estudios económicos y de políticas.
Cómo funciona
Cómo funciona
Cada documento se convierte en características numéricas para que el texto se convierta en una entrada lista para la regresión. Este paso de vectorización produce puntuaciones TF-IDF, incrustaciones de palabras o documentos, o recuentos de n-gramas, convirtiendo la redacción no estructurada en las variables independientes que leerá la regresión.
Dado que los vectores de texto suelen ser de muy alta dimensionalidad, a menudo se aplica la reducción de dimensionalidad para comprimir el espacio de características antes del ajuste. Recortar características redundantes o dispersas mantiene el modelo estable y le ayuda a generalizar en lugar de memorizar redacciones raras.
Se entrena un modelo de regresión para mapear las características del texto en el objetivo continuo. Un regresor lineal regularizado es una opción natural para las matrices de características amplias y dispersas que produce el texto, aprendiendo los coeficientes que vinculan la redacción con el resultado numérico.
El modelo ajustado se evalúa con datos reservados utilizando métricas de regresión, y los errores más grandes se inspeccionan antes de confiar en el modelo. Esto protege contra un modelo que se ajusta al texto de entrenamiento pero no predice el objetivo en documentos nuevos.
Errores comunes
- Omitir la reducción de dimensionalidad en una matriz de características muy amplia invita al sobreajuste a redacciones raras.
- Ajustar con muy pocos documentos produce coeficientes inestables que no generalizan.
- Reutilizar un vectorizador o modelo construido sobre un corpus o dominio para otro degrada las predicciones; reajuste sobre el texto objetivo.
- Evaluar el modelo basándose únicamente en el ajuste de entrenamiento — siempre evalúe con datos reservados e inspeccione los errores más grandes.
Preguntas frecuentes
¿Qué tipo de objetivo predice la regresión con texto?
Una variable numérica continua — por ejemplo, un precio, una calificación o una puntuación de sentimiento. Si el objetivo es una categoría en lugar de un número, la clasificación de texto es el método adecuado en su lugar.
¿Qué características de texto debo usar como predictores?
Las puntuaciones TF-IDF, las incrustaciones de palabras o documentos y los recuentos de n-gramas son opciones estándar. La mejor representación depende del corpus y de la señal que se espera que la redacción porte sobre el objetivo.
¿Cuántos datos necesito?
El método espera en el orden de cincuenta documentos o más para que la regresión pueda estimar coeficientes estables. Dado que las características de texto son de alta dimensionalidad, la reducción de dimensionalidad a menudo es aconsejable incluso cuando la muestra es adecuada.
¿Por qué se recomienda la reducción de dimensionalidad?
La vectorización de texto produce matrices de características muy amplias y dispersas. La reducción de la dimensionalidad comprime características redundantes, estabiliza el ajuste y ayuda al modelo a generalizar en lugar de memorizar redacciones raras.
Métodos relacionados
Fuentes
Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.
Abrir referencia DOICopiado.Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.
Abrir referencia DOICopiado.