GloVe Embeddings — Vectores Globales para la Representación de Palabras
- Propuesto por
- Pennington, Socher & Manning
- Año
- 2014
- Tipo
- Static word-embedding model
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
GloVe (Global Vectors for Word Representation) es un modelo de incrustación de palabras estático introducido por Pennington, Socher y Manning (2014) que aprende vectores de palabras directamente de estadísticas de coocurrencia global palabra-palabra recopiladas en todo un corpus.
Los vectores resultantes colocan palabras semánticamente relacionadas juntas y rinden fuertemente en tareas de analogía semántica.
La intuición detrás del método
Las palabras que aparecen en contextos similares tienden a significar cosas similares. En lugar de escanear texto ventana a ventana, GloVe primero cuenta cuántas veces cada par de palabras coocurre en todo el corpus, luego ajusta vectores de modo que las relaciones entre esos recuentos se capturen como relaciones geométricas entre vectores de palabras. La recompensa es que la aritmética vectorial simple refleja el significado: la estructura que permite que analogías como 'rey es a reina como hombre es a mujer' surjan de la geometría.
Historia
GloVe fue introducido por Pennington, Socher y Manning en EMLP 2014. Se posicionó como un modelo que combina las fortalezas de los métodos de factorización de matrices globales y los métodos de ventanas de contexto locales al entrenar directamente en la matriz global de coocurrencia palabra-palabra, y se convirtió en una fuente ampliamente utilizada de vectores de palabras estáticos preentrenados.
Cuándo usarlo
GloVe se ajusta a datos de texto cuando desea un vector fijo y reutilizable para cada palabra y tiene un corpus de texto grande para entrenar o puede depender de vectores GloVe preentrenados. Necesita una cantidad razonable de texto —aproximadamente cien documentos o más— y se debe realizar preprocesamiento de texto primero. Es adecuado para trabajos exploratorios sobre relaciones semánticas y similitud de palabras; si no hay datos de texto, GloVe no puede ejecutarse.
Limitaciones y consideraciones
- Los vectores son estáticos: cada palabra recibe un único vector independientemente del contexto, por lo que los sentidos de las palabras no se desambiguan.
- El entrenamiento desde cero necesita un corpus de texto grande para producir vectores fiables.
- Las estadísticas de coocurrencia dependen del corpus, por lo que un modelo entrenado en un dominio puede transferirse mal a otro.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprende de estadísticas de coocurrencia globales en todo el corpus en lugar de solo ventanas de contexto locales.
- Rinde fuertemente en tareas de analogía semántica y similitud de palabras.
- Los vectores GloVe preentrenados se pueden cargar directamente, evitando la necesidad de entrenar en un corpus grande.
Aplicaciones
- Calcular la similitud de palabras y los vecinos más cercanos dentro de un vocabulario.
- Resolver tareas de analogía semántica a través de la aritmética vectorial.
- Proporcionar características de palabras preentrenadas como entrada para modelos posteriores de clasificación o agrupación de texto.
- Explorar la estructura semántica y las relaciones en un gran corpus de texto.
Cómo funciona
Cómo funciona
El corpus se tokeniza y se limpia para que el vocabulario sea consistente. Se requiere preprocesamiento de texto antes de que comience el conteo, ya que la calidad de las estadísticas de coocurrencia depende de un vocabulario limpio y bien definido.
Se construye una matriz global de coocurrencia palabra-palabra contando cuántas veces cada par de palabras aparece junto dentro de una ventana de contexto en todo el corpus. Esta matriz es la estadística global que da nombre a GloVe y lo distingue de enfoques puramente locales, ventana por ventana.
GloVe ajusta vectores de palabras a la matriz de coocurrencia de modo que el producto punto de dos vectores de palabras aproxime el logaritmo de su recuento de coocurrencia. Las coocurrencias frecuentes se ponderan a la baja para que los pares muy comunes no dominen, produciendo vectores estáticos densos de una dimensionalidad elegida.
Los vectores entrenados (o preentrenados) se utilizan posteriormente: para medir la similitud de palabras, resolver analogías o servir como características de entrada para otros modelos. Se puede entrenar un corpus grande desde cero, o se pueden cargar directamente vectores GloVe preentrenados listos para usar.
Errores comunes
- Omitir el preprocesamiento de texto deja un vocabulario ruidoso y degrada los recuentos de coocurrencia de los que depende el modelo.
- Entrenar con muy poco texto (bastante menos de ~100 documentos) produce vectores inestables; prefiera vectores preentrenados cuando el corpus sea pequeño.
- Tratar GloVe como si fuera sensible al contexto: asigna un vector fijo por palabra, por lo que no puede separar los diferentes sentidos de la misma palabra como lo hacen los modelos contextuales.
- Aplicar vectores entrenados en un dominio o idioma a otro sin verificar que el vocabulario coincida.
Preguntas frecuentes
¿Cómo se diferencia GloVe de word2vec?
Ambos producen vectores de palabras estáticos, pero GloVe entrena en una matriz global de coocurrencia palabra-palabra construida a partir de todo el corpus, mientras que word2vec aprende de ventanas de contexto locales escaneadas a través del texto. GloVe fue diseñado para combinar la vista de estadísticas globales de la factorización de matrices con la vista de ventana de contexto.
¿Necesito entrenar GloVe yo mismo?
No necesariamente. Puede entrenar en un corpus grande desde cero, o cargar directamente vectores GloVe preentrenados listos para usar. Cuando su corpus sea pequeño, los vectores preentrenados son la opción más segura.
¿Por qué los vectores se llaman 'estáticos'?
Cada palabra recibe un único vector fijo independientemente de la oración en la que aparezca. Esto significa que GloVe no puede distinguir diferentes sentidos de la misma palabra a partir del contexto, a diferencia de los modelos de incrustación contextuales.
¿Cuánto texto necesito?
El entrenamiento desde cero necesita un corpus grande para proporcionar estadísticas de coocurrencia fiables; aproximadamente cien documentos o más es un umbral práctico, y se debe realizar preprocesamiento primero. Por debajo de eso, confíe en los vectores preentrenados.
Métodos relacionados
Fuentes
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
Abrir referencia DOICopiado.