Word2Vec — Incrustaciones de palabras
- Propuesto por
- Tomas Mikolov et al.
- Año
- 2013
- Tipo
- Neural word-embedding model
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Word2Vec es una técnica neuronal de incrustación de palabras introducida por Mikolov y colegas en 2013 que mapea cada palabra en un corpus de texto a un vector numérico denso.
Las palabras que aparecen en contextos similares terminan juntas en el espacio vectorial, por lo que las incrustaciones capturan la similitud semántica que se puede medir aritméticamente.
La intuición detrás del método
Un ordenador no puede comparar el significado de las palabras directamente, pero puede aprender de la compañía que las palabras mantienen. Word2Vec lee un corpus grande y nota qué palabras tienden a rodear a qué otras palabras. Las palabras usadas en contextos similares obtienen vectores similares, por lo que 'rey' aterriza cerca de 'reina' y lejos de 'plátano'. El significado se codifica como posición en el espacio, y la similitud se convierte en una distancia que se puede calcular.
Historia
Word2Vec fue introducido por Mikolov y colegas en 2013 como una forma eficiente de estimar representaciones de palabras en el espacio vectorial, ofreciendo las arquitecturas skip-gram y continuous bag-of-words. Popularizó las incrustaciones de palabras distribuidas densas y fue seguido por enfoques relacionados como GloVe y, más tarde, incrustaciones contextuales.
Cuándo usarlo
Use Word2Vec cuando tenga un corpus de texto grande sin etiquetar y desee representaciones vectoriales densas que capturen la similitud semántica entre palabras. Se adapta al análisis exploratorio y relacional de texto. Se requiere un corpus razonablemente grande (aproximadamente cien documentos o más, idealmente mucho más grande); en corpus pequeños el modelo no puede aprender incrustaciones significativas y los vectores preentrenados como GloVe son la mejor opción. Sin datos de texto en absoluto, no se pueden construir incrustaciones de palabras.
Limitaciones y consideraciones
- Necesita un corpus de texto grande; los corpus pequeños producen incrustaciones inestables y sin sentido.
- Requiere un preprocesamiento de texto cuidadoso antes del entrenamiento.
- Asigna un vector por palabra, por lo que no puede distinguir diferentes sentidos de la misma palabra a partir del contexto.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Captura la similitud semántica para que las palabras relacionadas se sitúen juntas en el espacio vectorial.
- Produce vectores densos compactos que sirven como características numéricas para tareas de texto posteriores.
- Aprende solo de texto sin etiquetar — no se necesita anotación manual.
Aplicaciones
- Medir la similitud semántica entre palabras para búsqueda y recomendación.
- Generar características numéricas de palabras que alimentan la agrupación y clasificación de texto.
- Explorar relaciones y analogías dentro de un corpus de texto grande.
- Construir recursos léxicos a partir de corpus específicos de dominio en investigación e industria.
Cómo funciona
Cómo funciona
Un corpus de texto grande se limpia y se tokeniza en una secuencia de palabras. Word2Vec necesita un corpus considerable — al menos unos miles de frases — porque las incrustaciones se aprenden puramente de patrones de coocurrencia, y muy poco texto da vectores inestables y sin sentido.
Cada palabra se empareja con las palabras que la rodean dentro de una ventana de contexto deslizante. Estos pares (palabra objetivo, palabra de contexto) son la señal de entrenamiento: codifican qué palabras aparecen juntas y forman la base para aprender que las palabras contextualmente similares deben tener vectores similares.
Se entrena una red neuronal superficial con los pares de contexto, utilizando la arquitectura skip-gram (predecir palabras del contexto a partir de una palabra objetivo) o continuous bag-of-words (predecir una palabra objetivo a partir de su contexto). Los pesos de la red se ajustan hasta que las palabras en contextos similares reciben vectores similares.
Después del entrenamiento, cada palabra se representa por su vector denso aprendido — comúnmente de 100 a 300 dimensiones. Estas incrustaciones se pueden comparar luego con la similitud del coseno para encontrar palabras relacionadas, o usarse como características numéricas que alimentan tareas posteriores como la agrupación o la clasificación.
Errores comunes
- Entrenar en un corpus demasiado pequeño (menos de ~100 documentos) produce ruido en lugar de significado — prefiera vectores GloVe preentrenados en su lugar.
- Omitir el preprocesamiento deja tokens ruidosos que contaminan los vectores aprendidos.
- Intentar construir incrustaciones sin ningún dato de texto — Word2Vec no tiene nada de qué aprender; agrupe datos estructurados en su lugar.
- Tratar un único vector estático por palabra como si capturara cada sentido de esa palabra.
Preguntas frecuentes
¿Cuál es la diferencia entre skip-gram y CBOW?
Ambas son arquitecturas neuronales superficiales para aprender incrustaciones. Skip-gram predice las palabras del contexto circundante a partir de una palabra objetivo dada, mientras que continuous bag-of-words (CBOW) predice la palabra objetivo a partir de su contexto circundante. Producen incrustaciones comparables, con skip-gram a menudo funcionando mejor en corpus más pequeños y palabras raras.
¿Qué tan grande necesita ser mi corpus?
Word2Vec aprende puramente de la coocurrencia, por lo que necesita un corpus considerable. En texto muy pequeño (menos de unos cien documentos) no puede aprender vectores significativos; en ese caso, las incrustaciones preentrenadas como GloVe son la opción más segura.
¿Cómo mido la similitud entre dos palabras?
Compare sus vectores aprendidos con la similitud del coseno. Las palabras usadas en contextos similares obtienen vectores similares, por lo que una alta similitud del coseno indica palabras semánticamente relacionadas.
¿Puede Word2Vec distinguir entre diferentes significados de la misma palabra?
No. Asigna un único vector estático por palabra, mezclando todos los sentidos juntos. Distinguir los sentidos de las palabras a partir del contexto requiere modelos de incrustación contextuales en lugar de Word2Vec.
Métodos relacionados
Fuentes
Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.
Abrir referencia de la publicaciónCopiado.