Saltar al contenido
Volver a los resultados

TF-IDF — Frecuencia de Término–Frecuencia Inversa de Documento

Propuesto por
Salton & Buckley
Año
1988
Tipo
Text vectorization / term-weighting scheme

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

TF-IDF, introducido por Salton y Buckley (1988), es un esquema de ponderación de términos que califica cada palabra en un documento según la frecuencia con la que aparece allí y lo rara que es en toda la colección.

Convierte texto sin formato en vectores de documentos ponderados, asignando un peso alto a los términos que son frecuentes en un documento pero infrecuentes en otros.

La intuición detrás del método

No todas las palabras que aparecen con frecuencia son informativas: palabras como "el" aparecen en todas partes y dicen poco sobre el contenido de un documento. TF-IDF capta la idea de que un término es más importante cuando es frecuente dentro de un documento específico pero raro en el resto de la colección. Al multiplicar la frecuencia con la que aparece un término localmente por su carácter distintivo global, el esquema resalta las palabras que realmente caracterizan cada documento y reduce el peso de las comunes.

Historia

TF-IDF surgió del trabajo de recuperación de información de Salton y Buckley (1988), quienes compararon sistemáticamente enfoques de ponderación de términos para la recuperación automática de texto y establecieron la combinación de frecuencia de términos con frecuencia inversa de documento como un esquema eficaz de representación de documentos. Se convirtió en una línea base fundamental para la vectorización de texto y sigue siendo ampliamente utilizado como una representación de características transparente.

Cuándo usarlo

Utilice TF-IDF cuando tenga un corpus de texto y necesite convertir documentos en características numéricas para recuperación, clasificación o comparación de similitud. Se basa en la suposición de bolsa de palabras y requiere preprocesamiento de texto de antemano. La colección debe ser razonablemente grande: con menos de unos 100 documentos, los pesos IDF se vuelven inestables y un simple análisis de frecuencia de palabras es más fiable. Sin datos de texto en absoluto, no se puede calcular TF-IDF.

Limitaciones y consideraciones

  • Se basa en la suposición de bolsa de palabras e ignora el orden de las palabras y el contexto.
  • Los pesos IDF se vuelven inestables y sin sentido en corpus muy pequeños.
  • Requiere un preprocesamiento de texto cuidadoso; los tokens ruidosos degradan los pesos.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Simple, rápido e interpretable: cada peso es directamente rastreable hasta la frecuencia local y la rareza global.
  • Convierte texto sin formato en vectores de documentos numéricos utilizables por métodos de búsqueda, clasificación y agrupamiento.
  • Reduce el peso de las palabras ubicuas y poco informativas, al tiempo que resalta los términos que distinguen un documento.

Aplicaciones

  • Representar documentos como vectores de características para la clasificación de texto.
  • Clasificar y recuperar documentos en aplicaciones de búsqueda.
  • Identificar las palabras clave más distintivas que caracterizan un documento.
  • Construir entradas para el agrupamiento de documentos y la comparación de similitud.

Cómo funciona

Cómo funciona

1

El corpus de texto se limpia y se tokeniza en términos: el texto se normaliza y se divide en las unidades de palabras que se ponderarán. Dado que TF-IDF se basa en la suposición de bolsa de palabras (bag-of-words), el preprocesamiento consistente en todos los documentos es lo que hace que los recuentos resultantes sean comparables.

2

Para cada documento, la frecuencia de término (TF) cuenta cuántas veces aparece cada término en ese documento. Un término que aparece muchas veces dentro de un solo documento obtiene un peso local más alto, lo que refleja su centralidad en el contenido de ese documento.

3

En toda la colección, la frecuencia inversa de documento (IDF) mide la rareza de cada término: los términos que aparecen en muchos documentos reciben una IDF baja, mientras que los términos confinados a pocos documentos reciben una IDF alta. Esto es lo que suprime las palabras ubicuas y poco informativas y recompensa las distintivas.

4

Los componentes TF e IDF se combinan en un único peso por término, y cada documento se convierte en un vector de estas puntuaciones ponderadas. Los vectores documento-término resultantes son la representación que consumen las tareas posteriores —búsqueda, clasificación, agrupamiento.

Errores comunes

  • Ejecutar TF-IDF en un corpus de menos de ~100 documentos: los pesos IDF pierden su significado, por lo que se recurre a un simple análisis de frecuencia de palabras en su lugar.
  • Omitir o realizar un preprocesamiento inconsistente en los documentos, lo que hace que los recuentos de términos no sean comparables.
  • Intentar aplicar TF-IDF cuando no hay datos de texto: la codificación categórica con análisis de contenido es la ruta apropiada.
  • Esperar que TF-IDF capture el significado o el contexto: pondera términos aislados y no puede modelar el orden de las palabras o la semántica.

Preguntas frecuentes

¿Qué miden TF e IDF respectivamente?

La frecuencia de término (TF) mide la frecuencia con la que un término aparece dentro de un solo documento, capturando su centralidad local. La frecuencia inversa de documento (IDF) mide la rareza del término en toda la colección, reduciendo el peso de las palabras que aparecen en muchos documentos. Multiplicarlas da un peso alto a los términos que son frecuentes en un documento pero infrecuentes en otros.

¿Qué tan grande debe ser mi corpus?

TF-IDF necesita una colección razonablemente grande, aproximadamente 100 documentos o más. Por debajo de eso, los pesos IDF se vuelven inestables y pierden significado, y un análisis más simple de frecuencia de palabras es la opción más fiable.

¿TF-IDF entiende el significado o el contexto?

No. TF-IDF se basa en la suposición de bolsa de palabras: pondera términos individuales por frecuencia y rareza e ignora el orden de las palabras, la sintaxis y la semántica. Para el contexto o la similitud semántica, los métodos de incrustación (embedding) como Word2Vec son más apropiados.

¿Qué preprocesamiento requiere?

El corpus debe limpiarse y tokenizarse de manera consistente antes de ponderarlo: normalizando el texto y dividiéndolo en unidades de términos comparables. Omitir este paso deja tokens ruidosos que degradan los pesos.

Métodos relacionados

Fuentes

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    Abrir referencia DOI
    Copiado.