Modelo de difusión
- Propuesto por
- Ho, J., Jain, A. & Abbeel, P.
- Año
- 2020
- Tipo
- Generative deep learning (denoising diffusion)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Un modelo de difusión es un método de aprendizaje profundo generativo, introducido por Ho, Jain y Abbeel en 2020 (DDPM), que aprende a producir imágenes, audio y estructuras moleculares de alta calidad invirtiendo un proceso de ruido paso a paso.
Ha desplazado en gran medida a las GAN como el estado del arte actual en modelado generativo.
La intuición detrás del método
Imagina difuminar gradualmente una foto hasta convertirla en estática pura añadiendo un poco de ruido aleatorio a la vez. Un modelo de difusión aprende el viaje opuesto: partiendo de ruido aleatorio, elimina un poco de ruido en cada paso hasta que emerge una muestra limpia y realista. Dado que solo tiene que deshacer un pequeño paso de ruido a la vez, la tarea es mucho más estable de aprender que generar una imagen completa de una sola vez.
Historia
Los Modelos Probabilísticos de Difusión de Eliminación de Ruido fueron introducidos por Ho, Jain y Abbeel en 2020, basándose en ideas de difusión anteriores y mostrando una calidad de imagen competitiva con las GAN. En 2022, Rombach y colegas introdujeron los Modelos de Difusión Latente, ejecutando el proceso de difusión en un espacio latente comprimido; esto hizo que la síntesis de alta resolución fuera práctica y sustenta sistemas como Stable Diffusion. Desde entonces, los modelos de difusión se han convertido en el enfoque generativo dominante, reemplazando en gran medida a las GAN.
Cuándo usarlo
Utilice un modelo de difusión cuando necesite generar imágenes, audio o estructuras moleculares de alta fidelidad y disponga de un conjunto de datos grande (alrededor de 1000 muestras o más) o acceso a un modelo preentrenado. Asume datos sustanciales o preentrenamiento y requiere hardware GPU/TPU; la inferencia puede ser lenta porque el muestreo itera sobre muchos pasos de eliminación de ruido. Con menos de unas 1000 muestras, el modelo no puede aprender bien el proceso de eliminación de ruido, y un generador más simple como un autoencoder variacional es más seguro.
Limitaciones y consideraciones
- Requiere un gran conjunto de datos o un modelo preentrenado — datos pequeños conducen a una baja calidad de generación.
- Se requiere hardware GPU/TPU para el entrenamiento y el uso práctico.
- La inferencia es lenta porque el muestreo itera sobre muchos pasos de eliminación de ruido.
- Por debajo de unas 1000 muestras, el proceso de eliminación de ruido no se puede aprender de forma fiable.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Produce muestras de mayor calidad y más diversas que las GAN en imágenes, audio y moléculas.
- El entrenamiento es estable, evitando el colapso de modo y la inestabilidad adversarial que plagan a las GAN.
- Las variantes de difusión latente hacen que la generación de alta resolución sea computacionalmente factible.
- Soporta de forma natural la generación condicional, como el prompting de texto a imagen.
Aplicaciones
- Síntesis de imágenes de alta resolución y generación de texto a imagen.
- Generación de audio y voz.
- Generación de estructuras moleculares y de materiales en química y ciencias naturales.
- Aumento de datos y generación condicional a partir de backbones preentrenados.
Cómo funciona
Cómo funciona
Un proceso de avance fijo corrompe cada ejemplo de entrenamiento añadiendo pequeñas cantidades de ruido Gaussiano a lo largo de muchos pasos, hasta que los datos se convierten en ruido puro. Este proceso no necesita aprendizaje — simplemente define la trayectoria de datos limpios a ruido que el modelo revertirá posteriormente.
Fórmula
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)Se entrena una red neuronal (típicamente una U-Net) para predecir el ruido que se añadió en un paso dado. Al minimizar el error cuadrático entre el ruido verdadero y el predicho a través de muchos pasos de tiempo y ejemplos, la red aprende cómo llevar una entrada ruidosa un paso más cerca de datos limpios.
Fórmula
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]Para generar una nueva muestra, el modelo comienza con ruido aleatorio y aplica repetidamente el paso de eliminación de ruido aprendido, restando el ruido predicho y añadiendo un pequeño término estocástico hasta que aparece una salida limpia. Las variantes de difusión latente (Stable Diffusion) ejecutan este bucle en un espacio latente comprimido para hacer factible la generación de alta resolución.
Fórmula
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t zErrores comunes
- Intentar entrenar desde cero con un conjunto de datos pequeño en lugar de ajustar un modelo preentrenado.
- Subestimar la computación: el entrenamiento e incluso la inferencia exigen recursos GPU/TPU.
- Esperar resultados en tiempo real cuando el muestreo de múltiples pasos hace que la inferencia sea inherentemente lenta.
- Usar un modelo de difusión donde un generador mucho más simple (por ejemplo, un VAE) sería suficiente para los datos disponibles.
Preguntas frecuentes
¿Cómo se diferencia un modelo de difusión de una GAN?
Ambos son generativos, pero una GAN entrena un generador contra un discriminador, lo que puede ser inestable y propenso al colapso de modo. Un modelo de difusión, en cambio, aprende a revertir un proceso de ruido paso a paso, proporcionando un entrenamiento más estable y muestras típicamente de mayor calidad y más diversas.
¿Cuántos datos necesito?
El entrenamiento desde cero generalmente necesita alrededor de 1000 muestras o más; por debajo de eso, el proceso de eliminación de ruido no se puede aprender bien. Con datos escasos, ajuste un modelo preentrenado o utilice un generador más simple como un autoencoder variacional.
¿Por qué es lenta la generación?
El muestreo comienza con ruido y aplica el paso de eliminación de ruido aprendido muchas veces en secuencia, por lo que producir una muestra requiere muchos pases de red. Las variantes de difusión latente reducen el costo al trabajar en un espacio latente comprimido.
¿Necesito hardware especial?
Sí. Los modelos de difusión requieren hardware GPU o TPU para el entrenamiento y para la inferencia práctica; el uso solo de CPU es generalmente poco práctico.
Métodos relacionados
Fuentes
Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.
Abrir referencia de la publicaciónCopiado.Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.
Abrir referencia de la publicaciónCopiado.