Modelo de Difusão
- Proposto por
- Ho, J., Jain, A. & Abbeel, P.
- Ano
- 2020
- Tipo
- Generative deep learning (denoising diffusion)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Um modelo de difusão é um método de aprendizado profundo generativo, introduzido por Ho, Jain e Abbeel em 2020 (DDPM), que aprende a produzir imagens, áudio e estruturas moleculares de alta qualidade revertendo um processo de ruído passo a passo.
Ele suplantou em grande parte as GANs como o estado da arte atual em modelagem generativa.
A intuição por trás do método
Imagine borrar gradualmente uma foto até obter puro ruído estático, adicionando um pouco de ruído aleatório a cada vez. Um modelo de difusão aprende a jornada oposta: começando do ruído aleatório, ele remove um pouco de ruído em cada etapa até que uma amostra limpa e realista emerja. Como ele só precisa desfazer um pequeno passo de ruído por vez, a tarefa é muito mais estável para aprender do que gerar uma imagem inteira de uma só vez.
História
Modelos Probabilísticos de Difusão para Remoção de Ruído foram introduzidos por Ho, Jain e Abbeel em 2020, baseando-se em ideias de difusão anteriores e mostrando qualidade de imagem competitiva com as GANs. Em 2022, Rombach e colegas introduziram Modelos de Difusão Latente, executando o processo de difusão em um espaço latente comprimido; isso tornou a síntese de alta resolução prática e sustenta sistemas como Stable Diffusion. Desde então, os modelos de difusão se tornaram a abordagem generativa dominante, substituindo em grande parte as GANs.
Quando usar
Use um modelo de difusão quando precisar gerar imagens, áudio ou estruturas moleculares de alta fidelidade e tiver um grande conjunto de dados (cerca de 1000 amostras ou mais) ou acesso a um modelo pré-treinado. Ele pressupõe dados substanciais ou pré-treinamento e requer hardware GPU/TPU; a inferência pode ser lenta porque a amostragem itera sobre muitas etapas de remoção de ruído. Com menos de cerca de 1000 amostras, o modelo não consegue aprender bem o processo de remoção de ruído, e um gerador mais simples, como um autoencoder variacional, é mais seguro.
Limitações e considerações
- Requer um grande conjunto de dados ou um modelo pré-treinado — dados pequenos levam à baixa qualidade de geração.
- Hardware GPU/TPU é necessário para treinamento e uso prático.
- A inferência é lenta porque a amostragem itera sobre muitas etapas de remoção de ruído.
- Abaixo de cerca de 1000 amostras, o processo de remoção de ruído não pode ser aprendido de forma confiável.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Produz amostras de maior qualidade e mais diversas do que as GANs em imagens, áudio e moléculas.
- O treinamento é estável, evitando o colapso de modo e a instabilidade adversarial que afligem as GANs.
- Variantes de difusão latente tornam a geração de alta resolução computacionalmente tratável.
- Suporta naturalmente a geração condicional, como prompts de texto para imagem.
Aplicações
- Síntese de imagem de alta resolução e geração de texto para imagem.
- Geração de áudio e fala.
- Geração de estruturas moleculares e de materiais em química e ciências naturais.
- Aumento de dados e geração condicional a partir de modelos-base pré-treinados.
Como funciona
Como funciona
Um processo de avanço fixo corrompe cada exemplo de treinamento adicionando pequenas quantidades de ruído gaussiano em muitas etapas, até que os dados sejam transformados em puro ruído. Este processo não requer aprendizado — ele simplesmente define a trajetória dos dados limpos para o ruído que o modelo reverterá posteriormente.
Fórmula
q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}\,x_{t-1}, \beta_t I)Uma rede neural (tipicamente uma U-Net) é treinada para prever o ruído que foi adicionado em uma determinada etapa. Ao minimizar o erro quadrático entre o ruído verdadeiro e o previsto em muitos passos de tempo e exemplos, a rede aprende como levar uma entrada ruidosa um passo mais perto de dados limpos.
Fórmula
\mathcal{L} = \mathbb{E}_{t, x_0, \epsilon}\big[\,\lVert \epsilon - \epsilon_\theta(x_t, t) \rVert^2\,\big]Para gerar uma nova amostra, o modelo começa com ruído aleatório e aplica repetidamente o passo de remoção de ruído aprendido, subtraindo o ruído previsto e adicionando um pequeno termo estocástico até que uma saída limpa apareça. Variantes de difusão latente (Stable Diffusion) executam este ciclo em um espaço latente comprimido para tornar a geração de alta resolução tratável.
Fórmula
x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\Big(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\epsilon_\theta(x_t, t)\Big) + \sigma_t zErros comuns
- Tentar treinar do zero em um conjunto de dados pequeno em vez de ajustar um modelo pré-treinado.
- Subestimar a computação: treinamento e até mesmo inferência exigem recursos de GPU/TPU.
- Esperar saída em tempo real quando a amostragem de múltiplos passos torna a inferência inerentemente lenta.
- Usar um modelo de difusão onde um gerador muito mais simples (por exemplo, um VAE) seria suficiente para os dados disponíveis.
Perguntas frequentes
Como um modelo de difusão difere de uma GAN?
Ambos são generativos, mas uma GAN treina um gerador contra um discriminador, o que pode ser instável e propenso a colapso de modo. Um modelo de difusão, em vez disso, aprende a reverter um processo de ruído passo a passo, proporcionando treinamento mais estável e amostras tipicamente de maior qualidade e mais diversas.
Quanta dados eu preciso?
O treinamento do zero geralmente requer cerca de 1000 amostras ou mais; abaixo disso, o processo de remoção de ruído não pode ser bem aprendido. Com poucos dados, ajuste fino de um modelo pré-treinado ou use um gerador mais simples, como um autoencoder variacional.
Por que a geração é lenta?
A amostragem começa do ruído e aplica o passo de remoção de ruído aprendido muitas vezes em sequência, então a produção de uma amostra requer muitas passagens pela rede. Variantes de difusão latente reduzem o custo trabalhando em um espaço latente comprimido.
Eu preciso de hardware especial?
Sim. Modelos de difusão requerem hardware GPU ou TPU para treinamento e para inferência prática; o uso apenas de CPU é geralmente impraticável.
Métodos relacionados
Fontes
Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.
Abrir referência da publicaçãoCopiado.Rombach, R., Blattmann, A., Lorenz, D., Esser, P. & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.
Abrir referência da publicaçãoCopiado.