Skip to content
Voltar aos resultados

Otimização Bayesiana — Ajuste Sequencial de Hiperparâmetros Baseado em Modelo

Proposto por
Mockus (1975); popularised for ML by Snoek, Larochelle & Adams (2012)
Ano
1975 (foundational); 2012 (ML standard)
Tipo
Sequential model-based black-box optimization

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Otimização Bayesiana é uma estratégia sequencial, baseada em modelo, para encontrar o ótimo de funções de caixa-preta caras com o menor número possível de avaliações.

Fundamentada no trabalho de Mockus (1975) e trazida para a prática corrente de aprendizado de máquina por Snoek, Larochelle e Adams (2012), ela ajusta um modelo substituto probabilístico — tipicamente um Processo Gaussiano — a observações passadas e usa uma função de aquisição para decidir onde sondar a seguir, balanceando a exploração de regiões desconhecidas com a exploração de regiões promissoras.

A intuição por trás do método

Imagine que você precisa encontrar as melhores configurações para um modelo de aprendizado de máquina, mas cada teste leva horas para ser executado. Você não pode se dar ao luxo de testar todas as combinações. A Otimização Bayesiana age como um cientista cuidadoso: ela constrói um mapa em andamento do que foi tentado e quais resultados retornaram, usa esse mapa para adivinhar onde o ótimo provavelmente se encontra e, em seguida, escolhe o próximo experimento que tem maior probabilidade de melhorar o melhor resultado visto até agora. À medida que mais experimentos são concluídos, o mapa se torna mais preciso e as escolhas mais inteligentes — tudo isso sem nunca precisar conhecer a fórmula matemática dentro da caixa-preta.

História

As bases teóricas da Otimização Bayesiana foram lançadas por Jonas Mockus e colegas nos anos 1970 por meio do conceito de melhoria esperada para projeto experimental sequencial. A abordagem permaneceu em grande parte acadêmica até 2012, quando Snoek, Larochelle e Adams publicaram "Practical Bayesian Optimization of Machine Learning Algorithms" na NeurIPS, demonstrando que a Otimização Bayesiana baseada em GP superava consistentemente o ajuste manual de especialistas e a busca aleatória em benchmarks padrão de ML. Este trabalho catalisou o desenvolvimento de bibliotecas dedicadas e estabeleceu a Otimização Bayesiana como o padrão de fato para busca de hiperparâmetros em pipelines de aprendizado profundo e AutoML. O tutorial de Peter Frazier em 2018 (arXiv:1807.02811) posteriormente forneceu um tratamento pedagógico unificado que ampliou o alcance do método além da comunidade de ML.

Quando usar

A Otimização Bayesiana é a escolha certa quando a função objetivo é cara ou lenta de avaliar — treinar um modelo grande, executar uma simulação física ou realizar um experimento de laboratório — e o orçamento é limitado a dezenas ou poucas centenas de avaliações. O espaço de busca deve ser definido com limites explícitos para cada parâmetro. O método lida naturalmente com parâmetros contínuos e ordinais; espaços puramente categóricos ou de alta dimensionalidade (mais de aproximadamente 20 parâmetros) podem degradar a qualidade do substituto e podem exigir extensões como florestas aleatórias como substituto ou pré-processamento de redução de dimensionalidade. Se as avaliações forem baratas e o paralelismo estiver disponível, a busca aleatória ou a busca em grade mais simples podem ser competitivas.

Limitações e considerações

  • Escala mal para espaços de hiperparâmetros de altíssima dimensionalidade: o ajuste do Processo Gaussiano se torna computacionalmente caro e o substituto perde precisão além de aproximadamente 10–20 dimensões.
  • Sensível à escolha do kernel substituto e da função de aquisição: padrões ruins podem impedir a convergência, especialmente em objetivos não estacionários ou multimodais.
  • Sequencial por padrão: cada avaliação deve ser concluída antes que o próximo candidato seja selecionado, limitando o paralelismo a menos que extensões em modo de lote ou assíncronas sejam usadas.
  • Requer espaços de busca limitados: parâmetros sem intervalos explícitos não podem ser tratados diretamente.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Eficiente em amostras: encontra configurações boas em muito menos avaliações do que a busca em grade ou a busca aleatória, o que importa quando cada avaliação é lenta ou custosa.
  • Balanceamento principiado de exploração-exploração: a função de aquisição fornece um critério formal e interpretável para onde buscar a seguir.
  • Incerteza baseada em modelo: o Processo Gaussiano não apenas prevê o desempenho, mas também quantifica sua própria confiança, permitindo decisões de parada informadas.
  • Aplicável a qualquer objetivo de caixa-preta: o método não requer informações de gradiente nem conhecimento matemático do interior do objetivo.

Aplicações

  • Ajuste de hiperparâmetros de modelos de aprendizado de máquina e aprendizado profundo onde cada execução de treinamento é computacionalmente cara.
  • Busca de Arquitetura Neural (NAS): seleção de escolhas arquiteturais como larguras de camada, funções de ativação e conexões de salto.
  • Projeto experimental em engenharia e ciências naturais onde cada experimento físico é custoso ou demorado.
  • Pipelines de Aprendizado de Máquina Automático (AutoML) que selecionam conjuntamente algoritmos e seus hiperparâmetros.
  • Descoberta de drogas e ciência de materiais, onde a avaliação de uma configuração candidata requer trabalho de laboratório.

Como funciona

Como funciona

1

O praticante define o espaço de busca: cada hiperparâmetro a ser ajustado recebe um tipo (contínuo, ordinal) e um intervalo — limites inferior e superior — dentro dos quais o otimizador pode buscar. Uma definição clara do espaço é pré-requisito para tudo mais e impede que o substituto seja solicitado a extrapolar além de regiões seguras.

2

Um pequeno número de pontos no espaço de busca é avaliado aleatoriamente ou por meio de um projeto de preenchimento de espaço (por exemplo, amostragem de hipercubo latino). Essas observações iniciais — tipicamente de cinco a dez — fornecem ao substituto dados suficientes para formar um primeiro mapa aproximado da paisagem objetiva antes que o loop sequencial comece.

3

Todas as observações coletadas até agora são usadas para ajustar um modelo substituto probabilístico, mais comumente um Processo Gaussiano. O GP retorna tanto uma predição de média quanto uma estimativa de incerteza em cada ponto do espaço, capturando tanto o que é conhecido quanto o quão confiante o modelo está. O substituto é barato de avaliar, de modo que pode ser consultado milhares de vezes em vez do verdadeiro objetivo custoso.

4

Uma função de aquisição — como Melhoria Esperada (EI) ou Limite Superior de Confiança (UCB) — é maximizada sobre o substituto para selecionar o próximo ponto candidato. EI quantifica o ganho esperado sobre o melhor atual; UCB adiciona um bônus de exploração ponderado pela confiança. Esta etapa é onde o trade-off exploração-exploração é resolvido: regiões com alto desempenho predito e regiões com alta incerteza atraem atenção.

5

O ponto candidato selecionado pela função de aquisição é passado para o objetivo verdadeiro — por exemplo, treinar e validar uma rede neural com esses hiperparâmetros. Esta avaliação é a etapa custosa. Seu resultado (a pontuação) é registrado junto com as coordenadas do candidato.

6

A nova observação é adicionada ao conjunto de dados, o substituto é reajustado e o loop retorna à etapa de aquisição. Após o esgotamento do orçamento de iteração, a configuração de hiperparâmetros que produziu a melhor pontuação observada é retornada como recomendação final.

Erros comuns

  • Poucas sondas aleatórias iniciais deixam o substituto mal calibrado; use pelo menos cinco pontos iniciais, e mais em espaços de maior dimensionalidade.
  • Executar o otimizador por pouquíssimas iterações totais (menos de aproximadamente dez) significa que o substituto nunca se torna confiável; nesses casos, uma busca aleatória simples é preferível.
  • Ignorar a escolha da função de aquisição: EI favorece a exploração e pode ficar preso perto de bons resultados iniciais; UCB adiciona exploração por meio de um peso de confiança ajustável — nenhum é universalmente o melhor, e o padrão deve ser verificado em relação à estrutura do problema.
  • Tratar a Otimização Bayesiana como uma caixa-preta em si: sempre inspecione o traço de convergência (melhor pontuação vista vs. iteração) para detectar estagnação precocemente.
  • Aplicar o método quando as avaliações são baratas — a busca aleatória ou em grade convergirão igualmente bem a uma fração do custo de implementação.

Perguntas frequentes

Como a Otimização Bayesiana difere da busca em grade ou da busca aleatória?

A busca em grade avalia uma grade fixa de configurações e a busca aleatória amostra aleatoriamente — ambas ignoram os resultados de tentativas anteriores ao escolher o próximo ponto. A Otimização Bayesiana utiliza ativamente todas as observações passadas para construir um modelo substituto e seleciona o próximo ponto mais provável de melhorar sobre o melhor atual, tornando-a muito mais eficiente em amostras quando as avaliações são caras.

Qual função de aquisição devo usar?

Melhoria Esperada (EI) é o padrão mais amplamente utilizado: mede o ganho esperado sobre o melhor atual e tende a ser confiável em todos os tipos de problemas. Limite Superior de Confiança (UCB) adiciona um bônus de exploração ajustável e é frequentemente preferido quando a paisagem é mal compreendida. Probabilidade de Melhoria (PI) é mais focada na exploração e pode convergir prematuramente. Comece com EI e mude para UCB se o otimizador parecer estagnar.

Quantas iterações são necessárias?

Não há regra universal, mas menos de cerca de dez avaliações totais (incluindo sondas aleatórias iniciais) dão ao substituto dados insuficientes para ser confiável. Implantações práticas geralmente usam de cinco a dez pontos aleatórios iniciais seguidos por vinte a cinquenta etapas bayesianas sequenciais. Quando a melhor pontuação vista para de melhorar em várias iterações consecutivas, o orçamento pode ser interrompido.

A Otimização Bayesiana pode ser paralelizada?

A Otimização Bayesiana padrão é inerentemente sequencial. Extensões em modo de lote permitem propor um conjunto de candidatos simultaneamente — estratégias comuns incluem Penalização Local e a heurística Kriging Believer — permitindo avaliação paralela. Variantes assíncronas iniciam um novo candidato sempre que um trabalhador fica livre, em vez de esperar pelo lote completo. Essas extensões estão disponíveis em bibliotecas como Optuna e BoTorch.

Métodos relacionados

Fontes

  1. Snoek, J., Larochelle, H., & Adams, R.P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS), 25.

    Abrir referência da publicação
    Copiado.
  2. Frazier, P.I. (2018). A Tutorial on Bayesian Optimization. arXiv:1807.02811.

    Abrir referência da publicação
    Copiado.