Skip to content
Voltar aos resultados

Predição Conforme

Proposto por
Vovk, Gammerman & Shafer
Ano
2005
Tipo
Distribution-free uncertainty quantification framework
Família
Trustworthy ML

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Predição Conforme é um framework livre de distribuição para construir conjuntos de predição estatisticamente válidos (para classificação) ou intervalos de predição (para regressão) em torno da saída de qualquer modelo de aprendizado de máquina pré-treinado.

Introduzido por Vovk, Gammerman e Shafer em sua monografia de 2005, ele fornece uma garantia de cobertura marginal em amostra finita — o rótulo verdadeiro cai dentro do conjunto de predição com probabilidade de pelo menos 1-alfa — sem exigir suposições paramétricas sobre a distribuição dos dados.

A intuição por trás do método

Imagine uma estação meteorológica que, em vez de dizer 'amanhã a temperatura será 22°C', diz 'amanhã a temperatura estará entre 19°C e 25°C, e garantimos que este intervalo está correto em pelo menos 90% dos dias a longo prazo.' A Predição Conforme funciona de forma semelhante: ela envolve a predição pontual de qualquer modelo existente com uma margem de segurança orientada por dados, calibrada em exemplos retidos, de modo que o conjunto resultante seja comprovadamente confiável sob suposições muito brandas sobre como os dados foram coletados.

História

A Predição Conforme foi formalizada por Vladimir Vovk, Alexander Gammerman e Glenn Shafer em sua monografia da Springer de 2005, baseando-se em ideias anteriores de aprendizado transdutivo online do final dos anos 1990. A variante indutiva (split-conformal), que separa treinamento de calibração, foi posteriormente popularizada para tornar o método escalável. Os anos 2020 viram rápida adoção em aprendizado profundo, com extensões incluindo predição conforme mondriana para garantias condicionais, conjuntos de predição de controle de risco e controle de risco conforme.

Quando usar

Use Predição Conforme quando precisar de garantias de cobertura rigorosas e em amostra finita na saída de incerteza de um modelo, sem suposições de distribuição. É apropriado para tarefas de classificação e regressão onde dados de calibração da mesma distribuição que os dados de teste estão disponíveis. Limitações incluem a suposição de permutabilidade (violada sob desvio de covariável), e que a cobertura é marginal em vez de condicional, significando que alguns subgrupos podem ser sub- ou sobre-cobertos. Alternativas incluem intervalos de credibilidade bayesianos (requerem suposições de distribuição) e regressão quantílica (sem garantia de amostra finita sem envolvimento conforme).

Limitações e considerações

  • A garantia de cobertura é marginal (média sobre as entradas de teste), não condicional a cada x individual.
  • Assume permutabilidade dos dados de calibração e teste; o desempenho degrada sob desvio de covariável ou de rótulo.
  • Os conjuntos de predição podem ser ininformativamente grandes quando o modelo base é fraco ou a taxa de não cobertura alvo alfa é pequena.
  • Métodos de conformidade dividida requerem um conjunto de calibração dedicado, reduzindo os dados disponíveis para treinamento.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Fornece garantias de cobertura marginal em amostra finita e livre de distribuição, válidas para qualquer modelo base.
  • Agnóstico ao modelo: envolve qualquer classificador ou regressor pré-treinado sem retreinamento.
  • Computacionalmente leve no tempo de inferência — requer apenas o armazenamento dos escores de calibração e o cálculo de um quantil.
  • Escores de não conformidade flexíveis permitem adaptação a diversas tarefas, incluindo detecção de objetos e geração de linguagem natural.

Aplicações

  • Diagnóstico médico: produção de conjuntos de predição para classificação de doenças que garantem a inclusão do diagnóstico verdadeiro com alta probabilidade, apoiando a tomada de decisão clínica segura.
  • Descoberta de medicamentos: geração de regiões de confiança confiáveis para predições de propriedades moleculares, ajudando químicos a priorizar compostos para testes caros em laboratório.
  • Direção autônoma: construção de regiões de incerteza com garantia de cobertura em torno de saídas de detecção de objetos para acionar comportamentos de fallback seguros.
  • Processamento de linguagem natural: conjuntos de predição calibrados para classificação de texto e incerteza em nível de token em saídas de modelos de linguagem grandes.
  • Avaliação de risco financeiro: intervalos de predição livres de distribuição para previsões de retorno que permanecem válidos sob escrutínio regulatório sem exigir modelos paramétricos.

Como funciona

Como funciona

1

Um modelo convencional de aprendizado de máquina — qualquer classificador, regressor ou rede neural — é treinado em uma divisão de treinamento dedicada. A Predição Conforme é agnóstica a este modelo; ela o trata como uma caixa preta. A qualidade dos conjuntos de predição finais é influenciada pela precisão do modelo base, mas a garantia de validade se mantém independentemente.

Fórmula
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

Em uma divisão de calibração separada que o modelo base não viu, um escore de não conformidade é computado para cada exemplo. Para regressão, o escore é tipicamente o resíduo absoluto |y - f_hat(x)|; para classificação, pode ser 1 menos a probabilidade prevista da classe verdadeira. Esses escores medem o quão 'surpreendente' cada ponto de calibração é em relação ao modelo.

Fórmula
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

O quantil empírico (1-alfa) dos escores de não conformidade de calibração é computado com um fator de correção de amostra finita. Este quantil corrigido q_hat é o limiar que, pela permutabilidade dos dados, garantirá que a garantia de cobertura se mantenha em um novo ponto de teste com probabilidade de pelo menos 1-alfa.

Fórmula
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

Para uma nova entrada de teste x_new, o conjunto de predição contém todo rótulo candidato y cujo escore de não conformidade não exceda q_hat. Em regressão, isso resulta em um intervalo [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; em classificação, resulta no subconjunto de classes com probabilidade prevista suficientemente alta. O conjunto é garantido para cobrir o rótulo verdadeiro com probabilidade marginal de pelo menos 1-alfa.

Fórmula
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

Erros comuns

  • Usar o conjunto de treinamento como conjunto de calibração infla o otimismo e destrói a garantia de validade — sempre use uma divisão de calibração retida.
  • Confundir cobertura marginal com cobertura condicional: a garantia não implica que cada subpopulação seja coberta no nível 1-alfa.
  • Ignorar desvio de distribuição: aplicar um preditor conforme calibrado em dados históricos a uma distribuição de implantação desviada quebra a garantia teórica.
  • Tratar o tamanho do conjunto de predição como uma medida direta de confiança sem reconhecer que o tamanho do conjunto depende conjuntamente da qualidade do modelo e do alfa escolhido.

Perguntas frequentes

A Predição Conforme requer o conhecimento da distribuição dos dados?

Não. A garantia de cobertura marginal depende apenas da suposição de permutabilidade — aproximadamente que os pontos de calibração e teste são extraídos i.i.d. da mesma distribuição. Nenhuma família paramétrica precisa ser especificada, o que torna o framework 'livre de distribuição'. Esta é sua principal vantagem teórica sobre intervalos de credibilidade bayesianos e intervalos de confiança clássicos baseados em normalidade.

Como o tamanho do conjunto de calibração é escolhido e como ele afeta os resultados?

Um conjunto de calibração maior produz uma estimativa de quantil empírico mais apertada e estável, resultando em conjuntos de predição menores. Uma regra prática comum é ter pelo menos algumas centenas de exemplos de calibração. Com conjuntos de calibração muito pequenos (menos de 1/alfa pontos), a correção de amostra finita força conjuntos de cobertura total, tornando o método ininformativo. Existe um trade-off padrão viés-variância entre o tamanho do conjunto de treinamento e o tamanho do conjunto de calibração.

A Predição Conforme pode ser aplicada a redes neurais profundas?

Sim. Como o framework é agnóstico ao modelo, ele envolve qualquer rede neural sem modificação. O escore de não conformidade é tipicamente definido usando a saída softmax do modelo para classificação ou sua predição pontual para regressão. Computacionalmente, a calibração requer apenas uma única passagem para frente sobre o conjunto de calibração, tornando-a altamente prática para modelos grandes.

Métodos relacionados

Fontes

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN: 978-0-387-00152-4
    Copiado.