Padrões de Relato Estatístico: Relato Transparente de Análises
- Proposto por
- Statistical and methodological literature; emphasized by Cumming (2013), ICMJE, and replication crisis discussions
- Ano
- 2005
- Tipo
- Guideline
- Família
- results-reporting
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O relato transparente de resultados estatísticos — incluindo tamanhos de efeito, intervalos de confiança, valores-p e pressupostos — é essencial para a integridade científica e a reprodutibilidade.
Muitos estudos publicados relatam valores-p isoladamente, sem tamanhos de efeito ou intervalos de confiança, tornando impossível para os leitores avaliarem a magnitude das descobertas. Padrões de relato estatístico, enfatizados por Cumming (2013), a American Statistical Association e a ICMJE, exigem tamanhos de efeito, intervalos de confiança e discussão da incerteza. Isso permite que os leitores julguem se as descobertas são praticamente significativas (não apenas estatisticamente significativas) e comparem tamanhos de efeito entre estudos em meta-análises. Relatos estatísticos deficientes desperdiçam pesquisa e impedem a síntese adequada de evidências.
A intuição por trás do método
Valores-p são amplamente mal compreendidos: um p<0,05 NÃO significa que o resultado é 'importante' ou que a hipótese nula é 'falsa'. Simplesmente significa que os dados observados ocorreriam menos de 5% das vezes se a hipótese nula fosse verdadeira. Um efeito trivial (por exemplo, diferença de 0,1%) pode ter p<0,001 com uma amostra grande; inversamente, um grande efeito clinicamente importante (por exemplo, redução de 50% nos sintomas) pode não atingir p<0,05 com uma amostra pequena. Tamanhos de efeito e intervalos de confiança abordam isso: eles quantificam a magnitude do efeito e a faixa de valores plausíveis. Um intervalo de confiança de 95% [2,1, 2,3] diz que estamos 95% confiantes de que o efeito verdadeiro está entre 2,1 e 2,3; se o intervalo de confiança incluir zero ou um valor de efeito nulo, o resultado não é estatisticamente significativo. Essas informações adicionais — ausentes apenas nos valores-p — permitem que os leitores interpretem as descobertas de forma significativa.
História
Os padrões de relato estatístico evoluíram de uma crítica de décadas sobre o uso indevido de valores-p na ciência. Em 1992, o periódico Epidemiology exigiu intervalos de confiança ao lado de valores-p; outros periódicos seguiram. O influente artigo de Cumming (2013) 'The New Statistics' defendeu tamanhos de efeito e intervalos de confiança como superiores aos limiares de valor-p. Em 2019, a American Statistical Association publicou orientações alertando contra p<0,05 como um limiar universal para 'significância'. Periódicos importantes (JAMA, Lancet, etc.) agora exigem tamanhos de efeito. As Recomendações da ICMJE (atualizadas em 2023) enfatizam o relato de tamanhos de efeito e incerteza. Essa mudança reflete lições da crise de replicação: muitas descobertas publicadas com p<0,05 falharam em replicar porque os tamanhos de efeito eram pequenos, um fato oculto apenas pelos valores-p.
Quando usar
Relate estatísticas de forma transparente em toda pesquisa empírica: estudos observacionais, experimentos, pesquisas, ensaios clínicos, meta-análises. Isso se aplica a análises primárias e análises de sensibilidade/subgrupo. Para estudos descritivos sem testes de hipóteses (por exemplo, pesquisas descritivas), relate estatísticas descritivas, faixas e proporções claramente. Para pesquisa qualitativa, o relato estatístico não se aplica, mas descreva a amostra e o método de análise de forma transparente. Para estudos de modelagem ou simulação, relate tamanhos de efeito e intervalos de confiança em torno dos desfechos chave.
Limitações e considerações
- Requer espaço: o relato estatístico abrangente (tamanho do efeito, IC, valor-p, pressupostos) ocupa mais espaço do que apenas 'p<0,001'; limites de periódicos podem comprimir outro conteúdo.
- Complexidade: leitores não familiarizados com tamanhos de efeito podem achar o relato abrangente difícil de interpretar; é necessária educação.
- Ambiguidade na interpretação: o tamanho de efeito 'significativo' depende do contexto (d=0,2 é pequeno em alguns campos, grande em outros); não há padrão universal.
- Comparações múltiplas aumentam falsos positivos: mesmo com correções, muitos testes de hipóteses aumentam o erro Tipo I; o relato abrangente não resolve isso, apenas o documenta.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Permite a interpretação da magnitude: os leitores veem não apenas 'diferença significativa', mas 'a diferença é d=0,47' (efeito médio), crucial para julgar a significância prática.
- Facilita a meta-análise: tamanhos de efeito permitem que os estudos sejam combinados; valores-p isoladamente são insuficientes para meta-análise.
- Reduz o viés de p-hacking: quando tamanhos de efeito são relatados, os leitores podem ver quando os efeitos são triviais apesar de p<0,05, reduzindo o incentivo para graus de liberdade do pesquisador.
- Melhora a reprodutibilidade: intervalos de confiança e verificação de pressupostos permitem que os leitores avaliem a sensibilidade e a validade das descobertas.
- Suporta análise de poder post-hoc: tamanhos de efeito relatados permitem o cálculo do poder estatístico, revelando se estudos com baixo poder impulsionaram achados nulos.
Aplicações
- Escrevendo um artigo de pesquisa: planeje o relato estatístico antes da análise; relate tamanhos de efeito e ICs ao lado de valores-p; organize os resultados por hipótese.
- Conduzindo uma meta-análise: tamanhos de efeito extraídos de estudos primários permitem o agrupamento; artigos que relatam apenas valores-p são mais difíceis de incluir.
- Revisando um manuscrito: verifique se as estatísticas são relatadas de forma abrangente; solicite tamanhos de efeito e ICs se estiverem ausentes.
- Preparando uma proposta de financiamento: a análise de poder estatístico (que usa tamanhos de efeito) é padrão em revisões de financiamento do NIH e outras; demonstre familiaridade com o relato de tamanho de efeito.
Como funciona
Como funciona
Relate estatísticas nesta ordem e formato: (1) Estatísticas descritivas: média ± DP (ou mediana e intervalo interquartil para dados assimétricos) para cada grupo. Exemplo: 'Grupo de tratamento (M=45,2, DP=8,3) vs. Grupo controle (M=42,1, DP=7,9).' (2) Nome e resultado do teste estatístico: Especifique o teste (teste t, qui-quadrado, ANOVA, etc.), estatística do teste, graus de liberdade, valor-p e tamanho do efeito. Exemplo: 't(98)=2,34, p=0,021, d=0,47.' (3) Intervalo de confiança: Inclua IC de 95% para a diferença ou tamanho do efeito. Exemplo: 'IC de 95% [0,52, 3,21].' (4) Tamanho do efeito: Relate o tamanho do efeito apropriado para o seu teste. Para desfechos contínuos: d de Cohen (diferença de médias padronizada), r de Pearson (correlação) ou eta-quadrado (proporção da variância explicada). Para desfechos binários: risco relativo, razão de chances, número necessário para tratar. Para comparações de médias: relate a diferença absoluta com unidades. (5) Pressupostos testados: declare se os pressupostos foram atendidos (por exemplo, 'A normalidade foi avaliada com o teste de Shapiro-Wilk, W=0,98, p=0,45, indicando que os dados são aproximadamente normais'). (6) Correções para comparações múltiplas: se estiver realizando múltiplos testes, relate o método de correção utilizado (Bonferroni, Taxa de Falsa Descoberta, etc.) e o limiar de valor-p ajustado. Exemplo: 'α=0,05/3=0,017 corrigido por Bonferroni.' (7) Dados ausentes: descreva como os dados ausentes foram tratados (exclusão, método de imputação). Organize os resultados por hipótese ou questão de pesquisa; agrupe estatísticas relacionadas. Use tabelas para resultados numéricos detalhados.
Um relato estatístico de qualidade atende a estes critérios: (1) Completude: valores-p, tamanhos de efeito e intervalos de confiança são todos relatados; sem valores-p 'nus'. (2) Precisão: os valores estão corretos e consistentes com a análise descrita nos Métodos. (3) Transparência: o método estatístico é nomeado explicitamente (por exemplo, 'teste t pareado' e não apenas 'teste t'); os pressupostos são abordados. (4) Tamanho do efeito: o tamanho do efeito apropriado para o teste é escolhido (d para comparações de dois grupos, r para correlações, etc.). (5) Precisão: os valores são relatados com casas decimais apropriadas (valores-p com 2–3 decimais, por exemplo, p=0,021, não p<0,05). (6) Consistência: resultados semelhantes são formatados identicamente; uma série de testes t relata todos t, gl, p e d. (7) Clareza: os resultados são apresentados em texto ou tabelas na ordem das questões de pesquisa declaradas na Introdução. Os leitores devem ser capazes de verificar os resultados olhando as tabelas e cruzando com o texto.
Revisores e editores verificam o relato estatístico quanto à transparência e conformidade com os padrões da área. Tamanhos de efeito ausentes, alegações não fundamentadas de 'significância' ou estatísticas mal relatadas acionam pedidos de revisão. O viés de publicação é reduzido quando tamanhos de efeito e intervalos de confiança são relatados: revisores e leitores podem avaliar a magnitude real das descobertas, não apenas se p<0,05. Em meta-análises, os tamanhos de efeito de todos os estudos são agrupados; estudos que relatam apenas valores-p sem tamanhos de efeito devem ser excluídos ou estimados post-hoc a partir de outras estatísticas, introduzindo erro. Para os autores, o relato estatístico transparente aumenta a reprodutibilidade, permite a síntese adequada e demonstra rigor.
Erros comuns
- Relatar valores-p sem tamanhos de efeito: 'p=0,021' informa aos leitores que o resultado é 'significativo', mas não se o efeito é trivial (por exemplo, d=0,1) ou grande (d=1,5). Sempre relate o tamanho do efeito.
- Confundir significância estatística e prática: p=0,001 indica forte evidência contra a hipótese nula, mas se o efeito for clinicamente irrelevante (por exemplo, diferença de 0,1 mmHg na pressão arterial), não é praticamente significativo. Discuta ambos.
- Seleção de valores-p (cherry-picking): relatar apenas o valor-p que é <0,05 enquanto se ocultam resultados não significativos (p-hacking). Pré-registre hipóteses e relate todos os testes, significativos ou não.
- Relatar 'tendência para significância' para p=0,10 ou 'aproximando-se da significância' para p=0,06: estes são informais e enganosos. Ou o resultado atende ao seu limiar ou não; discuta resultados não significativos honestamente.
- Relato incorreto de intervalos de confiança: um IC de 95% NÃO é a faixa que contém 95% dos dados; é a faixa sobre a qual estamos 95% confiantes que contém o parâmetro verdadeiro. Explique corretamente para evitar confusão.
- Omissão de estatísticas descritivas de base: os leitores não podem avaliar se os grupos eram comparáveis ou se as amostras são representativas se dados demográficos/de base não forem relatados.
Perguntas frequentes
Qual tamanho de efeito devo relatar?
Escolha o tamanho do efeito apropriado para o seu teste estatístico: Para testes t (comparação de dois grupos): d de Cohen (diferença de médias padronizada) ou a diferença bruta com unidades. Para ANOVA: eta-quadrado (η²) ou eta-quadrado parcial (η²p). Para correlação: r de Pearson ou r-quadrado (R²). Para desfechos binários (por exemplo, sucesso do tratamento): razão de chances (OR), risco relativo (RR) ou diferença de risco absoluto. Para dados pareados: d de Cohen ou g de Hedge (semelhante a d, usado em meta-análises). Em caso de dúvida, consulte os padrões específicos da área ou as diretrizes de relato (Rede EQUATOR).
É suficiente relatar apenas o valor-p?
Não. O valor-p isoladamente é insuficiente porque não informa a magnitude do efeito. Um p=0,001 pode refletir um efeito trivial (se a amostra for grande) ou um efeito enorme (se a amostra for pequena). Sempre relate o tamanho do efeito e o IC de 95%. A combinação de valor-p + tamanho do efeito + IC dá aos leitores o quadro completo.
E se eu tiver muitos testes e vários valores-p estiverem 'próximos da significância' (por exemplo, p=0,06)?
Relate-os honestamente. Um p=0,06 não é estatisticamente significativo em α=0,05; ele não se torna significativo chamando-o de 'tendência'. Discuta o que o resultado não significativo significa no contexto (falta de poder? efeito nulo verdadeiro?). Se você realizou múltiplos testes, relate como controlou o erro Tipo I (Bonferroni, FDR, etc.). Pré-registre hipóteses para distinguir análises confirmatórias de exploratórias.
Quantas casas decimais devo usar para valores-p?
Duas a três casas decimais é o padrão (por exemplo, p=0,021, p<0,001). Não relate p=0,050000. Valores-p exatos são preferíveis a desigualdades (p=0,021 em vez de p<0,05) quando o valor exato está disponível em seu software estatístico. Use 'p<0,001' apenas se o software arredondar valores menores ou se o teste for unilateral com um limiar muito pequeno.
Devo relatar IC de 95% ou outros níveis de confiança?
Use IC de 95% a menos que sua área tenha uma convenção diferente (alguma literatura médica mais antiga usava 90% ou 99%). O IC de 95% é o padrão porque se alinha com α=0,05. Se você relatar um IC de 90%, declare explicitamente 'IC90%' para evitar confusão. Não misture níveis de confiança no mesmo artigo.
Métodos relacionados
Fontes
Cumming, G. (2013). The new statistics: Why and how. Psychological Science, 25(1), 7–29.
Abrir referência DOICopiado.Fidler, F., Thomason, N., Cumming, G., Finch, S., & Leeman, J. (2005). Editors can lead researchers to confidence intervals, but can't make them think: Statistical reform lessons from medicine. Psychological Science, 15(2), 119–126.
Abrir referência DOICopiado.International Committee of Medical Journal Editors (2023). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals.
Abrir referência da publicaçãoCopiado.