Receba gratuitamente todos os nossos conteúdos.

Fique por dentro das novidades e oportunidades referentes à Psicometria e Análise Quantitativa de Dados.

O que é Correção de Bonferroni?

A correção de Bonferroni é um método para corrigir os valores de testes de hipóteses quando conduzimos vários testes consecutivos. Seu principal uso costuma ser nos testes post-hoc da análise de variância (ANOVA), quando fazemos vários testes-t para identificar quais grupos tem médias diferentes entre si.

Existem dois tipos de erros que podemos corrigir através da correção de Bonferroni. O primeiro e mais comum são os erros family-wise: quando conduzimos um pequeno número de comparações de médias relacionadas (como no post-hoc da ANOVA).

O outro tipo de erro é o erro experiment-wise. Ele acontece quando conduzimos muitos testes independentes, como vários testes-t ou vários testes de correlação de Pearson.

Quando precisamos nos preocupar com erros family-wise?

Podemos entender os erros family-wise através de um exemplo. Em uma pesquisa hipotética avaliamos níveis de ansiedade em vários alunos de ensino médio em uma escola. Nós acreditamos que os alunos do 3º ano, que irão fazer vestibular, terão mais ansiedade do que os alunos do primeiro e segundo anos.

Para testar nossa hipótese, fizemos uma ANOVA, que analisa se há diferença da média de ansiedade entre os três grupos. Como resultado, verificamos que o teste de hipótese da ANOVA foi significativo, com p < 0,05.

No entanto, nós não sabemos exatamente que grupos diferem de maneira estatisticamente significativa. Não sabemos, por exemplo, se há diferença entre o 1º e 2º ano. Para descobrir isto, precisamos comparar cada grupo: 1º e 2º anos, 1º e 3º anos e 2º e 3º anos. Para isso, podemos fazer um teste-t para cada uma destas comparações. E vamos supor que os resultados dos nossos testes-t foram de 0,2, 0,04 e 0,3. Em princípio, detectamos que há diferença (p < 0,05) entre o 1º e 3º ano.

Por que precisamos corrigir?

O problema é que quando conduzimos vários testes em sequência, há uma maior chance de detectarmos um valor-p significativo (p < 0,05), sem que haja um efeito real. Podemos detectar, por exemplo, que alunos do 1º ano são mais ansiosos do que os do terceiro ano, sem que este efeito seja reproduzível em estudos seguintes com outras amostras. Isto é, estamos aumentando a chance de erro do tipo 1.

E os erros experiment-wise?

Erros experiment-wise são aqueles produzidos quando conduzimos muitos testes independentes, como em vários testes-t ou testes de correlação. Por exemplo, vamos considerar que em nossa pesquisa hipotética estamos avaliando uma série de variáveis psicológicas que acreditamos estar relacionadas com a ansiedade: depressão, impulsividade, neuroticismo etc. Nós podemos fazer vários testes de correlação de Pearson para entender a correlação entre ansiedade e estas variáveis, e podemos considerar fazer uma correção de Bonferroni para evitar o erro de tipo I.

Aqui, estou falando em “considerar a correção de Bonferroni”, pois não é em todo caso que ela deve ser usada. Na próxima sessão, vou explicar como a correção de Bonferroni é calculada, e em seguida os problemas que ela traz e quando devemos usá-las.

Como calcular a correção de Bonferroni?

Com a correção de Bonferroni, vamos ter um novo valor de significância (o valor alfa) que leva em consideração a quantidade de testes realizados. Ou seja, vamos precisar que o valor-p tenha um valor específico (novo alfa) ou menor, e não mais o valor de 0,05. Com isso, vamos ser mais rigorosos em aceitar a rejeição da hipótese nula. Calcular a o valor corrigido é muito fácil:

Onde αoriginal é nosso valor original para rejeitar a hipótese nula, que definimos como 0,05.

αnovo é o novo valor de significância que devemos aceitar e n é o número de comparações realizadas. Em nosso exemplo, estamos fazendo três comparações. Portanto:

Ou seja, com esta correção, só vamos aceitar a rejeição da hipótese nula quando o valor de significância for menor do que 0,0167. Como no nosso resultado, o valor foi de 0,04, não podemos dizer que exista diferença da média de ansiedade quando comparamos os alunos do 1º ano com os do 3º ano.

Equilíbrio entre erro do tipo I e erro do tipo II

Como discutimos até aqui, a correção de Bonferroni é usada para diminuir o erro do tipo I. Ou seja, para diminuir a chance de dizermos que há uma diferença estatisticamente significante, quando na realidade não há. No entanto, não existe almoço grátis: quando diminuímos a chance de erro do tipo I, estamos aumentando a chance de erro do tipo II. Este erro acontece quando dizemos que o resultado do teste não é estatisticamente significante quando ele na verdade o é.

A correção de Bonferroni é uma correção que tende a inflar bastante o erro do tipo II, principalmente quando estamos lidando com um número muito grande de testes. Por isso, é preciso pesar se na sua pesquisa é mais importante diminuir o erro do tipo I ou do tipo II. Este artigo dá boas indicações de que pontos devemos levar em consideração na hora de tomar estas decisões:

Nenhuma correção deve ser feita nestas circunstâncias:

  • O estudo é restrito a um número pequeno de comparações planejadas;
  • O estudo é exploratório envolvendo teste post-hoc de comparações não planejadas, mas que são consideradas somente como hipóteses para investigações futuras;
  • Se múltiplos testes simples são usados, como o test-t e correlações, e é o resultado individual dos testes que importa, então o valor exato de p deve ser descrito e discutido;
  • Se é importante evitar o erro do tipo II.

Devemos considerar a correção de Bonferroni quando:

  • Existe uma “hipótese nula universal”, de forma que o importante é que todos os testes devem ser não-significativos para que se rejeite a hipótese nula;
  • É importante evitar o erro do tipo I;
  • Um número grande de testes foi realizado sem planejamento prévio para determinar quais resultados são significativos.

Também podemos usar métodos de correção menos rigorosos, nos casos de erros family-wise, como o Bonferroni-Holm e o Hochberg. Ambos têm processos que permitem que não seja necessário fazer todas as combinações de testes em um post-hoc, e, portanto, podem ter um valor corrigido de significância que infla menos o erro do tipo II.

Com este artigo, você deve estar equipado para lidar com os problemas que surgem quando estamos conduzindo vários testes, como os testes post-hoc. Aqui, falamos bastante sobre erro do tipo I e erro do tipo II e sobre testes de hipóteses. Se você quiser refrescar a definição de cada um deles, assine nossa lista que em breve teremos artigo sobre cada um.

Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).

BRUNO FIGUEIREDO DAMÁSIO

Sou Psicólogo, mestre e doutor em Psicologia. Venho me dedicando à Psicometria desde 2007.

Fui professor e chefe do Departamento de Psicometria da UFRJ durante os anos de 2013 a 2020. Fui editor-chefe da revista Trends in Psychology, da Sociedade Brasileira de Psicologia (SBP) eEditor-Associado da Spanish Journal of Psychology, na sub-seção Psicometri e Métodos Quantitativos.

Tenho mais de 50 artigos publicados e mais de 3000 citações, nas melhores revistas nacionais e internacionais. Atualmente, me dedico a formação de novos pesquisadores, através da Psicometria Online Academy. Minha missão é ampliar a formação em Psicometria no Brasil e lhe auxiliar a conquistar os seus objetivos profissionais.

Deseja se tornar completamente autônomo e independente na análise dos seus dados?

Uma resposta

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Veja mais

Posts relacionados

Teste de Wilcoxon

Teste de Wilcoxon

O teste de Wilcoxon é um teste de hipóteses para analisar a diferença entre duas amostras pareadas. Portanto, podemos usá-lo quando temos duas medidas de uma mesma amostra, isto é,

O que é um teste post hoc?

O que é um teste post hoc?

Alguma vez, durante a sua jornada como pesquisador, já deve ter se perguntado o que é um teste post hoc ou o que significa fazer um teste post hoc. Testes

O que é a distância de Cook?

O que é a distância de Cook?

A distância de cook é uma estatística para avaliar o quanto um único caso é capaz de influenciar a estimativa de um modelo de regressão.

Entenda o que são graus de liberdade

Entenda o que são graus de liberdade

Os graus de liberdade são uma medida que nos ajuda a determinar o número de observações independentes que temos em nossos dados. Em outras palavras, eles indicam quantos valores podemos

O que são parâmetros livres e fixos em uma AFC?

O que são parâmetros livres e fixos em uma AFC?

Parâmetros livres e fixos são uma parte fundamental para o entendimento da Análise Fatorial Confirmatória (AFC). É útil entender estes conceitos, para quando falarmos de índices de modificação e identificação

Teste de Wilcoxon

Teste de Wilcoxon

O teste de Wilcoxon é um teste de hipóteses para analisar a diferença entre duas amostras pareadas. Portanto, podemos usá-lo quando temos duas medidas de uma mesma amostra, isto é,

O que é um teste post hoc?

O que é um teste post hoc?

Alguma vez, durante a sua jornada como pesquisador, já deve ter se perguntado o que é um teste post hoc ou o que significa fazer um teste post hoc. Testes

O que é a distância de Cook?

O que é a distância de Cook?

A distância de cook é uma estatística para avaliar o quanto um único caso é capaz de influenciar a estimativa de um modelo de regressão.

Entenda o que são graus de liberdade

Entenda o que são graus de liberdade

Os graus de liberdade são uma medida que nos ajuda a determinar o número de observações independentes que temos em nossos dados. Em outras palavras, eles indicam quantos valores podemos

O que são parâmetros livres e fixos em uma AFC?

O que são parâmetros livres e fixos em uma AFC?

Parâmetros livres e fixos são uma parte fundamental para o entendimento da Análise Fatorial Confirmatória (AFC). É útil entender estes conceitos, para quando falarmos de índices de modificação e identificação

Cadastre-se para ser notificado com o link das aulas ao vivo:

Módulo 4: Redes neurais artificiais

• Introdução a Deep Learning

• Avaliando sistemas de Deep Learning

• Redes Neurais feitas (sem programação) no SPSS

• Aula bônus: O futuro da IA na Sociedade

• Aula bônus: Dois Estudos de Caso 

Módulo 3: Interpretar e reportar resultados

• Gerar, interpretar e reportar resultados em Machine Learning

Módulo 2: Criando o seu sistema

• Selecionando algoritmos e métodos 
• Práticas de Machine Learning (Sem programação): Decision Tree (JASP), Linear Discriminant Classification (JASP) e Plataforma ORANGE
• Aula Bônus: Avaliação Psicológica e Machine Learning
• Aula Bônus: Livros e Cursos recomendados  
• Aula Bônus: Entrevista com Cientista de Dados focado na área da Saúde

Módulo 1: O que é Machine Learning

• O que é Machine Learning?
• Como a máquina aprende?
• Machine Learning para Psicometria e Pesquisa Quantitativa (pesquisas comentadas)
• Tipos de Machine Learning (Supervisionado e Não-supervisionado)
• Práticas de Machine Learning (Sem programação): JASP e SPSS
Aula Bônus: Filosofia da Inteligência Artificial
• Aula Bônus: Entrevista com Cientista de Dados graduado em Psicologia
• Aula bônus: Estudo de Caso sobre Redução Dimensional 

Preencha abaixo para
participar gratuitamente

Fique tranquilo, não utilizaremos suas informações de contato para enviar qualquer tipo de SPAM. Os dados coletados são tratados nos termos da Lei Geral de Proteção de Dados e você pode se descadastrar da nossa lista de contatos a qualquer momento.