Receba gratuitamente todos os nossos conteúdos.

Fique por dentro das novidades e oportunidades referentes à Psicometria e Análise Quantitativa de Dados.

Family Wise Error Rate (FWER): O que é e como controlar?

O universo da análise de dados é vasto e repleto de conceitos que, embora por vezes pareçam complicados, são fundamentais para garantir robustez das nossas análises.

Um desses conceitos é o Family Wise Error Rate (FWER). Neste post, vamos entender sua importância e aprender sobre algumas técnicas para controlá-lo.

O que é Family Wise Error Rate (FWER)?

O limite para significância estatística é definido pela probabilidade máxima aceitável de erro do Tipo I (α). Em pesquisas que se realizam múltiplas comparações, a chance de ocorrer pelo menos 1 erro do Tipo I (taxa de erro global ou FWER) cresce conforme aumenta o número de hipóteses ou comparações.

Em palavras mais simples, quando você executa vários testes simultaneamente, o FWER é a probabilidade de você, erroneamente, rejeitar uma hipótese nula verdadeira em qualquer um desses testes.

Como estimar o Family Wise Error Rate?

Estimar o FWER é um exercício de combinação de probabilidades. Se você realiza um único teste com um nível de significância (α) de 0,05, isso significa que você tem uma chance de 5% de rejeitar incorretamente a hipótese nula. No entanto, à medida que realiza mais testes, essa probabilidade acumula.

Por exemplo, se realizarmos 2 testes independentes, ambos com α = 0,05, a probabilidade de cometer pelo menos um erro de Tipo I é:

FWER=1−(1−α)^n

Onde n é o número de testes.

Nesse caso seria:

FWER=1−(1−0,05)^2 = 0,0975 ou 9,75%

Qual a importância de controlar o Family Wise Error Rate?

Controlar o FWER é vital para evitar conclusões enganosas. Em situações onde muitos testes são realizados simultaneamente, como em estudos com múltiplas variáveis, a chance de encontrar resultados significativos por mero acaso aumenta.

Se não controlarmos o FWER, podemos acabar tomando decisões baseadas em “descobertas” que são, na realidade, falsos positivos.

Imagine que um pesquisador em psicologia está investigando a eficácia de diferentes técnicas terapêuticas no tratamento da ansiedade.

Ele tem três grupos de participantes: um grupo usando terapia cognitivo-comportamental (TCC), um segundo usando terapia de aceitação e compromisso (ACT) e um terceiro grupo de controle.

Após uma ANOVA, descobre-se que existe uma diferença significativa nas reduções dos níveis de ansiedade entre os grupos.

Para determinar exatamente onde essas diferenças estão, o pesquisador realiza testes post-hoc entre os grupos (TCC vs. ACT, TCC vs. controle e ACT vs. controle).

Se cada teste post-hoc for realizado com um α de 0,05, a chance de identificar uma técnica terapêutica como significativamente melhor (quando na realidade não é) aumenta com o número de comparações.

Como controlar o Family Wise Error Rate?

Para corrigir o teste de comparação múltipla e evitar erros do Tipo I, diferentes métodos para corrigir o valor-p estão disponíveis:

Correção de Bonferroni:

Esta é uma das técnicas mais simples e conservadoras. A ideia é ajustar o nível de significância (α) dividindo-o pelo número de testes realizados.

Essa técnica é fácil de aplicar, mas pode ser demasiadamente conservadora, aumentando a chance de erros do Tipo II (falsos negativos).

No nosso exemplo com três grupos, o α ajustado seria 0,05/3 = 0,0167.

Correção de Tukey:

Uma das técnicas post-hoc mais populares após ANOVA, a correção de Tukey ajusta as probabilidades de comparações múltiplas, considerando as correlações entre os testes. É menos conservador que Bonferroni e é adequado para situações em que as comparações são interdependentes.

Correção de Bonferroni-Holm:

Esta é uma variação sequencial da correção de Bonferroni. Ao contrário da correção de Bonferroni tradicional, que ajusta o α da mesma forma para todos os testes, o método de Bonferroni-Holm ajusta o α de forma mais flexível.

Os p-valores são ordenados em ordem crescente e são multiplicados por um valor que depende da sua posição na sequência. Este método é menos conservador que a correção de Bonferroni tradicional, mas ainda controla o FWER.

Correção de Scheffé:

Ajusta os níveis de significância em uma regressão linear, para contabilizar comparações múltiplas. Este método é considerado bastante conservador

Correção de Sidak:

Ajuste o valor α usado para avaliar a significância de modo que: αnovo = 1 – (1-αantigo)1/n

Por exemplo, se conduzirmos 5 comparações diferentes usando um nível alfa de α = 0,05, usando a Correção Sidak, nosso novo nível alfa seria: αnovo = 1 – (1-αantigo)1/n = 1 – (1-.05)1/5 = .010206.

Atualmente, os softwares estatísticos dispões dessas correções, que por padrão muitas vezes são aplicadas de maneira automática (Bonferroni ou Tukey) ao realizar as comparações entre grupos, por exemplo, nos post hoc da ANOVA.

Conclusão

A realização de múltiplos testes estatísticos simultaneamente traz o risco de inflar a taxa de erros de Tipo I. Por isso, é crucial entender e controlar o FWER para garantir que nossas conclusões sejam válidas e confiáveis.

Se tiverem interesse em se aprofundar no tema, você pode ler o artigo The Role of Family-wise Error Rate in Determining Statistical Significance.

Esperamos que este post tenha ajudado você a entender melhor esses conceitos e como aplicá-los na prática.

Aproveite e inscreva-se no canal e aprimore suas habilidades em análise de dados!

Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).

BRUNO FIGUEIREDO DAMÁSIO

Sou Psicólogo, mestre e doutor em Psicologia. Venho me dedicando à Psicometria desde 2007.

Fui professor e chefe do Departamento de Psicometria da UFRJ durante os anos de 2013 a 2020. Fui editor-chefe da revista Trends in Psychology, da Sociedade Brasileira de Psicologia (SBP) eEditor-Associado da Spanish Journal of Psychology, na sub-seção Psicometri e Métodos Quantitativos.

Tenho mais de 50 artigos publicados e mais de 3000 citações, nas melhores revistas nacionais e internacionais. Atualmente, me dedico a formação de novos pesquisadores, através da Psicometria Online Academy. Minha missão é ampliar a formação em Psicometria no Brasil e lhe auxiliar a conquistar os seus objetivos profissionais.

Deseja se tornar completamente autônomo e independente na análise dos seus dados?

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Veja mais

Posts relacionados

Um Guia Completo sobre a PEDro: Physiotherapy Evidence Database

Um Guia Completo sobre a PEDro: Physiotherapy Evidence Database

Se você é um profissional ou um estudante da área da saúde e está interessado nas práticas baseadas em evidências, este post é para você. Vamos descobrir como a base

Diferença entre as regressões logísticas: binária, ordinal e multinomial

Diferença entre as regressões logísticas: binária, ordinal e multinomial

A análise de regressão é uma técnica amplamente utilizada para verificar a existência de uma relação entre uma variável dependente e uma ou mais variáveis independentes. Existem diferentes tipos de

Construção de itens para instrumentos de autorrelato

Construção de itens para instrumentos de autorrelato

A elaboração de itens para instrumentos de autorrelato desempenha um papel crucial na pesquisa psicométrica, pois é por meio deles que os participantes expressam suas próprias experiências e percepções. Neste

Dados Normativos: Entendendo o Escore Z

Dados Normativos: Entendendo o Escore Z

Interpretar os resultados derivados do uso de um teste é tão crucial quanto criar ou adaptar os instrumentos e aplicá-los corretamente. Para a interpretação dos resultados, é essencial a criação

Compreendendo a Confiabilidade Duas-Metades (Split-Half Reliabity)

Compreendendo a Confiabilidade Duas-Metades (Split-Half Reliabity)

No campo da Psicometria, pesquisadores e profissionais frequentemente buscam garantir a precisão e consistência de seus instrumentos de medição. Um dos métodos usados para avaliar a confiabilidade de um teste

Um Guia Completo sobre a PEDro: Physiotherapy Evidence Database

Um Guia Completo sobre a PEDro: Physiotherapy Evidence Database

Se você é um profissional ou um estudante da área da saúde e está interessado nas práticas baseadas em evidências, este post é para você. Vamos descobrir como a base

Diferença entre as regressões logísticas: binária, ordinal e multinomial

Diferença entre as regressões logísticas: binária, ordinal e multinomial

A análise de regressão é uma técnica amplamente utilizada para verificar a existência de uma relação entre uma variável dependente e uma ou mais variáveis independentes. Existem diferentes tipos de

Construção de itens para instrumentos de autorrelato

Construção de itens para instrumentos de autorrelato

A elaboração de itens para instrumentos de autorrelato desempenha um papel crucial na pesquisa psicométrica, pois é por meio deles que os participantes expressam suas próprias experiências e percepções. Neste

Dados Normativos: Entendendo o Escore Z

Dados Normativos: Entendendo o Escore Z

Interpretar os resultados derivados do uso de um teste é tão crucial quanto criar ou adaptar os instrumentos e aplicá-los corretamente. Para a interpretação dos resultados, é essencial a criação

Compreendendo a Confiabilidade Duas-Metades (Split-Half Reliabity)

Compreendendo a Confiabilidade Duas-Metades (Split-Half Reliabity)

No campo da Psicometria, pesquisadores e profissionais frequentemente buscam garantir a precisão e consistência de seus instrumentos de medição. Um dos métodos usados para avaliar a confiabilidade de um teste

Cadastre-se para ser notificado com o link das aulas ao vivo:

Módulo 4: Redes neurais artificiais

• Introdução a Deep Learning

• Avaliando sistemas de Deep Learning

• Redes Neurais feitas (sem programação) no SPSS

• Aula bônus: O futuro da IA na Sociedade

• Aula bônus: Dois Estudos de Caso 

Módulo 3: Interpretar e reportar resultados

• Gerar, interpretar e reportar resultados em Machine Learning

Módulo 2: Criando o seu sistema

• Selecionando algoritmos e métodos 
• Práticas de Machine Learning (Sem programação): Decision Tree (JASP), Linear Discriminant Classification (JASP) e Plataforma ORANGE
• Aula Bônus: Avaliação Psicológica e Machine Learning
• Aula Bônus: Livros e Cursos recomendados  
• Aula Bônus: Entrevista com Cientista de Dados focado na área da Saúde

Módulo 1: O que é Machine Learning

• O que é Machine Learning?
• Como a máquina aprende?
• Machine Learning para Psicometria e Pesquisa Quantitativa (pesquisas comentadas)
• Tipos de Machine Learning (Supervisionado e Não-supervisionado)
• Práticas de Machine Learning (Sem programação): JASP e SPSS
Aula Bônus: Filosofia da Inteligência Artificial
• Aula Bônus: Entrevista com Cientista de Dados graduado em Psicologia
• Aula bônus: Estudo de Caso sobre Redução Dimensional 

Preencha abaixo para
participar gratuitamente

Fique tranquilo, não utilizaremos suas informações de contato para enviar qualquer tipo de SPAM. Os dados coletados são tratados nos termos da Lei Geral de Proteção de Dados e você pode se descadastrar da nossa lista de contatos a qualquer momento.