Receba gratuitamente todos os nossos conteúdos.

Fique por dentro das novidades e oportunidades referentes à Psicometria e Análise Quantitativa de Dados.

Kappa de Fleiss

O Kappa de Fleiss é derivado do Kappa de Cohen. A principal diferença da estatística Kappa de Fleiss é que podemos avaliar o o grau de concordância entre três ou mais observadores/avaliadores, enquanto o Kappa de Cohen permite apenas dois observadores/avaliadores. Portanto, Agora estendemos o kappa de Cohen para o caso em que o número de avaliadores pode ser maior que dois.

Como calcular o Kappa Generalizado de Fleiss no SPSS?

Antes de começarmos, é importante saber que o Kappa de Fleiss só está disponível a partir da versão 26 do SPSS. Caso você tenha versões anteriores (a partir da 24), você precisará adicionar uma extensão, que pode ser baixada diretamente de um repositório do Github, basta clicar aqui, e ao acessar o repositório, clicar em download.

Para instalar a extensão, você deve abrir o SPSS, no menu Extensões -> Instalar Pacote de Extensão Local…

Ao clicar em Instalar Pacote de Extensão Local uma nova janela irá aparecer e você deve localizar o arquivo que baixou do Github e clicar em abrir.

Após clicar em Abrir, o SPSS instala automáticamente a extensão do Kappa de Fleiss. Agora que você tem Kappa de Fleiss instalado (seja pela versão do SPSS 26+ ou pela extensão adicionada), você pode executar a análise.

Como calcular o Kappa de Fleiss no SPSS

Antes de demonstrar como calcular o Kappa de Fleiss no SPSS, vale a pena contextualizar o exemplo.

Para esse exemplo vamos utilizar dados coletados de laudos de transtornos psiquiátricos de 30 participantes, avaliados por 3 psiquiatras diferentes. Cada um dos psiquiatras deu seu laudo para cada participante. E os laudos poderiam ser: 1: Depressão, 2: Transtorno de personalidade, 3: Esquizofrenia, 4: Neurose e 5: Outro. Os dados estão dispostos como na imagem abaixo.

Vamos então executar a análise. Portanto, clique em Analisar –> Escala –> Análise de Confiabilidade. Se você tiver adicionado a extensão manualmente, clique em Fleiss Kappa e adicione as variáveis referentes aos juízes.

Se tiver a versão do SPSS 26+, clique em Análise de Confiabilidade.

Posteriormente, passe as variáveis correspondentes as valiações de cada observador para a direita. Como na imagem abaixo, o Observador 1 já está na direita, na sequência é necessário inserir os outros Observadores 2 e 3.

Com todos os observadores no campo da direita, basta clicar em OK.

Na saída do SPSS podemos identificar o valor da concordância global (Kappa), a significância estatística atribuída ao Kappa e o intervalo de confiança de 95%.

Vemos que o Kappa global foi de 0.534, sendo é significativo (p = 0.000) com intervalo de confiança entre 0.428 e 0.640.

Além dessa tabela, o SPSS exibi uma tabela com os valores de Kapaa, a significância estatística e os intervalos de confiança para cada uma das categorias, que em nosso exemplo foram: 1: Depressão, 2: Transtorno de personalidade, 3: Esquizofrenia, 4: Neurose e 5: Outro.

Como interpretar o Kappa de Fleiss?

A estatística pode variar de -1 a +1, onde o valor negativo indica que a concordância entre os avaliadores foi menor que a concordância esperada ao acaso. Com -1 estamos indicando que não houve concordância, 0 indica que a concordância não é melhor que o acaso, e valores maiores que 0 representam uma concordância crescente para os avaliadores, até um valor máximo de + 1, indicando uma concordância perfeita.

Fleiss (1981) oferece uma classificação Kappa que pode nos ajudar a interpretar os coeficientes obtidos:

  • Entre 0,40 e 0,60: concordância regular
  • Entre 0,61 e 0,75: concordância boa
  • Acima de 0,75: concordância excelente

Por sua vez, Altman (1991) propõe uma classificação um tanto mais ampla:

  • De 0 a 0,20: concordância muito fraca
  • De 0,21 a 0,40: concordância fraca
  • De 0,41 a 0,60: concordância moderada
  • De 0.61 a 0,80: concordância boa
  • De 0.81 a 1,00: concordância muito boa

Voltando ao nosso exemplo, de acordo com Fleiss (1981), o Kappa global foi de 0.534, o qual pode ser considerada uma concordância regular. Por outro lado, se considerarmos o proposto por Altman (1991), encontramos uma concordância moderada entre os observadores (psiquiatras).

Pronto! Muito simples, não é?

Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).

Referências:

FLEISS, J.L. (1981). Statistical methods for rates and proportions. New York: John Wiley and Sons

ALTMAN, D.G. (1991). Practical statistics for medical research. New York: Chapman and Hall.

BRUNO FIGUEIREDO DAMÁSIO

Sou Psicólogo, mestre e doutor em Psicologia. Venho me dedicando à Psicometria desde 2007.

Fui professor e chefe do Departamento de Psicometria da UFRJ durante os anos de 2013 a 2020. Fui editor-chefe da revista Trends in Psychology, da Sociedade Brasileira de Psicologia (SBP) eEditor-Associado da Spanish Journal of Psychology, na sub-seção Psicometri e Métodos Quantitativos.

Tenho mais de 50 artigos publicados e mais de 3000 citações, nas melhores revistas nacionais e internacionais. Atualmente, me dedico a formação de novos pesquisadores, através da Psicometria Online Academy. Minha missão é ampliar a formação em Psicometria no Brasil e lhe auxiliar a conquistar os seus objetivos profissionais.

Deseja se tornar completamente autônomo e independente na análise dos seus dados?

3 respostas

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Veja mais

Posts relacionados

Análise de mediação e moderação: definições e diferenças

Análise de mediação e moderação: definições e diferenças

Nesse post, discutimos as caracteríticas e diferenças entre modelos de mediação e moderação.

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Nesse post, discutimos quando utilizar uma análise fatorial exploratória e uma análise fatorial confirmatória.

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Nesse post, discutimos as diferenças entre análise fatorial e análise de componentes principais, e quando usar cada uma dessas técnicas.

O que é Psicometria?

O que é Psicometria?

A Psicometria pode ser definida como a ciência da mensuração de características, atributos e habilidades psicológicas (Buchanan & Finch, 2005), sendo uma importante área de estudos na Psicologia e, também, na educação.

O que é regressão linear simples?

O que é regressão linear simples?

Entenda o que é regressão linear simples.

Análise de mediação e moderação: definições e diferenças

Análise de mediação e moderação: definições e diferenças

Nesse post, discutimos as caracteríticas e diferenças entre modelos de mediação e moderação.

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Nesse post, discutimos quando utilizar uma análise fatorial exploratória e uma análise fatorial confirmatória.

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Nesse post, discutimos as diferenças entre análise fatorial e análise de componentes principais, e quando usar cada uma dessas técnicas.

O que é Psicometria?

O que é Psicometria?

A Psicometria pode ser definida como a ciência da mensuração de características, atributos e habilidades psicológicas (Buchanan & Finch, 2005), sendo uma importante área de estudos na Psicologia e, também, na educação.

O que é regressão linear simples?

O que é regressão linear simples?

Entenda o que é regressão linear simples.

Cadastre-se para ser notificado com o link das aulas ao vivo:

Módulo 4: Redes neurais artificiais

• Introdução a Deep Learning

• Avaliando sistemas de Deep Learning

• Redes Neurais feitas (sem programação) no SPSS

• Aula bônus: O futuro da IA na Sociedade

• Aula bônus: Dois Estudos de Caso 

Módulo 3: Interpretar e reportar resultados

• Gerar, interpretar e reportar resultados em Machine Learning

Módulo 2: Criando o seu sistema

• Selecionando algoritmos e métodos 
• Práticas de Machine Learning (Sem programação): Decision Tree (JASP), Linear Discriminant Classification (JASP) e Plataforma ORANGE
• Aula Bônus: Avaliação Psicológica e Machine Learning
• Aula Bônus: Livros e Cursos recomendados  
• Aula Bônus: Entrevista com Cientista de Dados focado na área da Saúde

Módulo 1: O que é Machine Learning

• O que é Machine Learning?
• Como a máquina aprende?
• Machine Learning para Psicometria e Pesquisa Quantitativa (pesquisas comentadas)
• Tipos de Machine Learning (Supervisionado e Não-supervisionado)
• Práticas de Machine Learning (Sem programação): JASP e SPSS
Aula Bônus: Filosofia da Inteligência Artificial
• Aula Bônus: Entrevista com Cientista de Dados graduado em Psicologia
• Aula bônus: Estudo de Caso sobre Redução Dimensional 

Preencha abaixo para
participar gratuitamente

Fique tranquilo, não utilizaremos suas informações de contato para enviar qualquer tipo de SPAM. Os dados coletados são tratados nos termos da Lei Geral de Proteção de Dados e você pode se descadastrar da nossa lista de contatos a qualquer momento.