Receba gratuitamente todos os nossos conteúdos.

Fique por dentro das novidades e oportunidades referentes à Psicometria e Análise Quantitativa de Dados.

Validade Baseada no Processo de Resposta

A validade baseada no processo de resposta é uma das cinco fontes de validade dos testes (AERA, APA & NCME, 2014). Refere-se à evidência relativa ao ajuste entre o construto e a natureza detalhada do desempenho ou resposta dos examinados.

O que são os processos de resposta?

Os processos de resposta referem-se a abordagens e comportamentos dos examinados quando se submetem a situações de avaliação. Em geral, as pesquisas em Psicologia trabalham com escalas de autorrelato do Likert, onde as pessoas são solicitadas a concordar ou não com diferentes frases. Entretanto, vários outros tipos de respostas existem, para pesquisas feitas com diferentes métodos, como por exemplo, testes de desempenho, verbalizações, movimentos oculares (eye-tracking), tempo de resposta em estudos experimentais, etc. Esses dados do processo de resposta podem fornecer informações sobre até que ponto itens e tarefas envolvem os examinandos nas formas pretendidas.

Como obter evidencias de validade baseadas no processo de resposta?

Como dito anteriormente, a validade baseada no processo de resposta é uma das formas de validade proposta pelos Standards da AERA, APA, e NCME. Porém, este guideline fornece poucas indicações sobre como se obtém esse tipo de validade. De todo modo, os métodos usados pelos pesquisadores podem ser agrupados em duas categorias: 1) aqueles que acessam diretamente os processos psicológicos ou operações cognitivas, 2) aqueles que fornecem indicadores indiretos que requerem inferência adicional.

Aqueles que acessam diretamente os processos psicológicos ou operações cognitivas

Entrevistas

A entrevista é o método preferido dos pesquisadores em estudos de validade baseada no processo de resposta. A preferência é compreensível, pois este método responde diretamente às diretrizes da AERA et al. (2014) perguntando aos respondentes dos itens sobre seus processos psicológicos e operações cognitivas. É também um método fácil de aplicar e requer relativamente poucos recursos.

Pedir aos respondentes “pensar em voz alta” e o uso de vinhetas, são duas estratégias comumente usadas ​ como componentes-chave do método de entrevista.

Ao usar vinhetas, os pesquisadores apresentam histórias curtas aos participantes, que devem fazer um julgamento sobre a situação ilustrada. Os participantes também devem indicar como e por que reagiriam na situação descrita. As vinhetas são especialmente úteis para avaliar se, ao responder os itens, os participantes respondem ao item completo ou se concentram apenas em elementos específicos.

Grupos focais

O grupo focal é considerado um método útil para explorar tópicos desconhecidos através de discussão em grupo sobre os itens do teste. Os participantes do grupo podem discutir sentimentos, pensamentos e opiniões, devido ao efeito facilitador da interação que pode revelar seus processos psicológicos ao responder aos itens.

Entrevista cognitiva

A entrevista cognitiva é uma ampla classe de métodos que visam extrair informações verbais dos entrevistados enquanto eles respondem a itens de autorrelato ou pesquisa, com o objetivo de alcançar uma melhor compreensão dos processos mentais empregados pelos entrevistados ao responder aos itens. Na categoria mais ampla de entrevista cognitiva, dois paradigmas principais surgiram e se diferenciaram: protocolos de pensar em voz alta (think aloud protocols – TAP) e sondagem verbal (verbal probing – VP), embora uma mistura de ambos os métodos, tenha sido usada em pesquisas.

Os protocolos TAP representam uma classe de métodos que pede aos participantes que pensem em voz alta enquanto respondem a itens de um questionário ou quando estão envolvidos em uma tarefa. Os entrevistados são solicitados a verbalizar tudo o que estão olhando, pensando, fazendo e sentindo enquanto completam ou registram suas respostas (ou seja, verbalização simultânea). Este método permite estudar os processos dos respondentes, em vez de apenas suas respostas finais em uma medida de autorrelato.

A VP consiste em fazer perguntas ou sondagens sobre os processos cognitivos, motivacionais e emocionais dos entrevistados à medida que eles completam as medidas de autorrelato.

2) Aqueles que fornecem indicadores indiretos

Rastreamento ocular (eye-tracking)

O rastreamento ocular ou movimento ocular tem sido usado como pistas indiretas para a atenção e o processo cognitivo. Os métodos de rastreamento ocular são implementados durante a tarefa de responder o item do teste, visando acessar aos processos psicológicos ou operações cognitivas envolvidos. Por exemplo, Ivie e Embretson (2010) aplicaram o método de rastreamento ocular para obter evidências sobre processos cognitivos envolvidos na montagem de itens de objetos. Em geral, essa técnica pouco se aplica a instrumentos de autorrelato, mas podem ser muito utilizadas em baterias mais complexas, como por exemplo, testes de atenção concentrada em pilotos ou controladores de vôo.

Tempos de resposta

Finalmente, os estudos de validação que medem os tempos de resposta estão habitualmente focados em conectar o tempo de resposta com a complexidade dos processos envolvidos no desenvolvimento da tarefa.

Buscam obter evidências dos processos de resposta ou algum aspecto deles (por exemplo, adivinhação, compromisso de responder aos itens), registrando os tempos de resposta enquanto os participantes do teste estão respondendo aos itens.

Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).

Referencias:

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association

Ivie, J.L., & Embretson, S.E. (2010). Cognitive process modeling of spatial ability: The assembling objects task. Intelligence, 38, 324-335

Padilla, J. L., & Benítez, I. (2014). Validity evidence based on response processes. Psicothema26(1), 136-144.

BRUNO FIGUEIREDO DAMÁSIO

Sou Psicólogo, mestre e doutor em Psicologia. Venho me dedicando à Psicometria desde 2007.

Fui professor e chefe do Departamento de Psicometria da UFRJ durante os anos de 2013 a 2020. Fui editor-chefe da revista Trends in Psychology, da Sociedade Brasileira de Psicologia (SBP) eEditor-Associado da Spanish Journal of Psychology, na sub-seção Psicometri e Métodos Quantitativos.

Tenho mais de 50 artigos publicados e mais de 3000 citações, nas melhores revistas nacionais e internacionais. Atualmente, me dedico a formação de novos pesquisadores, através da Psicometria Online Academy. Minha missão é ampliar a formação em Psicometria no Brasil e lhe auxiliar a conquistar os seus objetivos profissionais.

Deseja se tornar completamente autônomo e independente na análise dos seus dados?

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Veja mais

Posts relacionados

Análise de mediação e moderação: definições e diferenças

Análise de mediação e moderação: definições e diferenças

Nesse post, discutimos as caracteríticas e diferenças entre modelos de mediação e moderação.

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Nesse post, discutimos quando utilizar uma análise fatorial exploratória e uma análise fatorial confirmatória.

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Nesse post, discutimos as diferenças entre análise fatorial e análise de componentes principais, e quando usar cada uma dessas técnicas.

O que é Psicometria?

O que é Psicometria?

A Psicometria pode ser definida como a ciência da mensuração de características, atributos e habilidades psicológicas (Buchanan & Finch, 2005), sendo uma importante área de estudos na Psicologia e, também, na educação.

O que é regressão linear simples?

O que é regressão linear simples?

Entenda o que é regressão linear simples.

Análise de mediação e moderação: definições e diferenças

Análise de mediação e moderação: definições e diferenças

Nesse post, discutimos as caracteríticas e diferenças entre modelos de mediação e moderação.

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Análise Fatorial Exploratória ou Análise Fatorial Confirmatória: Qual escolher?

Nesse post, discutimos quando utilizar uma análise fatorial exploratória e uma análise fatorial confirmatória.

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Análise Fatorial e Análise de Componentes Principais: Diferenças e Quando usar

Nesse post, discutimos as diferenças entre análise fatorial e análise de componentes principais, e quando usar cada uma dessas técnicas.

O que é Psicometria?

O que é Psicometria?

A Psicometria pode ser definida como a ciência da mensuração de características, atributos e habilidades psicológicas (Buchanan & Finch, 2005), sendo uma importante área de estudos na Psicologia e, também, na educação.

O que é regressão linear simples?

O que é regressão linear simples?

Entenda o que é regressão linear simples.

Cadastre-se para ser notificado com o link das aulas ao vivo:

Módulo 4: Redes neurais artificiais

• Introdução a Deep Learning

• Avaliando sistemas de Deep Learning

• Redes Neurais feitas (sem programação) no SPSS

• Aula bônus: O futuro da IA na Sociedade

• Aula bônus: Dois Estudos de Caso 

Módulo 3: Interpretar e reportar resultados

• Gerar, interpretar e reportar resultados em Machine Learning

Módulo 2: Criando o seu sistema

• Selecionando algoritmos e métodos 
• Práticas de Machine Learning (Sem programação): Decision Tree (JASP), Linear Discriminant Classification (JASP) e Plataforma ORANGE
• Aula Bônus: Avaliação Psicológica e Machine Learning
• Aula Bônus: Livros e Cursos recomendados  
• Aula Bônus: Entrevista com Cientista de Dados focado na área da Saúde

Módulo 1: O que é Machine Learning

• O que é Machine Learning?
• Como a máquina aprende?
• Machine Learning para Psicometria e Pesquisa Quantitativa (pesquisas comentadas)
• Tipos de Machine Learning (Supervisionado e Não-supervisionado)
• Práticas de Machine Learning (Sem programação): JASP e SPSS
Aula Bônus: Filosofia da Inteligência Artificial
• Aula Bônus: Entrevista com Cientista de Dados graduado em Psicologia
• Aula bônus: Estudo de Caso sobre Redução Dimensional 

Preencha abaixo para
participar gratuitamente

Fique tranquilo, não utilizaremos suas informações de contato para enviar qualquer tipo de SPAM. Os dados coletados são tratados nos termos da Lei Geral de Proteção de Dados e você pode se descadastrar da nossa lista de contatos a qualquer momento.