6ª Cápsula Informativa – Research on Research Lab

Listas de múltipla escolha 'Check-all that apply' versus 'forced-choice'

É uma necessidade em qualquer tipo de questionário solicitar ao entrevistado que selecione várias opções entre um conjunto de alternativas disponíveis. Um formato clássico para este tipo de pergunta é o 'check-all-taht-apply': utiliza-se quando temos uma lista – geralmente grande – de itens os quais se quer saber se aplicam-se ao respondente. Por exemplo, de uma lista de n marcas, poderíamos querer saber quais são as que recomendaria. De forma similar, de uma lista de n atividades, poderíamos perguntar quais são as que realiza ao menos uma vez na semana, ou as que tem feito pelo menos uma vez na vida, etc.

As perguntas do tipo 'check-all-that-apply' costumam ser assim:

Q1- Por favor, marque todas as marcas da lista abaixa que há comprado nos últimos 12 meses:

Marca 1
Marca 2
Marca n

Em questionários online, o elemento que permite selecionar cada item (o que chamamos de 'input type') costuma ser 'checkbox': uma caixa quadrada que pode ser marcada/ desmarcada fazendo um clique sobre ela. O uso deste elemento para selecionar várias opções de uma lista é um padrão de linguagem de comunicação web.

Uma forma alternativa de perguntar o mesmo é listas cada item e pedir ao entrevistado que responda 'sim' ou 'não' para cada item. Este formato é conhecido como 'forced-choice format', já que o entrevistado deve indicar obrigatoriamente para cada alternativa se esta se aplica ou não. Pode-se apresentar assim:

Q1alternativa- Por favor, para cada marca da lista abaixo, indique se comprou ou não produtos destas marcas nos últimos:

Sim Não
Marca 1
Marca 2
Marca n

Para apresentar uma pregunta com este formato em um questionário, costuma-se usar pares de 'radio-buttons', um para a opção 'sim' e outro para a 'não'. Os 'radio-buttons' tem forma circular e só permitem a seleção de um elemento do grupo – portanto, ao marcar em cima de um 'radio-button', o resto fica automaticamente desmarcado (neste caso, marcando 'sim', desmarcamos o 'não', e vice-versa).

Em pesquisas administradas pessoalmente ou através de telefone, costuma-se utilizar mais a segunda opção ('forced choice') devido a ser muito difícil para um entrevistado escutar uma lista extensa de itens e lembrar-se de todas as opções que aplicam, para poder dizer no final. É muito mais fácil responder 'sim' ou 'não' à medida que escuta cada item, antes de passar a avaliar o item seguinte.

De qualquer forma, em pesquisas em papel ou online, como o respondente pode ver todos os itens escritos no papel ou na tela de uma só vez, o problema de memória não se aplica. É por isso que muitas pesquisas usam o formato 'check-all-that-apply'.

Frequentemente, ambos os formatos são usados como se fossem equivalentes e portando intercambiáveis. Muitas pesquisas, ao passar do formato papel para telefone/ face-to-face, ou de telefone/ face-to-face para online, simplesmente transformam as perguntas de um formato a outro, sem se preocupar com as consequências que tais mudanças podem causar nos resultados.

Porém, existem diferenças nos dados produzidos por ambos os formatos: empregando o formato 'check-all-that-apply', se os respondentes não fazem esforço necessário para responder perfeitamente a pergunta (lendo e avaliando convenientemente cada alternativa), facilmente incitaremos a escolher menos itens dos que realmente se aplicam (o que se conhece como 'weak satisficing'). Assim, um respondente que seleciona 3 opções de uma lista de 10, pode ter a impressão de que já cumpriu seu dever e que não precisa seguir fazendo esforços em ler e avaliar as demais opções.

Em sentido contrário, foi demonstrado que as pessoas tem tendência a dizer que sim ('acquiescence' ou 'yes-saying') , pelo que ao pedir a um entrevistado que para cada item diga 'sim' ou 'não' com o formato 'forced-choice', podemos provocar que os entrevistados escolham mais vezes 'sim' do que o que corresponde à realidade.

Para comprovar se realmente estes fenômenos acontecem na prática, Smyth et al (2006) tem comparado 16 experimentos em 2 pesquisas online e uma pesquisa em papel (2002-2003) nos Estados Unidos. Ao analisar os resultados, descobriu que os 2 formatos não agem de maneira equivalente: os respondentes escolhem mais itens quando utiliza-se 'sim/não' do que quando se usa o formato 'check-all-that-apply'. As análises de Smyth et al (2006) mostram que o problema provém do 'satificing' experimentado no 'check-all-that-apply' e não da tendência em dizer sim para tudo no formato 'sim/não'. Portanto, conclui-se que que o formato 'forced-choice' é preferível, ou seja, obtém-se resultados mais próximos à realidade.

Dado que tanto a tendência em dizer 'sim' como o 'weak satisficing' podem variar entre países, na Netquest – dentro do âmbito do projeto de pesquisa R2online.org – temos feito experimentos em diferentes países da região ibero-americana: Espanha, México e Colômbia. Na tabela 1, pode-se observar uma lista de 7 itens perguntando sobre atividades políticas (por exemplo se o respondente assinou alguma vez uma petição ao governo, se contatou um político...), e quantas em média os respondentes disseram sim, com o formato 'sim/não' e com o formato 'check-all-that-apply', em cada um dos 3 países.

Tabela 1: Média do número de itens selecionados dentre os 7 da matriz
México Colômbia Espanha
Sim/Não CATA Sim/Não CATA Sim/Não CATA
Medida de número de itens aos quais responderam "sim" 1.88 1.53 2.06 1.70 2.10 1.60

Nota: CATA = check-all-that-appy

Os resultados são similares aos de de Smyth et al (2006): existem mais ações políticas reportadas quando se utiliza o formato 'sim/não' que quando se utiliza o 'check-all-that-apply'.

Fica claro que o formato 'check-all-that-apply' tem mais menções, mas qual informação é mais real? Para saber qual dos 2 formatos é preferível, realizamos um teste de validez externa, considerando as correlações entre o número total de itens que um respondente afirma ter realizado e uma variável com a qual teoricamente deveríamos encontrar uma correlação alta: neste caso, usamos uma pergunta de questionário sobre o interesse do respondente na política (B1- O quanto diria que se interessa por política? Muito, bastante, pouco, nada). Supostamente, ao maior interesse pela política, deveria observar-se maior número de atividades realizadas com relação à política. Portanto, o formato onde esta correlação seja mais alta é o que consideramos preferível.

Tabela 2: Correlação entre número total de itens selecionados e interesse na política
México Colômbia Espanha
Sim/Não CATA Sim/Não CATA Sim/Não CATA
Correlación -.4175 -.3456 -.3739 -.3727 -.3663 -.3067

As correlações são similares na Colômbia, mas no México e Espanha são mais altas para o formato 'sim/não', sugerindo que este formato é preferível ao formato 'check-all-that-applye'. Portanto, os experimentos realizados em países da região ibero-americana coincidem com os encontrados por Smyth et al (2006) nos Estados Unidos.

Concluindo, em diferentes países, parece que os respondentes não fazem o esforço máximo para responder corretamente quando o formato 'check-all-that-apply' é utilizado, escolhendo menos itens dos que realmente se aplicam. Muito claramente, os 2 formatos não são equivalentes e não podem ser utilizados de maneira intercambiável.

Referências bibliográficas:
  1. -Jolene D. Smyth, Don A. Dillman, Leah Melani Christian, and Michael J. Stern (2006). Comparing Check-All and Forced-Choice Question Formats in Web Surveys. Public Opinion Quarterly (Spring 2006) 70(1): 66-77 doi:10.1093/poq/nfj007

CONTATO

*Campos obrigatórios