14ª Cápsula Informativa – Research on Research Lab

Matrizes VS Perguntas separadas

Quando pesquisamos através de questionários online, é habitual incluir uma única pergunta em cada página do questionário, exceto quando uma série de perguntas utiliza a mesma escala. Nestes casos, agrupamos as perguntas em uma matriz, em que a pergunta se apresenta na parte superior da tela, mostrando a continuação uma matriz, nas que as opções de respostas aparecem em colunas, e os diferentes itens que os respondentes devem valorizar aparecem cada uma em uma fila, como no exemplo seguinte.

Esta maneira de apresentar perguntas com a mesma escala é útil porque evita repetir múltiplas vezes a mesma escala, compactando a apresentação das perguntas e reduzindo o tempo necessário para responder a pesquisa. Vários estudos encontram tempos de conclusão significantemente mais curtos quando se empregam matrizes (por exemplo, Couper, Traugott, & Lamias, 2001; Tourangeau et al., 2004), em comparação em mostrar cada pergunta uma a uma,ou seja, todas em uma mesma ou cada uma em uma página separada.

Por outro lado, há evidencia de que utilizar matrizes pode aumentar a Inter correlação entre itens que tratam de um mesmo tema (Tourangeau et al., 2004). Contudo, outros estudos não puderam encontrar esta relação (e.g. Bell, Mangione, & Kahn, 2001). Em qualquer caso, um incremento da Inter correlação entre itens não implica necessariamente uma maior confiabilidade das respostas obtidas, mas ao contrário: pode indicar mais efeitos de escala (erros sistemáticos devidos ao uso de uma mesma escala de forma repetida influência a mesma maneira na seleção das respostas dos respondentes) ou maior "non-differentiation", ou seja, falta de diferenciação da resposta que se produz pela eleição sempre da mesma categoria, independentemente da opinião real do respondente (Peytchev, 2005).

Mas o uso de matrizes não somente pode afetar as respostas que obtemos, também pode aumentar a taxa de abandonos (Jeavons, 1998) e o número de valores perdidos (Iglesias, Birk, & Torgenson, 2001, e Torpoel et al., 2009, encontram esse, mas Couper et al., 2001, encontram o contrario).

Vendo as diferenças referenciais a estudos realizados sobre o uso de matrizes, um primeiro dado surpreendente é a disparidade nos resultados que se obtém ao estudar um mesmo efeito. Esta diferença em resultados entre estudos pode estar relacionada com o feito de que nos diferentes estudos se estudam matrizes com diferentes características: diferente número de itens, de categorias de respostas, formas de apresentação, tema das perguntas... Estes fatores variam entre um estudo e outro, pelo que parece lógico que dependendo das características exatas das matrizes estudadas, se podem encontrar diferentes tipos de resultados.

Uma possível razão pela qual, alguns casos, as matrizes produzem efeitos negativos é que parecem mais difíceis de responder (Couper et al., 2013). Há mais informações agrupadas, e isso pode desmotivar os respondentes. Quanto mais itens mostrados e mais opiniões apresentamos, mais pode chegar aos respondentes e utilizar atalhos para responder (deixar valores perdidos, marcar a mesma opção em todos os itens ou "straight-lining"...).

Reduzindo o tamanho das matrizes (por exemplo, dividi-los em 2 ou 3 matrizes mais reduzidas) e utilizando as possibilidades de Internet para facilitar as tarefas que os respondentes devem realizar, pode-se limitar o efeito negativo de utilizar matrizes (Couper et al, 2013). Por exemplo, é possível utilizar "dynamic shading", de maneira que cada linha da matriz troca sua cor quando é selecionada uma resposta para esta linha. Também é aconselhável permitir que o respondente não necessite fazer clique exatamente sobre o seletor de resposta (ou um botão de opção, ou uma caixa de seleção, normalmente elementos de pequeno tamanho), simplesmente marcando na célula correspondente da matriz a opção correta já permanece marcado.

Mas é certo que algumas destas facilidades para o respondente requerem mais esforços de preparação da pesquisa, quando justamente um dos principais atrativos de uso de matrizes era simplificar esta preparação. Também resultava atrativo o fato de que os tempos de respostas sejam mais curtos que na apresentação separada de perguntas, mas a satisfação dos respondentes pode não melhorar (Toepoel et al., 2009) embora os tempos sejam um pouco mais curtos. Por último, também era um atrativo da matriz aumentar a Inter correlação entre itens, mas já mencionamos que esse aumento provavelmente se deve mais ao efeito da escala, o qual não é positivo

Vendo o balanço de virtudes e defeitos das matrizes, é compreensível que vários autores (Poynter, 2001; Wojtowicz, 2001; Dillman, Smyth and Christian, 2009), recomendem usar sempre perguntas separadas, uma recomendação da qual nós apoiamos. As vantagens da matriz são reduzidas a uma redução de tempo – e de custo – que se obtém a custa da perda de qualidade.

Referências bibliográficas:
  1. -Bell, D. S., Mangione, C. M., & Kahn, C. E. (2001). "Randomized testing of alternative survey formats using anonymous volunteers on the world wide web". Journal of the American Medical Informatics Association, 8, 616–620.
  2. -Couper, M.P., R. Tourangeau, F.G. Conrad and C. Zhang (2013). "The Design of Grids in Web Surveys". Social Science Computer Review 2013 31: 322 originally published online 7 January 2013. DOI: 10.1177/0894439312469865
  3. -Couper, M.P., Traugott, M., & Lamias, M. (2001). "Web survey design and administration". Public Opinion Quarterly, 65, 230–253.
  4. -Dillman, D. A., Smyth, J. D., & Christian, L. M. (2009). Internet, Mail, and Mixed-Mode Surveys: The Tailored Design Method. New York: Wiley.
  5. -Iglesias, C. P., Birks, Y. F., & Torgerson, D. J. (2001). "Improving the measurement of quality of life in older people: The york SF-12". Quarterly Journal of Medicine, 94, 695–698.
  6. -Jeavons, A. (1998). "Ethology and the web: Observing respondent behaviour in web surveys". Proceedings of the Worldwide Internet Conference, London, ESOMAR.
  7. -Peytchev, A. (2005). "How questionnaire layout induces measurement error". Paper presented at the annual meeting of the American Association for Public Opinion Research, Miami Beach, FL.
  8. -Poynter, R. (2001). "A Guide to Best Practice in Online Quantitative Research". In A. Westlake, W. Sykes, T. Manners, and M. Rigg (Eds.), The Challenge of the Internet; Proceedings of the ASC International Conference on Survey Research Methods (pp. 3–19). London: Association for Survey Computing.
  9. -Toepoel, V., Das, M., & van Soest, A. (2009). "Design of web questionnaires: The effects of the number of items per screen". Field Methods, 21, 200–213.
  10. -Tourangeau, R., Couper, M. P., & Conrad, F. G. (2004). "Spacing, position, and order: Interpretive heuristics for visual features of survey questions". Public Opinion Quarterly, 68, 368–393
  11. -Wojtowicz, T. (2001). "Designing Lengthy Internet Questionnaires: Suggestions and Solutions". In A. Westlake, W. Sykes, T. Manners, and M. Rigg (Eds.), The Challenge of the Internet; Proceedings of the ASC International Conference on Survey Research Methods (pp. 25–32). London: Association for Survey Computing

CONTATO

*Campos obrigatórios