Cápsula Inaugural – Resesearch on Research Lab

A pesquisa online e o face-to-face: os métodos de coleta com menor erro de medição em um estudo experimental

Quando o tema é a confiabilidade da informação obtida ao realizarem-se estudos de pesquisas de mercado e opinião, é frequente concentrar o debate em questões de representatividade amostral: até que ponto uma amostra de pessoas, selecionadas por telefone, na rua ou através de um painel online, se aproxima de uma amostra realmente aleatória da população que queremos estudar? No entanto, também existem outras fontes de erros que podem causar um impacto muito maior na qualidade da informação e que, muitas vezes, não recebem tanta atenção como os problemas de representatividade.

Entre essas outras fontes de erro destaca-se o que podemos denominar de erro de medição. Cada uma das diferentes metodologias de coleta de dados – CATI, CAPI, CAWI – conta com propriedades distintas e obtém os dados do entrevistado através de diferentes formas de ‘estímulos’. Estes estímulos que o entrevistado recebe na pesquisa podem condicionar sua resposta, fazendo com que a qualidade da mesma aumente ou diminua. Ou seja, que o nível de erro de medição observado varie.

Para entender a origem deste erro de medição, devemos considerar a maneira com que o entrevistado interage com a própria pesquisa (se pode completa-la sozinho ou se existe um entrevistador intermediário) assim como os diferentes estímulos a que o entrevistado será submetido. Estímulos visuais (pesquisas online), orais (pesquisas telefônicas) ou a combinação de ambas (cara a cara com cartões visuais) influenciarão na qualidade das respostas que obteremos da nossa amostra.

Estas duas propriedades (administração da pesquisa e tipos de estímulos), embora possam parecer irrelevantes, podem provocar um grande impacto nos resultados obtidos em três diferentes níveis (1) O nível de impessoalidade ou anonimato percebido em cada uma das metodologias pode causar diferentes níveis de viés de conveniência social. Ou seja, uma pergunta socialmente comprometedora possivelmente obterá respostas de menor qualidade quando o entrevistador estiver presente. (2) Também se pressupõe que o esforço que o entrevistado terá que fazer para responder a pesquisa causa um impacto significativo: dependendo do grau de alfabetização que a pesquisa exija, ou a possibilidade de receber ajuda ou explicações, avançando a pesquisa de forma fácil e agradável. (3) Por último, o nível de controle que o próprio entrevistado tem sobre o questionário (ritmo de entrevista, possibilidade de escolher o momento para responder a pesquisa ou para retomá-la depois) pode influenciar na qualidade. Portanto, é normal que as diferentes metodologias de coleta de dados resultem em diferentes níveis de erros de medição.

Melanie Revilla, pesquisadora da RECSM (UPF) especializada em estatística e metodologia de pesquisa, e membro da equipe Research on Research Lab, estudou o impacto resultante da seleção de uma metodologia de coleta de dados concreta sobre a qualidade das respostas obtidas, definindo qualidade como o produto entre confiabilidade e validez*.

Revilla usou para esta análise dados obtidos através de diferentes fontes, entre elas o Painel LISS (um painel probabilístico da Holanda) e o European Social Survey (ESS)**. Os dados estudados sobre temas diversos - como meios de comunicação, credibilidade social e política, satisfação, orientação politica, atitude em relação à imigração - foram usados para comparar questões com formatos idênticos, mas que foram elaboradas através de diferentes metodologias.

As análises realizadas mostram resultados interessantes: a qualidade da informação obtida é similar em pesquisas face-to-face, utilizando cartões, e em pesquisas online. Esta realidade se observa tanto na análise de perguntas individuais (qualidade de 0,70 em média, sobre o total de perguntas estudadas) como na análise de composite scores (pontuações compostas), definidas como a combinação de várias perguntas para criar uma variável mais completa (qualidade média em torno de 0,80 – 0,85). Esta descoberta indica a viabilidade de comparar relações padronizadas (p.e. correlações) entre ambas metodologias. Por outro lado, as entrevistas telefônicas apresentam um nível de qualidade significantemente inferior (por volta de 10% menor, em média). Ou seja, as pesquisas telefônicas tem um nível de erro de medição ligeiramente superior.

No entanto, a extrapolação desses resultados para outros países, ou outros temas e pesquisas que não compartilham as principais características da European Social Survey e do painel LISS (por exemplo, pesquisas face-to-face sem cartões ou pesquisa online não baseadas em amostras probabilísticas), exigiriam maior investigação. Estes primeiros dados revelam resultados muito animadores que nos ajudam a entender as implicações da escolha da metodologia de coleta de dados. Além disso, estes resultados iniciais parecem apoiar a combinação de pesquisas online e pesquisas face-to-face e ao mesmo tempo questionam a conveniência de combinar qualquer uma destas metodologias com uma pesquisa telefônica.

Vários dos projetos de pesquisas previstos dentro da área de atuação da Research on Research Lab (grupo de colaboração entre a Universidade Pompeu Fabra e a Netquest, destinado a melhorar o conhecimento metodológico de pesquisas online), estarão concentradas em temas relacionados a erros de medição, com o intuito de esclarecer questões relacionadas à utilização de diferentes formas de coleta de dados.

CONTATO

*Campos obrigatórios