15ª Cápsula Informativa – Research on Research Lab

Como usar perguntas filtro em pesquisas online

Muitas vezes precisamos fazer uma pesquisa em um grupo de indivíduos caracterizados por algum traço comum: que sejam consumidores de um determinado produto, que pegaram uma doença especifica, ou, por exemplo, que viajaram a um destino turístico nos últimos meses... Este tipo de pesquisas, nas que o universo objetivo de estudo é somente uma parte muito específicas da população total, que são cada dia mais frequente no âmbito empresarial devido à tendência de micro segmentação de mercado.

Em ocasiões, o traço característico que define o universo pode ser observado antes de administrar o questionário. Em uma pesquisa cara a cara dirigida a usuários de ônibus, o entrevistador que busca participantes pela rua poderia dirigir-se nos pontos de ônibus para abordas as pessoas que estejam esperando o transporte público.

Algo parecido ocorre quando fazemos pesquisa através da Internet: dispomos de informações a priori sobre as pessoas as quais me dirijo, posso prescindir de convidar a participar aquelas que já sabem de antemão que não cumprem com o traço característico desejado.

Esta prática é algo habitual quando fazemos pesquisas usando painéis online. Os painéis são bases de dados de pessoas que aceitaram de antemão participar em pesquisas e que facilitaram alguns dados pessoais para eles, tipicamente sexo e idade.

Alguns Painéis também registram informações adicionais como região, nível socioeconômico, composição do lar, e em alguns casos, inclui registros de alguns dados de consumo, como: marcas que compram, automóveis que conduzem, etc. Se a pesquisa que queremos realizar através de um Painel se dirige a indivíduos caracterizados por um traço já identificado a priori, podemos administrar a pesquisa sem preâmbulos.

A necessidade de usar filtros

Contudo, nem sempre a característica do universo objetivo da pesquisa se conhece de antemão. Em uma pesquisa face a face, em que buscamos consumidores de um produto, necessitamos perguntar a cada indivíduo, antes de iniciar a pesquisa, se consome o produto em questão.

Do mesmo modo, em pesquisas online enviada a uma base de dados ou a um painel online que não tenha registrada a informação que caracteriza meu universo, necessitarei perguntar pela informação previamente a realizar a pesquisa. Mesmo se a informação é gravada, é frequente a confirmação do traço característico antes de começar a pesquisa, tanto para verificar a informação que facilitou em seu dia segue sendo válida hoje, ou para assegurar que não cometeu um erro a entrega de dados.

As perguntas que são adicionadas a um questionário com a finalidade de verificar que o individuo faz parte do universo que queremos estudar se denominam filtros.

Onde colocar um filtro

Por definição, um filtro deveria ir sempre ao principio do questionário. Sua função é evitar que uma pessoa que não faz parte do universo estudado possa completar a pesquisa, algo que seria inapropriado tanto para o respondente – poderia enfrentar perguntas que não saberia responder – como para o pesquisador.

Outra razão óbvia para situar os filtros ao principio é o custo. Se a entrevista é pessoal ou telefônica, filtrar em um ponto avançado do questionário seria gastar o tempo do entrevistador. Se o questionário é online (por exemplo, através de um Painel), poderia acontecer duas coisas: (1) se não estamos incentivando os participantes filtrados, estaríamos gastando o tempo do respondente e reduzindo sua disposição a participar no futuro, enquanto se (2) o painel incentiva os filtrados, estaríamos incorrendo em um sobre custo desnecessário.

Um filtro especial: ou controle de quotas

Existe outra razão pelas quais podemos evitar que um indivíduo, apesar de pertencer ao universo que estou estudando, entre em nossa amostra: o controle de quotas (ver 9ª Capsula). Este caso acontece quando queremos uma amostra que mantenha algumas proporções representativas do universo estudado em relação às variáveis concretas (por exemplo, metade homens e metade mulheres). Neste caso, pode ser necessário descartar um indivíduo porque já temos a quota completa com outros indivíduos com suas características.

A localização deste "control" deve realizar-se na continuação das perguntas implicadas nas quotas, que geralmente são sócio demográfico: sexo, idade, região, classe social, etc. Novamente, é conveniente situar estas perguntas no inicio do questionário, junto ao resto dos filtros, para reduzir custos e desagrados dos participantes.

Esta conveniência pode entrar em conflito com a preferência dos investigados respeito de onde situar as perguntas sócio demográficas dentro do questionário. Alguns pesquisadores (Hernández, Fernández e Baptista, 2003) sugerem que estes tipos de perguntas (sexo, idade, população...) são as mais intrusivas com o participante, portanto coloca-las no início da pesquisa pode causar desconfiança, e consequentemente o abandono do questionário. Outros, pelo contrário, consideram que este tipo de perguntas, por serem fáceis de responder em comparação as perguntas sobre preferências ("Avalie de 1 a 10 que medida você gosta..."), é um bom início para "treinar" o participante na tarefa de completar um questionário.

Em qualquer caso, colocar este tipo de perguntas ao final quando formam parte de um controle de quotas nos obrigaria a assumir o custo de todos os indivíduos descartados como se fosse participantes válidos, algo inacessível para a maioria dos projetos.

Efeitos do questionário que podem afetar um filtro online

A validação da informação que obtemos em um filtro é crítica: se um respondente nos proporciona informação falsa, ou, não exata, poderá completar a pesquisa sem formar parte do universo, ou pelo contrário, será excluído apesar da fazer parte da mesma.

Vários fatores devem ser considerados quando desenhamos um filtro para um questionário online:

  1. (1) Efeito do "yes-saying": Diversos estudos (ver 5ª Capsula) mostram que os respondentes têm mais predisposição a dizer "sim" do que dizer "não". Este fenômeno afeta os filtros, especialmente nos seguintes casos:
    1. a) Quando usamos um filtro formulado como uma única pergunta isolada de resposta "sim/não": "Você bebe refrigerante de cola? Sim/Não".
    2. b) Quando a decisão sobre responder "sim" ou "não" depende da medida que o respondente realiza uma atividade: "É um bebedor habitual de refrigerante de cola? Você bebe ao menos duas vezes por semana refrigerante de cola?". Neste tipo de perguntas, o respondente, em caso de dúvida sobre seu nível de consumo o qualifica para responder afirmativamente, tendem a responder afirmativamente.
  2. (2) Efeito do "check-all-that-apply" vs" yes-no": Como vimos na 6ª Cápsula, mostrar listas de opções em um formato "check-all-that-apply" (listas em que o respondente pode selecionar múltiplas opções) produz resultados diferentes a mostrar listas de elementos com opções "sim/não". No primeiro caso se obtém menos menções que no segundo.
    Este comportamento afetará os filtros que se formulem usando estes formatos de perguntas. Por exemplo, se o universo de um estudo o constitui indivíduos que consumam dois tipos de bebidas concretas entre uma lista de 20 bebidas diferentes se usamos um formato "check-all-that-apply" serão recolhidos menos menções e um menos número de indivíduos passará o filtro. Pelo contrário, se usamos o formato "sim/não", observaremos o efeito contrario.
  3. (3) (3) Efeito de incentivo: a maioria dos painéis online incentiva à participação nas pesquisas. Ainda, o painel só incentiva aquelas pessoas que superam os filtros, aqueles painelistas com certa experiência dentro do painel podem compreender o funcionamento dos filtros e aprender a identificá-los. Se algo assim acontece, poderiam tratar de responder afirmativamente as perguntas filtros para obter incentivos. Este efeito é especialmente grave, já que um respondente que mente em um filtro, com toda probabilidade facilitará informação inválida nas pesquisas, reduzindo a qualidade dos dados do estudo.
Recomendações

Atendendo as considerações anteriores e a gravidade que cada efeito pode ter, algumas recomendações para levar em conta quando desenhar filtros:

  1. (1) Evitar, na medida do possível, perguntas filtro ilhadas, em formato de pergunta simples com opções de resposta "sim/não", especialmente se a resposta depende do grau em que o respondente realiza uma atividade.

    'Assiste habitualmente TV? Sim/Não'

    Este tipo de pergunta sofre um duplo efeito: o "yes-saying" ou tendência a responder "sim" diante da dúvida, e a resposta fraudulenta daquelas pessoas que estão interessadas somente em obter um incentivo por participar de um estudo. Em ambos os caso, o filtro sobre estimativa do universo, desejando passar indivíduos não aptos.

  2. (2) Se necessitarmos usar perguntas isoladas tipo "sim/não", poderíamos formular em negativo (a opção que passa o filtro é "não").

    'É uma pessoa que raramente assiste a TV?
    Sim, assisto pouco./Não, assisto com maior frequência. '

    Embora seja verdade que esta opção tenda a subestimar os indivíduos válidos para o estudo, pode ser mais seguro para os resultados do estudo, e é mais firme contra os indivíduos que pretendem pular o filtro de forma fraudulenta. No entanto, é necessário considerar as perguntas no negativo pode ser mais confuso para os entrevistados.

  3. (3) Se optarmos por incluir filtros em uma pergunta de resposta múltipla ("check-all-that-apply"), deveríamos evitar listas de opções muito extensas, já que poderíamos sofrer a falta de atenção do respondente na avaliação de cada uma das opções.

    'Quais destas atividades você realiza habitualmente?
    Praticar esporte
    Assistir televisão
    Ir ao cinema
    Sair para jantar em restaurantes
    (...)
    Nenhuma das alternativas'

    Neste caso, sofreríamos o efeito inverso ao da pergunta "sim/não" isolado, o filtro descartaria pessoas válidas para o estudo.

  4. (4) O formato "check-all-that-apply" é mais robusto que uma pergunta simples isolada tipo "Sim/Não", frente aos participantes fraudulentos que desejam passar o filtro de forma mal intencionada: se somente uma opção da lista permite passar o filtro, pode ser difícil de identificar para um participante. Outra medida de segurança de aplicar seria a de descartar aquelas pessoas que marcam todas as opções disponíveis da pergunta "check-all-that-apply", sempre e quando a lista se desenhe de tal maneira que seja impossível esta possibilidade para um indivíduo sincero (é dizer, colocando opções incompatíveis na lista).

  5. (5) Um terceiro formato de pregunta filtro possível seria o de lista de opções múltiplas com opções de respostas "sim/não".

    'Quais destas atividades você realiza habitualmente?
    Praticar esporte sim/não
    Assisti TV sim/não
    Ir ao cinema sim/não
    Ir ao restaurante sim/não...'

    Este formato provavelmente é o mais seguro: se a lista de opiniões esta bem desenhada, podemos detectar respondentes fraudulentos que respondem "sim" a todas as opções, e pelo próprio formato da pergunta, sofreremos menos o problema de falta de atenção na avaliação de cada uma das alternativas, pelo que perderemos menos respondentes válidos no formato "check-all-that-apply". Em qualquer caso, asseguramos que o "yes-saying",mas provavelmente menos do que em uma questão isolada.

  6. (6) Na mensagem que mostramos aos respondentes que são filtrados é outra questão para termos em conta. É uma prática comum, que provem de metodologia off-line, comunicar mensagens de tipo "sentimos, mas você não tem o perfil que estamos buscando". Mostrar este tipo de mensagem é desnecessário e em certas circunstancias pode acarretar problemas: por exemplo, se estamos enviando a pesquisa a um painel online, mostrar mensagens deste tipo cria insatisfação para o participante e o previne para o futuro, promovendo uma atitude fraudulenta em próximas pesquisas. Para evitar estes problemas, podemos comunicar simplesmente que a pesquisa seja finalizada com êxito, e o respondente pode pensar que se trata de uma pesquisa curta. Em alguns casos é possível completar a pesquisa filtrada com algumas perguntas para que a mensagem seja acreditável.

  7. (7) No momento de desenhar o filtro, é importante conhecer a procedência da amostra. Se estivermos trabalhando com um painel online, fatores como o incentivo, a forma de recrutamento de membros, a política de incentivos da participação ou a frequência com a que os participantes são questionados, podem influenciar na eficácia de um filtro. Por exemplo, em paneis incentivados que enviam pesquisas a seus membros com muita frequência, podemos sofrer mais problemas de respondentes fraudulentos que tratam de pular filtros (pela combinação entre incentivo e maior número de oportunidades para aprender o funcionamento dos filtros). Pelo contrário, painéis que incentivam tanto o painelista apto para completar as pesquisas como aqueles que são filtrados, são mais robustos frente ao comportamentos fraudulentos.

Em definitiva, as perguntas filtro de uma pesquisa são elementos que devem ser desenhos com especial cuidado, tendo em consideração os efeitos que sua resposta pode ter dependendo do formato de pergunta empregado, assim como a origem da amostra com a que estivermos trabalhando.

Referências bibliográficas:
  1. -Hernández Sampieri, R., Fernández Collado, C. y Baptista Lucio, P. (2003). Metodología de la investigación (3a ed.). México: McGraw-Hill.

CONTATO

*Campos obrigatórios