13a Cápsula (in)formativa – Research on Research Lab

Incentivos en encuestas online

El uso de incentivos en encuestas online es un tema que suscita mucho interés, por la razón obvia de que el uso de incentivos se relaciona fuertemente con el coste total de la encuesta. Muchos experimentos han sido realizados sobre esta cuestión y existe literatura abundante tratando de este tema. Sin embargo, los resultados obtenidos hasta la fecha no son claros. La única conclusión que se ha obtenido durante este tiempo es que se trata de una cuestión que no es tan simple como se tendía a pensar hace unos años.

En general, la mayoría de las empresas y organismos dedicadas a hacer encuestas han asumido como principio de base que el nivel de respuesta correlaciona positivamente con los incentivos que se ofrecen a los respondientes. Es decir, han asumido que se podía comprar la (buena) participación de la gente a las encuestas.

Hay algunos estudios que parecen confirmar esta hipótesis (Couper, 2000), pero hay otros experimentos en los que no se encontraron los efectos positivos de los incentivos sobre las respuestas, como tampoco, sobre la tasa de respuestas (Bosnjak y Tuten, 2003). En otros, aunque los efectos van en la dirección esperada, el impacto de los efectos es tan reducido que hace cuestionarse si realmente los incentivos juegan el papel positivo que les atribuimos habitualmente: por ejemplo Cape and Martin (2013) encuentran un aumento de la tasa de respuesta de solo 4% por aumentar el incentivo de 0 a 10 dólares. Diferentes meta-análisis han sido realizados para intentar aclarar los efectos, pero en estos estudios las conclusiones también varían: Cook, Heath, y Thompson (2000) no encuentran efectos, mientras que Göritz (2006) encuentra un efecto positivo.

¿Por qué estos resultados tan poco claros y en ocasiones contradictorios? El problema es que el tema de los incentivos es un tema complejo para el que es difícil sacar conclusiones generales o reglas para el futuro. Veamos cuál es el origen de esta complejidad.

En primer lugar, existen diferentes tipos de incentivos. Se pueden utilizar regalos, dinero, participación en sorteos o puntos que se pueden acumular y cambiar por regalos o dinero o participación en sorteos. Además, estos incentivos pueden entregarse bajo diferentes criterios de participación: incentivos condicionados a la realización de alguna acción (por ejemplo, tener el perfil buscado en el estudio) o incentivos no condicionados. Y pueden ser utilizados en diferentes momentos de un proceso de encuestación: para incitar a la gente a formar parte de un panel, para agradecer la participación en cada nueva encuesta completada o como recompensa adicional para las respuestas a preguntas específicas (particularmente sensibles o que piden un esfuerzo cognitivo especialmente alto). Por supuesto, el valor – tanto real como el percibido - de cada uno de estos incentivos puede variar considerablemente y los diferentes tipos de incentivos se pueden combinar en sistemas de incentivación altamente sofisticados. Resulta de todo eso que hay una infinidad de formas de usar incentivos.

En segundo lugar, dependiendo del sistema exacto de incentivos que elijamos por una encuesta, pueden obtenerse diferentes resultados. Por ejemplo, varios estudios muestran que dependiendo de si el incentivo está condicionado a la realización de una tarea o no, la gente puede reaccionar de maneras muy diferentes.

En tercer lugar, la forma de reaccionar de la gente a diferentes incentivos depende mucho de la cultura y las costumbres del país estudiado. En algunas sociedades, el uso de incentivos de gran valor (por ejemplo, un ordenador a cambio de participar en una encuesta) puede generar suspicacia por parte de unos respondientes, que pueden llegar a llamar a la policía denunciando una propuesta sospechosa.

Finalmente, el sistema de incentivos puede actuar a diferentes niveles y provocar diferentes tipos de 'resultados', algunos positivos y otros negativos. Por ejemplo, un mismo sistema de incentivos puede aumentar la tasa de respuesta a una encuesta (efecto positivo) pero a costa de aumentar el error de medida (efecto negativo), algo que se produce por la presencia de participantes que se mueven únicamente por el dinero. Aquellos que no tienen interés en ofrecer respuestas válidas, obligan a establecer controles de calidad sobre la participación mucho más estrictos. En el caso de un panel, un aumento puntual de incentivos para una encuesta particularmente complicada o un incentivo extra dado por responder a unas preguntas particularmente sensibles, puede también tener un efecto positivo en esa encuesta concreta, pero un efecto negativo sobre las participaciones siguientes.

En conclusión, no se pueden dar reglas generales sobre el uso de incentivos, porque dependiendo del sistema exacto de incentivos que se utiliza y del contexto, los resultados pueden variar fuertemente. Además, el sistema de incentivos puede afectar varios tipos de resultados en direcciones opuestas. Ante esta disparidad de resultados, algunos autores como Umbach (2004), indican que uno no se debería sentir obligado a utilizar incentivos, aunque puede ayudar en algunos casos, y sobre todo no emplear incentivos de un valor desproporcionado. En cada encuesta y en cada ámbito (encuestas puntuales, encuestas en un panel…) y dependiendo de los objetivos principales, deberíamos buscar un balance entre diferentes tipos de errores, así como entre el nivel de error y el coste de la encuesta. No siempre va a ser lo más efectivo emplear los recursos económicos en pura incentivación. En ocasiones, puede ser más efectivo para mejorar la calidad general de la encuesta, usar estos recursos en intentar contactar con los respondientes adecuados, en el diseño de la invitación, en el diseño de las preguntas…

Referencias bibliográficas:
  1. -Bosnjak, M. and Tracy L. (2003) 'Tuten Prepaid and Promised Incentives in Web Surveys: An Experiment'. Social Science Computer Review 2003 21: 208
  2. -DOI: 10.1177/0894439303021002006
  3. -Cape, P. and P. Martin (2013). 'Rewards - Money for Nothing?' General Online Research Conference GOR 13 March 04-06, 2013, DHBW Mannheim, Germany.
  4. -Cook, C., Heath, F., and Thompson, R. L. 'A Meta-analysis of Response Rates in Webor Internet-Based Surveys.' Educational and Psychological Measurement, 2000, 60(6), 821–836.
  5. -Couper, M. P. (2000). 'Web surveys: A review of issues and approaches'. Public Opinion Quarterly, 64, 464- 494.
  6. -Göritz, A.S. (2006). 'Incentives in Web Studies: Methodological Issues and a Review'. International Journal of Internet Science 2006, 1 (1), 58-70
  7. -Umbach, P. D. (2004). 'Web surveys: Best practices'. New Directions for Institutional Research, 2004: 23–38. doi: 10.1002/ir.98

CONTACTO

* Campos obligatorios