4a Cápsula (in)formativa – Research on Research Lab

¿Cómo hacer preguntas abiertas narrativas en un cuestionario?

La mayoría de las preguntas utilizadas en encuestas son preguntas cerradas, es decir, preguntas en las que sólo se permite contestar mediante una serie cerrada de alternativas. Sin embargo, también es posible emplear preguntas abiertas, preguntas en las que se permite al encuestado responder cualquier cosa según la pregunta, sin presentar una lista de alternativas posibles.

Existen dos tipos principales de preguntas abiertas (Couper et al, 2011): las preguntas abiertas que suscitan respuestas muy cortas (por ejemplo, el lugar de nacimiento o la marca de cerveza preferida) y las preguntas abiertas narrativas, que suscitan respuestas más elaboradas y detalladas (por ejemplo, cuáles crees que serán los próximos desafíos para ti en el futuro).

Las preguntas abiertas narrativas tienen el inconveniente de que las respuestas no pueden utilizarse directamente para análisis cuantitativos, sino que es necesario hacer un trabajo de codificación previo para poder trabajar con esas respuestas. Este trabajo de codificación puede requerir mucho tiempo y ser bastante complicado si las respuestas que han dado los respondientes no son claras respecto a lo que el investigador quería medir con ellas.

Por otro lado, las preguntas abiertas narrativas tienen ventajas: permiten obtener una variedad mucho mayor de respuestas, con contenidos más detallados y ricos en información. Además, no orientan a los respondientes en ninguna dirección, y permiten responder de manera más natural, de forma similar a un dialogo, dando mayor libertad al respondiente para explayarse. Por lo tanto, es frecuente que este tipo de preguntas se adapten mucho mejor a las necesidades de investigación que las preguntas cerradas.

Al usar estas preguntas abiertas narrativas, si la encuesta es administrada por un entrevistador (cara-a-cara o por teléfono) el respondiente puede dar una respuesta tan larga como desee. Pero cuando estas preguntas son parte de una encuesta online, es necesario decidir la mejor manera de presentarlas. En particular, hay que elegir el tamaño del textbox (la caja visual en la que el encuesta escribe su respuesta) y si se añade un contador indicando cuantos caracteres disponibles quedan o no.

Todos los resultados de diferentes investigaciones sobre el impacto del tamaño del textbox (Christian and Dillman, 2004; Israel, 2010; Smyth et al. 2009) van en la dirección de que un textbox de tamaño más grande produce respuestas más largas. También se observa que utilizar un contador indicando cuantos caracteres quedan puede permitir aumentar la media del número de caracteres de las respuestas (Emde y Fuchs, 2012).

Además, Emde y Fuchs (2013) han estudiado la interacción entre el tamaño del text box y el número de caracteres del contador. Sus resultados son bastante intuitivos: un contador con más caracteres que el tamaño visible del textbox inicial produce respuestas más largas, mientras que un contador con menos caracteres produce respuestas más cortas. Parece por tanto que los respondientes toman más en cuenta el contador (cuando hay uno) que la referencia proporcionada por el tamaño del text box.

A parte, Emde y Fuchs (2013) también concluyen que tanto el tamaño del text box (150 caracteres, o 300, o 600) como la presencia del contador no afectan a la tasa de no-respuesta a la pregunta, y tampoco afectan al número medio de temas mencionados. Lo que cambia, por tanto, es el nivel de detalle de las respuestas.

En conclusión, por lo que se sabe sobre el impacto del tamaño del textbox y la presencia de un contador, parece recomendable para las preguntas abiertas narrativas utilizar un textbox en combinación con un contador autorizando más caracteres de los visibles inicialmente (hasta un 33% más). Es preferible que el text box sea de tamaño relativamente grande, sin ser exagerado, porque si se combina con un contador con más caracteres, las respuestas serán más largas, y además, no cambiarán el número de temas mencionados.

Referencias bibliográficas:
  1. Christian, L. M., y Dillman, D. A. (2004). The influence of graphical and symbolic language manipulations on responses to self-administered questions. Public Opinion Quarterly, 68 (1), 57-80..
  2. Couper, M. P., Kennedy, C., Conrad, F. G., y Tourangeau, R. (2011). Designing input fields for non-narrative open-ended responses in web surveys. Journal of Official Statistics, 27 (1), 65-85.
  3. Emde, M., y Fuchs, M. (2012). Using Adaptive Questionnaire Design in Open-Ended Questions: A Field Experiment. In JSM Proceedings, Statistical Computing Section. Alexandria, VA: American Statistical Association.
  4. Emde, M., y M. Fuchs (2013). 'Using interactive feedback to enhance response quality in Web surveys: The case of open-ended questions'. Presentación GOR conferencia 2013 (Mannheim): http://conftool.gor.de/conftool13/index.php?page=browseSessions&presentations=show&form_session=14.
  5. Israel, G. D. (2010). Effects of answer space size on responses to open-ended questions in mail surveys. Journal of Official Statistics, 26(2), 271- 285..
  6. Smyth, J. D., Dillman, D. A., Christian, L. M., y Mcbride, M. (2009). Open-ended questions in web surveys. Can increasing the size of answer boxes and providing extra verbal instructions improve response quality? Public Opinion Quarterly, 73(2), 325-337..

CONTACTO

* Campos obligatorios