2a Cápsula (in)formativa – Research on Research Lab

¿Debo hacer mis preguntas obligatorias en Internet?

Proponer una opción “no sabe” en las alternativas de respuesta de una encuesta es una decisión importante y por la que todavía no se ha generado suficiente debate.

En primer lugar, debe tenerse en cuenta que hay preguntas que los respondientes realmente pueden no saber qué responder. Si la opción 'no sabe' no está propuesta entre las alternativas de respuesta, y si no se permite saltar la pregunta sin respuesta, al respondiente sólo le quedan dos opciones:

  1. -O abandonar la encuesta
  2. -O responder cualquier cosa aleatoriamente

Obviamente, ninguna de estas dos opciones es deseable para un investigador. Es por ello que es preferible o bien proponer una opción no sabe, o bien permitir que los respondientes puedan saltar una pregunta sin respuesta. Pero, ¿cuál de estas dos alternativas es preferible?

Varios son los factores a tener en cuenta. Por una parte, si se permite a los respondientes saltar preguntas sin responder, obtendremos más valores perdidos: algunos de estos valores corresponderán a personas que realmente no sabían qué responder, pero otras corresponderán a personas que no responden para no tener que hacer el esfuerzo de pensar en la pregunta y determinar cuál es su posición al respecto. Igualmente, si una categoría “no sabe” es propuesta explícitamente, no sólo será elegida por la gente que realmente no sabe qué responder, sino también por gente que minimiza su esfuerzo en responder a la encuesta (lo que se refiere a veces como satisficing, ver por ejemplo Krosnick, 1991). Permitir saltar preguntas y proponer el no sabe también tiene por lo tanto inconvenientes.

En las encuestas cara-a-cara o por teléfono, la estrategia más común para solucionar este dilema es no proponer explícitamente la categoría no sabe en las respuestas. Sin embargo, si durante la administración del cuestionario un respondiente dice espontáneamente que no sabe qué responder, se codifica su respuesta así. De esta forma, se permite al respondiente saltar a la siguiente pregunta, pero asegurando siempre que el entrevistador ha insistido en obtener una respuesta antes.

En encuestas a través de Internet, no existe la figura de un entrevistador que pueda insistir en la importancia de responder o que pueda codificar una respuesta que no aparece en pantalla, así que lo más común (al menos al inicio de las encuestas online) era forzar las respuestas y no proponer la opción no sabe. Como se ha explicado anteriormente, esto genera problemas, pero es ciertamente atractivo para los usuarios de los datos (los investigadores) no tener que preocuparse de qué hacer con los valores perdidos y los no sabe, ya que no existen. Couper (2008) criticaba esta práctica: es cierto que esta estrategia evita valores perdidos, pero también lo es que se pierden respondientes, y que si muchos respondientes abandonan la encuesta a medias, podemos tener problemas de representatividad. Adicionalmente, aparece un problema de calidad. Si los respondientes realmente no saben qué responder pero dan una respuesta de todos modos, esta respuesta no sólo no añade información sino que desvirtúa la información que tenemos. En respuesta a este dilema, Couper (2008) recomendaba permitir que los respondientes pudiesen saltarse preguntas.

Sin embargo, esta solución no evita el riesgo de tener muchos más valores perdidos que los correspondientes a personas que realmente no saben qué responder o no quieren responder (aumenta el satisficing). Para intentar reducir este riesgo, de Leeuw, Boevé, y Hox (2013) proponen utilizar la interactividad de Internet para simular una relación entre el respondiente y el ordenador más similar a la que existe con un entrevistador personal: proponen permitir saltarse una repuesta y explícitamente especificar una categoría “no sabe”, pero de forma que cuando un respondiente intente cualquier de estas dos opciones, le aparezca un mensaje certificando que su respuesta ha sido bien registrada y preguntándole al mismo tiempo si realmente quiere avanzar sin responder o respondiendo no sabe, insistiendo en la importancia que su respuesta tiene para la investigación. De esta forma, saltarse una pregunta o elegir no sabe ya no es una opción cómoda, en la medida en que el respondiente tiene que responder también al mensaje de confirmación. Un respondiente que quiera minimizar su esfuerzo en responder la encuesta vería de esta manera desincentivada su estrategia, pudiéndose asumir que sólo los que realmente no saben o no quieren responder seleccionará las opciones correspondientes.

Utilizando datos del LISS panel (online panel en Holanda con muestra probabilística), de Leeuw et al (2013) encontraron que el porcentaje de respondientes que eligen la opción no sabe disminuye significativamente cuando se utiliza un mensaje de confirmación (por ejemplo, de 24% a 8% cuando el no sabe es propuesto en forma de botón), sugiriendo que sin el mensaje de confirmación, hay un nivel mucho más alto de satisficing. También encontraron que si se propone un no sabe la fiabilidad es más baja, pero si se utiliza un mensaje de confirmación, la fiabilidad sube significativamente.

A partir de estos análisis, concluyen que es mejor permitir saltar una pregunta pero no proponer explícitamente el no sabe, a menos que sea realmente una pregunta en la que se puede esperar que los respondientes no sepan qué responder. En los casos en los que realmente es necesario proponer una categoría no sabe, recomiendan combinar ésta con un mensaje de confirmación. Asimismo, mostrar un mensaje de confirmación para las preguntas que intenten ser saltadas parece una buena opción.

CONTACTO

* Campos obligatorios