6a Cápsula (in)formativa – Research on Research Lab

Listas de selección multiple: "Check-all that apply" versus "forced-choice"

Es una necesidad frecuente en cualquier tipo de cuestionario solicitar al encuestado que seleccione varias opciones entre un conjunto de alternativas disponibles. Un formato clásico para este tipo de preguntas es el "check-all-that-apply": se utiliza cuando tenemos una lista - generalmente larga - de ítems para los que se quiere saber cuáles de ellos aplican al respondiente. Por ejemplo, de una lista de n marcas, podríamos querer saber cuáles son las que conoce el respondiente, cuáles son las que ha comprado en los últimos 12 meses o cuáles son los que recomendaría. De forma similar, de una lista de n actividades, podríamos preguntar cuáles son las que realiza al menos una vez a la semana, o las que ha hecho al menos una vez en su vida, etc.

Las preguntas tipo "check-all-that-apply" suelen presentarse así:

Q1- Por favor, marca todas las marcas de la lista siguiente que has comprado en los últimos 12 meses:

Marca 1
Marca 2
Marca n

En cuestionarios online, el elemento que permite seleccionar cada ítem (lo que llamamos el “input type”) suele ser un “checkbox”: una caja cuadrada que puede marcarse/desmarcarse haciendo click sobre ella. El uso de este elemento para seleccionar varias opciones de una lista es un estándar del lenguaje de comunicación web.

Una forma alternativa de preguntar lo mismo es listar cada ítem y requerir al entrevistado que responda “sí” o “no” para cada ítem. Este formato se conoce como “forced-choice format”, ya que el encuestado debe indicar obligatoriamente para cada alternativa si esta aplica o no aplica. Se suele presentar así:

Q1alternativa- Por favor, para cada de las marcas de la lista siguiente, indica si has comprado o no productos de esta marca en los 12 últimos meses:

No
Marca 1
Marca 2
Marca n

Para presentar una pregunta con este formato en un cuestionario online suelen usarse parejas de "radio-buttons", uno para la opción "sí" y otro para la opción "no". Los "radio-buttons" tienen forma circular y sólo permiten la selección de un elemento del grupo- Por lo tanto, al marcar encima de un "radio-button", el resto queda automáticamente desmarcado (en este caso, marcando "sí" desmarcamos el "no", y viceversa). En encuestas administradas cara-a-cara o a través del teléfono, se suele utilizar más la segunda opción ("forced-choice") debido a que es muy difícil para un entrevistado escuchar una lista extensa de ítems y recordar todas las opciones que aplican, para poder decirlas al final. Es mucho más fácil responder "sí" o "no" a medida que escucha cada ítem, antes de pasar a valorar el siguiente ítem.

Sin embargo, en encuestas en papel u online, como el respondiente puede ver todos los ítems escritos en el papel o en la pantalla de una sola vez, el problema de la memoria no se plantea. Es por ello que muchas encuestas utilizan el formato "check-all-that-apply". A menudo, ambos formatos se utilizan como si fueran equivalentes y por lo tanto intercambiables. Muchas encuestas, al pasar del formato papel a teléfono/cara-a-cara, o de teléfono/cara-a-cara a online, simplemente transforman las preguntas de un formato al otro, sin preocuparse en las consecuencias que dicho cambio puede tener en los resultados.

Sin embargo, existen diferencias en los datos que producen ambos formatos: empleando el formato "check-all-that-apply", si los respondientes no hacen el esfuerzo necesario para responder óptimamente a la pregunta (leyendo y valorando convenientemente cada alternativa), fácilmente incitaremos a elegir menos ítems de los que realmente aplican (lo que se conoce como "weak satisficing"). Así, un respondiente que selecciona 3 opciones de una lista de 10, puede tener la impresión de que ya ha cumplido con su deber y que no hace falta que siga haciendo esfuerzos en leer y evaluar las demás opciones.

En sentido contrario, se ha demostrado que las personas tenemos tendencia a decir que sí ("acquiescence" or "yes-saying")1 , por lo que al requerir a un encuestado que para cada ítem indique "sí" o "no" con un formato "forced-choice", podemos provocar que los entrevistados elijan más veces "sí" de lo que corresponde a la realidad.

Para comprobar si realmente estos fenómenos suceden en la práctica, Smyth et al (2006) han comparado 16 experimentos en 2 encuestas online y una encuesta en papel (2002-2003) en Estados Unidos. Tras analizar los resultados, han encontrado que los 2 formatos no actúan de manera equivalente: los respondientes eligen más ítems cuando se utiliza un formato "sí/no" que cuando se utiliza un formato "check-all-that-apply". Los análisis de Smyth et al (2006) muestran que el problema proviene del "satisficing" experimentado en el "check-all-that-apply", y no de la tendencia a decir que sí a todo en el formato "sí/no". Por lo tanto, concluyen que el formato "forced-choice" es preferible, o dicho de otra forma, obtiene resultados más próximos a la realidad.

Dado que tanto la tendencia a decir "sí" como el "weak satisficing" pueden variar entre países, en Netquest – dentro del ámbito del proyecto de investigación R2online.org - hemos hecho experimentos en diferentes países de la región iberoamericana: España, México y Colombia. En la tabla 1, puede observarse sobre una lista de 7 ítems preguntando por actividades políticas (por ejemplo si el respondiente ha firmado alguna vez una petición al gobierno, si ha contactado con un político…), a cuantas en promedio los respondientes han dicho que sí, con un formato "sí/no" y con un formato "check-all-that-apply", en cada uno de los 3 países.

Tabla 1: Promedio de número de ítems seleccionados sobre los 7 de la matriz
México Colombia España
Sí/No CATA Sí/No CATA Sí/No CATA
Promedio número de ítems a los que ha dicho que "sí" 1.88 1.53 2.06 1.70 2.10 1.60

Nota: CATA = check-all-that-appy

Los resultados son similares a los de Smyth et al (2006): hay más acciones políticas reportadas cuando se utiliza el formato "sí/no" que cuando se utiliza el "check-all-that-apply".

Queda claro que el formato "check-all-that-apply" recoge más menciones, pero, ¿qué información es más real? Para saber cuál de los 2 formatos es preferible, realizamos un test de validez externa, considerando las correlaciones entre el número total de ítems que un respondiente afirma haber realizado y una variable con la que teoréticamente deberíamos encontrar una correlación alta: en este caso, usamos una pregunta del cuestionario sobre el interés del respondiente en la política (B1- ¿En qué medida dirías que te interesa la política? Mucho, bastante, poco, nada). Supuestamente, a mayor interés por la política, debería observarse mayor número de actividades realizadas relacionadas con la política. Por lo tanto, el formato en el que esta correlación sea más alta es el que consideraremos como preferible.

Tabla 2: Correlación entre número total de ítems seleccionados e interés en la política
México Colombia España
Sí/No CATA Sí/No CATA Sí/No CATA
Correlación -.4175 -.3456 -.3739 -.3727 -.3663 -.3067

Las correlaciones son similares en Colombia, pero en México y España son más altas para el formato "sí/no", sugiriendo que este formato es preferible al formato "check-all-that-apply". Por lo tanto, los experimentos realizados en países de la región iberoamericana coinciden con los encontrados por Smyth et al (2006) en Estados Unidos.

En conclusión, en diferentes países, parece que los respondientes no hacen el máximo esfuerzo para responder correctamente cuando el formato "check-all-that-apply" es utilizado, eligiendo menos ítems de los que realmente aplican. Muy claramente, los 2 formatos no son equivalentes y no pueden ser utilizados de manera intercambiable.

Referencias bibliográficas:
  1. -Jolene D. Smyth, Don A. Dillman, Leah Melani Christian, and Michael J. Stern (2006). Comparing Check-All and Forced-Choice Question Formats in Web Surveys. Public Opinion Quarterly (Spring 2006) 70(1): 66-77 doi:10.1093/poq/nfj007.

1 Tal y como vimos en la 5ª Cápsula (In)formativa: El uso de preguntas balanceadas reduce el impacto de la tendencia a responder de los encuestados

CONTACTO

* Campos obligatorios