8a Cápsula (in)formativa – Research on Research Lab

Las escalas de acuerdo-en desacuerdo tienen una calidad mucho más baja que las escalas específicas

Las preguntas de tipo de acuerdo/en desacuerdo (DA/ED) han sido y siguen siendo muy populares en la investigación basada en cuestionarios, en comparación con las preguntas con escalas especificas (EE), la alternativa.

Una pregunta con EE es una pregunta en la que las categorías de respuesta propuestas al respondiente son exactamente las respuestas que corresponden al concepto de interés. Por ejemplo, si queremos saber el nivel de satisfacción de los respondientes con su vida en general, se puede utilizar una pregunta con EE:

¿En qué medida está Ud. satisfecho con su vida en general?
Totalmente satisfecho
Satisfecho
Ni satisfecho ni insatisfecho
Insatisfecho o totalmente insatisfecho

O se puede utilizar una pregunta de tipo DA/ED:

Por favor, indique su grado de acuerdo con la siguiente afirmación: "estoy satisfecho con mi vida en general".
Totalmente de acuerdo
De acuerdo
Ni de acuerdo ni en desacuerdo
En desacuerdo
Totalmente en desacuerdo

Una de las razones de la popularidad de las escalas DA/ED es que parece que permiten medir casi cualquier concepto. Adicionalmente, se pueden utilizar fácilmente en baterías, permitiendo ganar tiempo tanto en la preparación del cuestionario como en la administración del mismo, lo que las hace muy atractivas.

Sin embargo, este tipo de preguntas tiene serios inconvenientes. En particular, se ha demostrado que los resultados obtenidos usando escalas DA/ED son diferentes dependiendo de si formulamos la frase en términos positivos o negativos: “estoy satisfecho con mi vida en general” o “estoy insatisfecho con mi vida en general”. Eso puede explicarse por la mayor predisposición de las personas a decir que “sí” respecto a decir “no”, fenómeno que se conoce como “acquiescence bias” (ver por ejemplo Schuman y Presser, 1981).

Asimismo, estas escalas DA/ED ofrecen en general un nivel de calidad (definida como el producto de fiabilidad y validez) mucho más bajo que las preguntas formuladas con EE. Esta afirmación está avalada por Saris, Revilla, Krosnick y Shaeffer (2010), a través de un estudio de la calidad de diferentes preguntas incluidas en la Encuesta Europea Social, a través de experimentos de tipo multirasgos-multimétodos (“multitrait-multimethod”). Por ejemplo, consideremos las tres preguntas siguientes (que forman parte de la tercera oleada de la Encuesta Europea Social, en 23 países europeos), preguntadas utilizando una escala DA/ED y una EE:

  1. -Pregunta 1: diría Ud. que, por lo general, para la economía [del país], ¿es bueno o malo que venga gente de otros países?
  2. -Pregunta 2: ¿cree Ud. Que la vida cultural [del país] se empobrece o se enriquece con las personas de otros países que vienen a vivir aquí?
  3. -Pregunta 3: la llegada de personas de otros países, ¿contribuye a que [país] sea un lugar peor o mejor para vivir?

La tabla 1 muestra el promedio de la calidad estimada para cada pregunta y cada tipo de escala en los 23 países (desviación estándar entre paréntesis). La calidad varía entre 0 y 1, donde una calidad de 1 significa que la pregunta mide perfectamente el concepto de interés.

Tabla 1: Promedio en los 23 países de la calidad de cada pregunta utilizando las diferentes escalas
Promedio calidad q2 para 23 países Pregunta 1 Pregunta 2 Pregunta 3
Especifica 11 puntos .76 (.07) .81 (.05) .76 (.08)
De acuerdo/en desacuerdo 11 puntos .21 (.13) .28 (.15) .32 (.13)
De acuerdo/en desacuerdo 5 puntos .44 (.11) .45 (.11) .47 (.12)

La tabla muestra de manera muy contundente que la calidad de las escalas de tipo DA/ED es muy inferior a la calidad de la escala especifica. Saris, Revilla, Krosnick y Shaeffer (2010) han realizado más experimentos al respecto y todos llevan a la misma conclusión: las escalas especificas tienen una calidad mucho más alta y, en consecuencia, deberíamos favorecer siempre que sea posible la formulación de preguntas con EE en vez de preguntas DA/ED.

Referencias bibliográficas:
  1. -Saris, W., Revilla, M., Krosnick, J., Shaeffer, E. (2010). “Comparing Questions with Agree/Disagree Response Options to Questions with Item-Specific Response Options”. Survey Research Methods (2010) Vol.4, No.1, pp. 61-79. ISSN 1864-3361.
  2. -Schuman, H., & Presser, S. (1981). Questions and answers in attitude surveys: Experiments on question form, wording, and context. New York: Academic Press.

CONTACTO

* Campos obligatorios