Las encuestas con preguntas repetitivas arrojan datos incorrectos, según un estudio

Las encuestas que hacen demasiadas preguntas del mismo tipo cansan a los encuestados y arrojan datos poco confiables, según un nuevo estudio dirigido por UC Riverside.

El estudio encontró que las personas se cansan de las preguntas que varían solo un poco y tienden a dar respuestas similares a todas las preguntas a medida que avanza la encuesta. Los especialistas en marketing, los encargados de formular políticas y los investigadores que se basan en encuestas largas para predecir el comportamiento de los consumidores o votantes tendrán datos más precisos si elaboran encuestas diseñadas para obtener respuestas originales y confiables, sugieren los investigadores.

«Queríamos saber si la recopilación de más datos en las encuestas siempre es mejor, o si hacer demasiadas preguntas podría hacer que los encuestados proporcionen respuestas menos útiles a medida que se adaptan a la encuesta», dijo el primer autor Ye Li, profesor asistente de administración de UC Riverside. «¿Podría esto, paradójicamente, conducir a hacer más preguntas pero obtener peores resultados?»

Si bien puede ser tentador suponer que más datos siempre es mejor, los autores se preguntaron si los procesos de decisión que usan los encuestados para responder una serie de preguntas podrían cambiar, especialmente cuando esas preguntas usan un formato similar y repetitivo.

La investigación abordó encuestas cuantitativas del tipo que se usa típicamente en investigación de mercado, economía o investigación de políticas públicas que buscan comprender los valores de las personas sobre ciertas cosas. Estas encuestas a menudo hacen una gran cantidad de preguntas estructuralmente similares.

Los investigadores analizaron cuatro experimentos que pedían a los encuestados que respondieran preguntas sobre elección y preferencia.

Los encuestados en las encuestas adaptaron su toma de decisiones a medida que respondían preguntas de elección más repetitivas y estructuradas de manera similar, un proceso que los autores llaman «adaptación». Esto significa que procesaron menos información, aprendieron a pesar más ciertos atributos o adoptaron atajos mentales para combinar atributos.

En uno de los estudios, se preguntó a los encuestados acerca de sus preferencias por las distintas configuraciones de portátiles. Eran el tipo de preguntas que usan los especialistas en marketing para determinar si los clientes están dispuestos a sacrificar un poco de tamaño de pantalla a cambio de una mayor capacidad de almacenamiento, por ejemplo.

«Cuando le hacen preguntas una y otra vez acerca de las configuraciones de las computadoras portátiles que varían solo un poco, las primeras dos o tres veces las mira detenidamente, pero después de eso tal vez solo mire un atributo, como cuánto dura la batería. Usamos atajos. El uso de atajos le brinda menos información si solicita demasiada información», dijo Li.

Si bien se sabe que los humanos se adaptan a su entorno, la mayoría de los métodos de investigación del comportamiento utilizados para medir las preferencias han subestimado este hecho.

«En tan solo seis u ocho preguntas, las personas ya están respondiendo de tal manera que ya está peor si intenta predecir el comportamiento del mundo real», dijo Li. «En estas encuestas, si le sigues dando a la gente el mismo tipo de preguntas una y otra vez, empiezan a dar el mismo tipo de respuestas».

Los hallazgos sugieren algunas tácticas que pueden aumentar la validez de los datos y al mismo tiempo ahorrar tiempo y dinero. El rastreo de procesos, una metodología de investigación que rastrea no solo la cantidad de observaciones sino también su calidad, se puede utilizar para diagnosticar la adaptación, lo que ayuda a identificar cuándo es una amenaza para la validez. La adaptación también podría reducirse o retrasarse cambiando repetidamente el formato de la tarea o agregando preguntas de relleno o descansos. Finalmente, la investigación sugiere que para maximizar la validez de las encuestas de medición de preferencias, los investigadores podrían usar un conjunto de métodos, preferiblemente utilizando múltiples medios de medición, como preguntas que impliquen elegir entre opciones disponibles en diferentes momentos, emparejar preguntas y una variedad de contextos.

«La compensación no siempre es obvia. Más datos no siempre es mejor. Sea consciente de las compensaciones», dijo Li. «Cuando tu objetivo es predecir el mundo real, ahí es cuando importa».