Diseño de encuestas en la investigación en ciencias sociales: recomendaciones prácticas

Original en inglés: Survey Design in Social Science Research: Practical Tips (publicado el 10 de septiembre de 2023)

El diseño de encuestas es una habilidad esencial para los investigadores en ciencias sociales que buscan recopilar datos confiables y válidos de sus poblaciones objetivo. Sin embargo, diseñar una buena encuesta no es tan sencillo como parece. Existen múltiples factores que deben considerarse, tales como los objetivos del estudio, los instrumentos de medición que se utilizarán, la plataforma que se seleccionará, las cuestiones éticas que deben atenderse y la calidad de los datos que debe garantizarse. En esta entrada de blog, compartiré algunas recomendaciones prácticas sobre cómo diseñar una encuesta en la investigación en ciencias sociales a partir de mi propia experiencia.

A continuación, encontrará algunas referencias útiles si busca recursos académicos adicionales:

• Stantcheva, S. (2022). How to run surveys: A guide to creating your own identifying variation and revealing the invisible. Annual Review of Economics, 15.
• Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer.
• Chiang, I.-C. A., Jhangiani, R. S., & Price, P. C. (2015). Constructing survey questionnaires. In Research Methods in Psychology – 2nd Canadian Edition. BCcampus.

Especificar los objetivos

El primer paso en el diseño de una encuesta consiste en especificar los objetivos. ¿Cuáles son las principales preguntas de investigación que desea responder con su encuesta? ¿Cuáles son las hipótesis que desea contrastar? ¿Cuáles son las variables que se propone medir? Estas preguntas le orientarán al seleccionar los instrumentos de medición y los métodos de muestreo adecuados para su encuesta. Asimismo, conviene anticipar cómo analizará sus datos y qué tipo de hallazgos espera obtener.

Consultar otros ejemplos en ICPSR

https://www.icpsr.umich.edu/web/pages/

Una forma de aprender a diseñar una encuesta en la investigación en ciencias sociales es consultar otros cuestionarios en ICPSR. ICPSR es un repositorio de datos que brinda acceso a miles de estudios y conjuntos de datos de diversas disciplinas y temáticas, tales como política, economía, salud y educación, entre otras. Puede explorar o buscar estudios pertinentes a sus intereses de investigación y observar cómo otros investigadores han diseñado sus encuestas, qué instrumentos han empleado, cómo han recopilado y analizado sus datos, y qué resultados han obtenido. Asimismo, puede descargar los datos y la documentación para su propio uso o replicación.

Para encontrar ejemplos de encuestas en ICPSR, puede visitar su sitio web y utilizar el cuadro de búsqueda o las opciones de exploración para localizar estudios acordes con sus palabras clave o criterios. También puede filtrar los resultados por tema, cobertura geográfica, período cronológico, series, investigador principal o formato de datos.

Búsqueda de instrumentos de medición

El siguiente paso consiste en identificar instrumentos de medición que permitan captar las variables de interés.

A. Puede comenzar por revisar la literatura sobre su tema y dirigirse directamente a la sección de Measures de los artículos pertinentes. Puede recopilar en una hoja de cálculo los instrumentos empleados por investigadores previos, junto con sus fuentes, referencias y criterios de puntuación. Por ejemplo, en la siguiente imagen puede apreciar el nombre de la escala y las opciones de respuesta. Es posible que deba consultar la referencia bibliográfica para acceder al instrumento completo.

B. También puede recurrir al APA PsycTests archive para buscar pruebas e instrumentos psicológicos publicados o revisados por especialistas. Por ejemplo, puede ingresar a APA PsycNet (es probable que deba acceder a través de las credenciales de su institución) y buscar términos marcando el botón “Test Available”. A continuación, verá la pantalla derecha con el archivo en formato PDF del “Test” que puede descargar.

El archivo APA PsycTests está disponible únicamente para personas vinculadas a una institución con suscripción a este recurso. De manera alternativa, puede consultar esta biblioteca de acceso público: https://db.arabpsychology.com/

A continuación se presenta la hoja de cálculo de muestra, que contiene el constructo, el nombre de la escala, el número de reactivos, prioridad sí/no, recopilar sí/no, referencia bibliográfica y observaciones. La columna collected indica si he reunido los statements de dicha escala (por ejemplo, el archivo PDF procedente de APA PsycNet).

Una vez reunidos los instrumentos potenciales en la hoja de cálculo, puede dialogar con otros (colaboradores, coautores o sus mentores) para definir los reactivos que mejor se ajusten a sus objetivos. Conviene asimismo verificar la validez y la confiabilidad de los instrumentos, así como su idoneidad para la población objetivo y la plataforma seleccionada. Por ejemplo, algunas medidas pueden requerir traducción si se propone encuestar a personas de diversos antecedentes lingüísticos.

Diseñar la encuesta

Una vez decididos los instrumentos de medición, puede comenzar el diseño de la encuesta. Puede elaborar un documento propio con el listado completo de reactivos en el orden en que se presentarán en la encuesta. Asimismo, puede estructurarlo por secciones y analizarlas individualmente con sus colaboradores. A continuación se muestra un ejemplo del documento de diseño, que incluye el procedimiento de puntuación y la referencia bibliográfica. Cuando esté definido, solo requerirá copiar y pegar el contenido en la plataforma.

A continuación, comparto algunas recomendaciones:

1. Es necesario definir el cronograma y el presupuesto para su encuesta, así como la población objetivo y el método de muestreo.
2. Debe elegir una plataforma capaz de alojar su encuesta y ofrecerle las funciones y prestaciones necesarias. Algunas plataformas ampliamente utilizadas son [Qualtrics] y [SurveyMonkey], que brindan diversas opciones para crear y distribuir encuestas en línea. Numerosas instituciones educativas cuentan con suscripción institucional a Qualtrics, por lo que le sugiero consultar su disponibilidad.
3. En cuanto a encuestas multilingües, tanto Qualtrics como SurveyMonkey ofrecen soporte para cuestionarios en múltiples idiomas. Es posible que deba contratar traductores profesionales o considerar la validación de las escalas en varios idiomas.
4. Un aspecto que debe tenerse en cuenta al diseñar la encuesta consiste en incorporar reactivos de control de atención a lo largo del cuestionario. Se trata de reactivos que facilitan la identificación de encuestados que no prestan atención o que responden al azar, pidiéndoles, por ejemplo, que seleccionen una opción específica o respondan a una pregunta sencilla. Le sugiero consultar la publicación de Qualtrics sobre las mejores prácticas en controles de atención.
5. También puede contemplar la inclusión de reactivos de deseabilidad social si aborda temáticas sensibles, tales como estereotipos, salud o salud mental. Estos reactivos permiten evaluar en qué medida las respuestas están condicionadas por normas o expectativas sociales.
6. Otra dimensión fundamental es la perspectiva ética de la encuesta. Si se encuesta a poblaciones en situación de vulnerabilidad o sobre temas sensibles, es indispensable asegurarse de obtener el consentimiento informado de los participantes, resguardar su privacidad y confidencialidad, y minimizar cualquier perjuicio o incomodidad potencial que pudieran experimentar. Asimismo, deben observarse las directrices éticas y los marcos regulatorios de su institución u organización durante la aplicación de la encuesta.
7. Por último, conviene evaluar la comparabilidad de su encuesta con otros estudios. De ser posible, utilice los mismos instrumentos empleados por otros investigadores en contextos o poblaciones similares. Esto le permitirá comparar sus hallazgos con los precedentes e incrementará la generalizabilidad de sus resultados.

Recopilar los datos

Una vez diseñada la encuesta, puede iniciar la recopilación de datos en la plataforma de su preferencia (por ejemplo, Qualtrics). Conviene considerar aquí algunos puntos.

1. Antes de distribuir la encuesta entre la población objetivo, es aconsejable realizar una prueba piloto con una muestra pequeña de participantes de características similares a la población de estudio. Esto le permitirá estimar el tiempo que demanda completar el cuestionario, comprobar el funcionamiento de la lógica de saltos y detectar posibles errores.
2. Puede distribuir la encuesta a través de diversos canales, tales como correo electrónico, redes sociales, comunidades virtuales o sitios web. No obstante, debe prestar especial cuidado a la calidad de los encuestados, sobre todo si recurre a plataformas en línea abiertas a todo público. Existen numerosos bots o participantes falsos que intentan acceder a la encuesta y generar datos inválidos o no confiables. Conviene emplear métodos para prevenir o detectar estas respuestas, tales como códigos captcha, filtros por dirección IP o verificación de correos electrónicos.

Limpieza de datos

Una vez reunidas suficientes respuestas para su encuesta, debe verificar la calidad de los datos antes de proceder al análisis. Mis recomendaciones al respecto son las siguientes:

• Debe depurar los datos eliminando las respuestas incompletas o duplicadas, así como aquellas que hayan fallado en los reactivos de control de atención.
• También puede evaluar la consistencia interna de las escalas estandarizadas que haya empleado.
• Asimismo, conviene examinar las respuestas a las preguntas abiertas, si las hubiera. Algunas personas introducen textos incoherentes, lo que resta confiabilidad a sus registros.

Puede consultar esta publicación sobre la obtención de puntuaciones de validez y confiabilidad en STATA mediante el validscale comando:

[Stata] Convergent and discriminant validity and reliability of subscales: validscale command

Elaboración del libro de códigos

Resulta muy conveniente crear además un libro de códigos que describa sus datos y las variables medidas. Un libro de códigos es un documento que brinda información sobre el origen, la estructura, el contenido y la codificación de los datos. Facilita tanto a usted como a otros investigadores una mejor comprensión de los datos para análisis posteriores o futuras investigaciones.

A continuación se presenta un ejemplo de libro de códigos. Puede situar las características sociodemográficas en la primera página y luego consignar la información de cada una de las medidas, incluyendo los estadísticos descriptivos y la consistencia interna (alfa de Cronbach).

Confío en que esta publicación le haya proporcionado recomendaciones de utilidad para el diseño de encuestas en la investigación en ciencias sociales. ¡Muchas gracias por su lectura!