Diseño de un cuestionario para recopilar información estadísticamente útil sobre un tema determinado
La elaboración de cuestionarios se refiere al diseño de un cuestionario para recopilar información estadísticamente útil sobre un tema determinado. Cuando se elaboran correctamente y se administran de manera responsable, los cuestionarios pueden proporcionar datos valiosos sobre cualquier tema determinado.
Lo que suele denominarse "construcción adecuada del cuestionario" es fundamental para el éxito de una encuesta. Las preguntas inadecuadas, el orden incorrecto de las preguntas, la escala incorrecta o un formato incorrecto del cuestionario pueden hacer que los resultados de la encuesta carezcan de valor, ya que pueden no reflejar con precisión las opiniones y puntos de vista de los participantes.
Existen distintos métodos que pueden resultar útiles para comprobar un cuestionario y asegurarse de que recoge con precisión la información prevista. Algunos consejos iniciales pueden ser:
Consultar a expertos en la materia
utilizando directrices de construcción de cuestionarios para fundamentar los borradores, como el Método de Diseño a Medida [1] o los elaborados por las Organizaciones Estadísticas Nacionales.
Las pruebas empíricas también permiten conocer la calidad del cuestionario. Esto se puede hacer de las siguientes maneras:
Realización de entrevistas cognitivas . Al preguntar a una muestra de posibles encuestados sobre su interpretación de las preguntas y el uso del cuestionario, un investigador puede
Realizar una pequeña prueba previa del cuestionario, utilizando un pequeño subconjunto de encuestados objetivo. Los resultados pueden informar al investigador sobre errores como preguntas faltantes o errores lógicos y de procedimiento.
Estimación de la calidad de la medición de las preguntas. Esto se puede hacer, por ejemplo, utilizando modelos test-retest, [2] cuasi-simplex, [3] o multitrait-multimethod. [4]
Predecir la calidad de la medición de la pregunta. Esto se puede hacer utilizando el software Survey Quality Predictor (SQP). [5]
Elementos de prueba
En el ámbito de las pruebas psicológicas y los cuestionarios , una tarea o pregunta individual se denomina ítem de prueba o elemento . [6] [7] Estos ítems sirven como componentes fundamentales dentro de los cuestionarios y las pruebas psicológicas, a menudo vinculados a un constructo psicológico latente específico (ver operacionalización ). Cada ítem produce un valor, normalmente una puntuación bruta, que se puede agregar en todos los ítems para generar una puntuación compuesta para el rasgo medido.
Los elementos de prueba generalmente abarcan tres componentes principales:
Enunciado del elemento: Representa la pregunta, afirmación o tarea presentada.
Formato de respuesta: La manera en que el encuestado proporciona una respuesta, incluidas las opciones para preguntas de opción múltiple.
Criterios de evaluación: Los criterios utilizados para evaluar y puntuar la respuesta.
El grado de estandarización varía, desde preguntas estrictamente prescritas con respuestas predeterminadas hasta preguntas abiertas con criterios de evaluación subjetivos.
Las respuestas a los ítems de una prueba sirven como indicadores en el ámbito de las ciencias sociales.
Tipos de preguntas
Las preguntas o artículos pueden ser:
Preguntas cerradas : las respuestas de los encuestados se limitan a un conjunto fijo de respuestas.
Opción múltiple : el encuestado tiene varias opciones para elegir.
Preguntas escaladas: las respuestas se califican en un continuo (p. ej.: califique la apariencia del producto en una escala del 1 al 10, siendo 10 la apariencia más preferida). Algunos ejemplos de tipos de escalas incluyen la escala Likert , la escala diferencial semántica y la escala de orden de rango. (Consulte la escala para obtener más información)
Preguntas de matriz: se asignan categorías de respuesta idénticas a varias preguntas. Las preguntas se colocan una debajo de la otra, formando una matriz con categorías de respuesta en la parte superior y una lista de preguntas en el costado. Esto permite un uso eficiente del espacio de la página y del tiempo de los encuestados.
Preguntas abiertas : no se sugieren opciones ni categorías predefinidas. El encuestado proporciona su propia respuesta sin estar limitado por un conjunto fijo de posibles respuestas. Algunos ejemplos son:
Completamente desestructurado: por ejemplo, "¿Cuál es su opinión sobre los cuestionarios?"
Asociación de palabras : se presentan palabras y el encuestado menciona la primera palabra que le viene a la mente.
Completar oraciones : los encuestados completan una oración incompleta. Por ejemplo, "La consideración más importante en mi decisión de comprar una casa nueva es..."
Finalización de la historia: los encuestados completan una historia incompleta.
Completar imagen: los encuestados completan un globo de diálogo vacío .
Prueba de apercepción temática : los encuestados explican una imagen o crean una historia sobre lo que creen que está sucediendo en la imagen.
Pregunta de contingencia: pregunta que se responde solo si el encuestado da una respuesta particular a una pregunta anterior. Esto evita hacer preguntas a personas que no son de su interés (por ejemplo, preguntarles a los hombres si alguna vez estuvieron embarazados).
En la investigación y la práctica de las ciencias sociales , los cuestionarios se utilizan con mayor frecuencia para recopilar datos cuantitativos utilizando escalas de múltiples ítems con las siguientes características: [8]
Se presentan múltiples afirmaciones o preguntas (mínimo ≥3; generalmente ≥5) para cada variable examinada.
Cada afirmación o pregunta tiene un conjunto de puntos de respuesta equidistantes (generalmente entre 5 y 7).
Cada punto de respuesta tiene un ancla verbal que lo acompaña (por ejemplo, “totalmente de acuerdo”) que asciende de izquierda a derecha.
Los anclajes verbales deben equilibrarse para reflejar intervalos iguales entre los puntos de respuesta.
En conjunto, un conjunto de puntos de respuesta y los puntos de apoyo verbales que los acompañan se denominan escala de calificación . Una escala de calificación que se utiliza con mucha frecuencia es la escala Likert .
Por lo general, para mayor claridad y eficiencia, se presenta un único conjunto de anclas para múltiples escalas de calificación en un cuestionario.
En conjunto, una afirmación o pregunta acompañada de una escala de calificación se denomina elemento.
Cuando varios ítems miden la misma variable de manera confiable y válida , se les denomina colectivamente escala multiítem o escala psicométrica .
Los cuestionarios utilizados para recopilar datos cuantitativos suelen comprender varias escalas de varios ítems, junto con una sección introductoria y otra final.
Los métodos de prueba previa pueden ser cuantitativos o cualitativos y pueden llevarse a cabo en un entorno de laboratorio o en el campo. [9] [10] [11]
La entrevista cognitiva examina el proceso de pensamiento del encuestado mientras responde las preguntas o después. El entrevistador le indica al encuestado que piense en voz alta o le administra preguntas verbales. [12] También se puede realizar en línea sin un entrevistador. [13]
Las pruebas de usabilidad se centran en cómo las personas interactúan con la encuesta, como navegar por la encuesta, ingresar respuestas a la encuesta y encontrar información de ayuda.
Las viñetas son descripciones breves de situaciones hipotéticas que se presentan a los participantes de la investigación para examinar sus decisiones relevantes para la encuesta. [14] [15]
La codificación conductual (o codificación de conducta) monitorea las interacciones verbales del entrevistador y el encuestado en entrevistas en vivo o grabadas, o a partir de transcripciones. Se identifican preguntas que necesitan reparación cuando se codifican ciertos comportamientos con frecuencia, como cuando los encuestados piden aclaraciones. [16] [17]
La revisión por expertos es realizada por un experto individual o un panel de expertos en el diseño del cuestionario para identificar posibles problemas y soluciones. [18]
Las comparaciones experimentales prueban el impacto de los elementos revisados comparándolos con los elementos originales. [9]
Un enfoque de métodos múltiples ayuda a triangular los resultados. Por ejemplo, se pueden combinar entrevistas cognitivas, pruebas de usabilidad, codificación de comportamiento y/o viñetas para realizar pruebas previas. [15] [19] [11]
Cuestiones relacionadas con la elaboración del cuestionario
Antes de diseñar una encuesta, es recomendable considerar cómo se utilizarán los resultados de la investigación. Si los resultados no influirán en el proceso de toma de decisiones, los presupuestos no permiten implementar los hallazgos o el costo de la investigación supera su utilidad, entonces no tiene mucho sentido realizar la investigación.
Los objetivos de la investigación y el marco de referencia deben definirse de antemano, incluido el contexto del cuestionario en cuanto a tiempo, presupuesto, personal, intrusión y privacidad. Los tipos de preguntas (por ejemplo, cerradas, de opción múltiple, abiertas) deben ajustarse a las técnicas de análisis de datos disponibles y a los objetivos de la encuesta.
La forma (aleatoria o no) y la ubicación (marco de muestreo) para seleccionar a los encuestados determinarán si los resultados serán representativos de la población más grande .
El nivel de medición (conocido como escala , índice o tipología) determinará lo que se puede concluir a partir de los datos. Una pregunta de sí/no solo revelará cuántos de los integrantes del grupo de muestra respondieron sí o no, sin la resolución necesaria para determinar una respuesta promedio. La naturaleza de las respuestas esperadas debe definirse y conservarse para su interpretación.
Un método común consiste en "investigar en sentido inverso" para elaborar un cuestionario, determinando primero la información que se busca (es decir, la marca A es más o menos preferida por un x% de la muestra en comparación con la marca B, y un y% en comparación con la marca C), y luego asegurándose de hacer todas las preguntas necesarias para obtener las métricas para el informe. Se deben evitar las preguntas innecesarias, ya que son un gasto para el investigador y una imposición no deseada para los encuestados. Todas las preguntas deben contribuir a los objetivos de la investigación.
Los temas deben ajustarse al marco de referencia de los encuestados, ya que sus antecedentes pueden afectar su interpretación de las preguntas. Los encuestados deben tener suficiente información o experiencia para responder las preguntas con veracidad. El estilo de redacción debe ser coloquial, pero conciso y preciso, y adecuado al público objetivo y al tema en cuestión. La redacción debe ser sencilla, sin vocabulario técnico o especializado. Las palabras ambiguas, las estructuras de oraciones equívocas y las negaciones pueden causar malentendidos y posiblemente invalidar los resultados del cuestionario. Las negaciones dobles deben reformularse como positivas.
Si una pregunta de la encuesta contiene más de una pregunta , el investigador no sabrá cuál de ellas está respondiendo el encuestado. Se debe tener cuidado de hacer una sola pregunta a la vez.
Las preguntas y las respuestas preparadas (para opciones múltiples) deben ser neutrales en cuanto al resultado esperado. Una pregunta o un cuestionario tendencioso incentiva a los encuestados a responder de una manera en lugar de otra. [20] Incluso las preguntas sin sesgo pueden dejar a los encuestados con expectativas. El orden o la agrupación de las preguntas también es relevante; las primeras preguntas pueden sesgar las preguntas posteriores. Las preguntas cargadas evocan respuestas emocionales y pueden sesgar los resultados.
La lista de respuestas preparadas debe ser exhaustiva en su conjunto; una solución es utilizar una categoría final para escribir "otro ________". Las posibles respuestas también deben ser mutuamente excluyentes, sin superposición. Los encuestados no deben encontrarse en más de una categoría, por ejemplo, en la categoría de "casado" y en la categoría de "soltero" (en tal caso, puede ser necesario formular preguntas separadas sobre el estado civil y la situación de vida).
Muchas personas no responden a preguntas personales o íntimas. Por este motivo, las preguntas sobre edad, ingresos, estado civil, etc. se suelen incluir al final de la encuesta. De esta forma, incluso si el encuestado se niega a responder estas preguntas, ya habrá respondido a las preguntas de la investigación.
La presentación visual de las preguntas en la página (o en la pantalla de la computadora) y el uso de espacios en blanco, colores, imágenes, cuadros u otros gráficos pueden afectar el interés del encuestado o distraerlo de las preguntas. Hay cuatro elementos de diseño principales: palabras (significado), números (secuencia), símbolos (por ejemplo, flechas) y gráficos (por ejemplo, cuadros de texto). [1] En los cuestionarios traducidos, los elementos de diseño también tienen en cuenta la práctica de escritura (por ejemplo, las palabras en español son más largas y requieren más espacio en la página o en la pantalla de la computadora) y la orientación del texto (por ejemplo, el árabe se lee de derecha a izquierda) para evitar la falta de datos. [21] [22]
Los cuestionarios pueden ser administrados por personal de investigación, por voluntarios o por los propios encuestados. En ambos casos se necesitan instrucciones claras y detalladas que se adapten a las necesidades de cada público.
Métodos de recolección
Existen varios canales o modos que se pueden utilizar para administrar un cuestionario. Cada uno de ellos tiene sus puntos fuertes y débiles, por lo que, por lo general, el investigador deberá adaptar el cuestionario a los modos que vaya a utilizar. Por ejemplo, un cuestionario diseñado para ser completado en papel puede no funcionar de la misma manera si se administra por teléfono. Estos efectos modales pueden ser lo suficientemente importantes como para amenazar la validez de la investigación.
El uso de múltiples modos puede mejorar el acceso a la población de interés cuando algunos miembros tienen un acceso diferente o tienen preferencias particulares.
Redacción de la pregunta
La forma en que se formula una pregunta puede tener un gran impacto en cómo un participante de la investigación responderá a la pregunta. [26] Por lo tanto, los investigadores de encuestas deben ser conscientes de su redacción al escribir las preguntas de la encuesta. [26] Es importante que los investigadores tengan en cuenta que diferentes individuos, culturas y subculturas pueden interpretar ciertas palabras y frases de manera diferente entre sí. [26]
Hay dos tipos diferentes de preguntas que los investigadores de encuestas utilizan al escribir un cuestionario: preguntas de respuesta libre y preguntas cerradas. [26] Las preguntas de respuesta libre son abiertas, mientras que las preguntas cerradas suelen ser de opción múltiple. [26] Las preguntas de respuesta libre son beneficiosas porque permiten al encuestado una mayor flexibilidad, pero también son muy difíciles de registrar y puntuar, lo que requiere una codificación extensa. [26] En contraste, las preguntas cerradas se pueden puntuar y codificar más fácilmente, pero disminuyen la expresividad y la espontaneidad del encuestado. [26] Algunos problemas con la redacción de las preguntas son obvios y pueden ser intencionales, particularmente en pseudoencuestas, cuyos patrocinadores buscan resultados específicos. [27] Los problemas de redacción pueden surgir en temas rutinarios en encuestas legítimas. [27] Si la redacción de las preguntas puede afectar la medición de cuestiones relativamente objetivas, como la edad de una persona, el número de hijos en una familia o la frecuencia con la que se ven las noticias, entonces ¿cuánto podría afectar la redacción a fenómenos más subjetivos? [27]
En general, el vocabulario de una pregunta debe ser muy simple y directo, y preferiblemente de menos de veinte palabras. [26] Cada pregunta debe editarse para facilitar su lectura y debe evitar preguntas capciosas o capciosas. [26] Si se utilizan múltiples preguntas para medir un constructo, algunas de las preguntas deben redactarse en la dirección opuesta para evitar el sesgo de respuesta. [26]
La respuesta de un encuestado a una pregunta abierta puede codificarse posteriormente en una escala de respuestas [28] o analizarse utilizando métodos más cualitativos. Dos estudios demuestran tanto la importancia de la redacción de las preguntas como el impacto diferencial que puede tener en diferentes subconjuntos de ciudadanos [27] . El primer estudio examinó cómo el uso de los términos "calentamiento global" frente a "cambio climático" influyó en las opiniones de los estadounidenses sobre el medio ambiente cambiante del mundo [29] . Otro estudio también demuestra la importancia de la redacción de las preguntas y cómo afecta a subconjuntos de encuestados [30] .
Secuencia de preguntas
Las preguntas deben fluir de manera lógica, de lo general a lo específico, de lo menos a lo más delicado, de cuestiones fácticas y de comportamiento a actitudes y opiniones. Cuando se formulan de manera semiautomatizada, deben fluir de preguntas sin ayuda a preguntas con ayuda. El investigador debe asegurarse de que la respuesta a una pregunta no esté influida por preguntas anteriores.
Según la teoría de las tres etapas (también llamada teoría del sándwich), las preguntas deben formularse en tres etapas: [ cita requerida ]
^ ab Dillman, Don A., Smyth, Jolene D., Christian, Leah Melani. 2014. Encuestas por Internet, teléfono, correo postal y de modalidad mixta: el método de diseño personalizado, 4.ª edición. John Wiley: Hoboken, NJ
^ Lord, Frederic M. (1968). Teorías estadísticas de las puntuaciones de las pruebas mentales . Addison-Wesley Publishing Company. OCLC 769112327.[ página necesaria ]
^ Heise, David R. (febrero de 1969). "Separación de la fiabilidad y la estabilidad en la correlación test-retest". American Sociological Review . 34 (1): 93–101. doi :10.2307/2092790. JSTOR 2092790.
^ Andrews, Frank M. (1984). "Validez de constructo y componentes de error de las medidas de encuesta: un enfoque de modelado estructural". Public Opinion Quarterly . 48 (2): 409–42=42. doi :10.1086/268840.
^ Saris, Willem E.; Gallhofer, Irmtraud N., eds. (2014). Diseño, evaluación y análisis de cuestionarios para la investigación mediante encuestas . doi :10.1002/9781118634646. ISBN978-1-118-63461-5.[ página necesaria ]
^ Osterlind, Steven J. (2002). "Definición, propósito y características de los ítems". Construcción de ítems de prueba . Evaluación en educación y servicios humanos. Vol. 47. págs. 17–57. doi :10.1007/0-306-47535-9_2. ISBN0-7923-8077-0.
^ Haladyna, Thomas M.; Rodriguez, Michael C. (2013). Desarrollo y validación de elementos de prueba . doi :10.4324/9780203850381. ISBN978-1-136-96198-4.[ página necesaria ]
^ ab Robinson, Mark A. (mayo de 2018). "Uso de escalas psicométricas de múltiples ítems para la investigación y la práctica en la gestión de recursos humanos". Gestión de recursos humanos . 57 (3): 739–750. doi :10.1002/hrm.21852.
^ ab Presser, S.; Couper, MP; Lessler, JT; Martin, E.; Martin, J.; Rothgeb, JM; Singer, E. (marzo de 2004). "Métodos para probar y evaluar preguntas de encuesta". Public Opinion Quarterly . 68 (1): 109–130. doi :10.1093/poq/nfh008.
^ Rothgeb, Jennifer (2008). "Prueba piloto". En Lavrakas, Paul (ed.). Enciclopedia de métodos de investigación de encuestas . Sage Publishing . doi :10.4135/9781412963947. ISBN .9781412918084.
^ ab Tourangeau, Roger; Maitland, Aaron; Steiger, Darby; Yan, Ting (2020). "Un marco para tomar decisiones sobre métodos de evaluación de preguntas". Avances en el diseño, desarrollo, evaluación y prueba de cuestionarios . págs. 47–73. doi :10.1002/9781119263685.ch3. ISBN978-1-119-26362-3.
^ "Web Probing". GESIS - Instituto Leibniz de Ciencias Sociales . Consultado el 24 de octubre de 2023 .
^ Martin, Elizabeth (2004). "Viñetas y preguntas para el encuestado sobre el diseño y la evaluación de cuestionarios". Métodos para probar y evaluar cuestionarios de encuestas . pp. 149–171. doi :10.1002/0471654728.ch8. ISBN978-0-471-45841-8.
^ ab Sha, Mandy (1 de agosto de 2016). "El uso de viñetas en la evaluación de ítems de cuestionarios sobre lenguas asiáticas". Survey Practice . 9 (3): 1–8. doi :10.29115/SP-2016-0013.
^ Ongena, Yfke; Dijkstra, Wil (2006). "Métodos de codificación del comportamiento en entrevistas de encuesta" (PDF) . Revista de estadísticas oficiales . 22 (3): 419–451.
^ Kapousouz, Evgenia; Johnson, Timothy; Holbrook, Allyson (2020). "Buscando aclaraciones para preguntas problemáticas: efectos del lenguaje de la entrevista y la aculturación del encuestado". En Sha, Mandy; Gabel, Tim (eds.). El papel esencial del lenguaje en la investigación de encuestas . RTI Press. págs. 23–46. doi : 10.3768/rtipress.bk.0023.2004 . ISBN978-1-934831-23-6.
^ Yan, T.; Kreuter, F.; Tourangeau, R (diciembre de 2012). "Evaluación de preguntas de encuesta: una comparación de métodos". Revista de estadísticas oficiales . 28 (4): 503–529.
^ Aizpurua, Eva (2020). "Métodos de preevaluación en la investigación transcultural". En Sha, Mandy; Gabel, Tim (eds.). El papel esencial del lenguaje en la investigación mediante encuestas . págs. 129–150. doi :10.3768/rtipress.bk.0023.2004. ISBN978-1-934831-24-3.
^ Graeff, Timothy R. (2005). "Sesgo de respuesta". Enciclopedia de medición social . pp. 411–418. doi :10.1016/B0-12-369398-5/00037-2. ISBN978-0-12-369398-3.
^ Pan, Yuling; Sha, Mandy; Park, Hyunjoo (2019). Sociolingüística de la traducción de encuestas . doi :10.4324/9780429294914. ISBN978-0-429-29491-4.[ página necesaria ]
^ M. Mandy, Sha; Wang, Kevin (2013). "Una comparación de los resultados de una encuesta por correo en español e inglés: efectos de la ubicación de las instrucciones en la falta de ítems". Métodos de encuesta . doi :10.13094/SMIF-2013-00006.
^ Kreuter, F.; Presser, S.; Tourangeau, R. (diciembre de 2008). "Sesgo de deseabilidad social en encuestas CATI, IVR y web: los efectos del modo y la sensibilidad de las preguntas". Public Opinion Quarterly . 72 (5): 847–865. doi :10.1093/poq/nfn063.
^ Holbrook, Allyson L.; Green, Melanie C.; Krosnick, Jon A. (2003). "Entrevistas telefónicas versus cara a cara de muestras probabilísticas nacionales con cuestionarios largos". Public Opinion Quarterly . 67 (1): 79–125. doi :10.1086/346010.
^ abcdefghij Shaughnessy, J.; Zechmeister, E.; Jeanne, Z. (2011). Métodos de investigación en psicología (novena edición). Nueva York, NY: McGraw Hill . pp. 161–175. ISBN9780078035180.
^ abcd Asher, Herb (2017). Encuestas y público, 9.ª edición .
^ Mellenbergh, GJ (2008). Capítulo 9: Encuestas. En HJ Adèr y GJ Mellenbergh (Eds.) (con contribuciones de DJ Hand), Asesoramiento sobre métodos de investigación: un compañero del consultor (pp. 183-209). Huizen, Países Bajos: Johannes van Kessel Publishing.
^ Schuldt, JP; Konrath, SH; Schwarz, N. (1 de marzo de 2011). "'Calentamiento global' o 'cambio climático': Si el planeta se está calentando depende de la formulación de las preguntas". Public Opinion Quarterly . 75 (1): 115–124. doi :10.1093/poq/nfq073.
^ McCarthy, Justin (18 de junio de 2014). "Siete de cada diez estadounidenses apoyan la eutanasia". Gallup .
Lectura adicional
Reynolds, Cecil R.; Altmann, Robert A.; Allen, Daniel N. (2021). "Desarrollo de ítems". Dominando las pruebas psicológicas modernas . págs. 223–262. doi :10.1007/978-3-030-59455-8_6. ISBN 978-3-030-59454-1.
