stringtranslate.com

Pruebas cognitivas previas

La prueba previa cognitiva , o entrevista cognitiva , es un método de investigación de campo en el que se recopilan datos sobre cómo el sujeto responde a las preguntas de la entrevista. Es la evaluación de una prueba o cuestionario antes de su administración. [1] Permite a los investigadores de encuestas recopilar comentarios sobre las respuestas de la encuesta y se utiliza para evaluar si la pregunta mide el constructo que pretende el investigador. Los datos recopilados se utilizan luego para ajustar las preguntas problemáticas del cuestionario antes de realizar la encuesta a la muestra completa de personas. [2] [3] [4] [5] [6]

La entrevista cognitiva generalmente recopila la siguiente información de los participantes: evaluaciones sobre cómo el sujeto construyó sus respuestas; explicaciones sobre lo que el sujeto interpreta que significan las preguntas; informar de cualquier dificultad que haya tenido el sujeto para responder las preguntas; y cualquier otra cosa que revele las circunstancias de las respuestas del sujeto.

Las pruebas previas cognitivas se consideran esenciales para comprobar la validez de una entrevista, prueba o cuestionario. [7]

Objetivo

El propósito de estas pruebas previas es:

Tipos

En general, se practican muchos métodos al realizar una prueba preliminar cognitiva. Incluyendo: pruebas previas convencionales, entrevistas cognitivas, codificación de comportamiento, interrogatorio al encuestado, discusión en grupo, revisión de expertos, seguimiento ocular y sondeo web. [1]

Prueba previa convencional : es similar a un ensayo que intenta imitar y modelar cómo será la prueba o entrevista real. Una simulación de prueba o entrevista real que se realiza con anterioridad a la real. Cualquiera que sea el método utilizado en la entrevista o prueba real, se debe utilizar en este método de prueba previa. [1] [8]

Pruebas previas cognitivas (entrevistas cognitivas) : muy similares a las pruebas previas convencionales. Sin embargo, a los participantes se les pregunta activamente sobre las preguntas mientras realizan el examen. Se lleva a cabo durante la entrevista o prueba. [dieciséis ]

También se pueden presentar de múltiples maneras diferentes, incluidas: encuestas escritas, encuestas orales, encuestas electrónicas [4]

Técnicas

Existen ciertas técnicas que el entrevistador implementa en las pruebas previas cognitivas para extraer la información necesaria para asegurar una buena entrevista o cuestionario.

La técnica de pensar en voz alta : ocurre cuando el entrevistador le pide al entrevistado que exprese sus pensamientos y cómo llegó a su respuesta. Esta puede ser concurrente (durante) o retrospectiva (después) de la entrevista. [1] [2]

Técnica de sondeo : ocurre cuando el entrevistador le hace al entrevistado una o más preguntas de seguimiento. Ellos 'indagan' sobre las preguntas formuladas, la terminología utilizada o incluso las respuestas. [1] [2] Las sondas pueden ser concurrentes (durante la tarea pero sin interrumpir la tarea) o retrospectivas (después de la tarea). [9]

Parafrasear: esto ocurre cuando el entrevistador le pide al entrevistado que use sus propias palabras para repetir la pregunta. Esto prueba para asegurarse de que las preguntas sean comprensibles. [1]

Calificación de confianza : esto ocurre cuando el entrevistador le pregunta al entrevistado sobre su confianza en qué tan correctamente respondió la pregunta. [1]

Clasificación o clasificación de tarjetas : esto ocurre cuando el entrevistador le pregunta al entrevistado o intenta comprender cómo el entrevistado categoriza ciertas situaciones o incluso términos. [1] [9]

Viñetas : son descripciones breves de uno o más personajes hipotéticos (similares a las viñetas utilizadas en experimentos psicológicos y sociológicos o viñetas de anclaje en investigaciones de encuestas cuantitativas) y se utilizan para investigar el procesamiento cognitivo del encuestado con respecto a sus decisiones relevantes para la encuesta. [9] [10]

Sondeo web : esta técnica implementa técnicas de sondeo de entrevistas cognitivas en encuestas web. Sus puntos fuertes incluyen la estandarización, el anonimato y una cobertura amplia y rápida porque se administra a través de la web. Sin embargo, el sondeo web sólo puede llegar a grupos de población en línea, hay falta de respuesta al sondeo y no se pueden realizar seguimientos de respuestas insuficientes desde la perspectiva del contenido. [11] [12]

Participantes y reclutamiento.

El tamaño de la muestra es un tema muy importante en las pruebas previas. Son comunes muestras pequeñas de 5 a 15 participantes. Si bien algunos investigadores sugieren que es mejor si el tamaño de la muestra es de al menos 30 personas y más siempre es mejor, [13] la mejor práctica actual es diseñar la investigación en rondas para volver a probar los cambios. Por ejemplo, al probar previamente un cuestionario, es más útil realizar 3 rondas de 9 participantes que 1 ronda de 27. [9]

Hay dos métodos diferentes para informar a los participantes sobre el cuestionario: pruebas previas participantes y pruebas previas no declaradas. [4]

Investigación transcultural

Al realizar entrevistas cognitivas en idiomas distintos del inglés, investigaciones recientes recomiendan no restringir la selección y el reclutamiento de la muestra a personas monolingües que no hablen inglés, lo cual era una práctica común entre los investigadores de la encuesta. [14] [15] Al reclutar encuestados de difícil acceso y sus características a través de un muestreo intencional, el reclutamiento basado en la comunidad (boca a boca, respaldo de los líderes comunitarios) funciona mejor que los anuncios. [16] [17] [18]

Uso por investigadores de encuestas

Las agencias federales de EE. UU. practican regularmente la entrevista cognitiva, incluida la Oficina del Censo , [19] [20] el Centro Nacional de Estadísticas de Salud (NCHS), [21] y la Oficina de Estadísticas Laborales . [22] El NCHS mantiene una base de datos de agencias estadounidenses e internacionales que han llevado a cabo proyectos de entrevistas cognitivas y han contribuido con informes a su depósito, como la Fundación Nacional de Ciencias y GESIS – Instituto Leibniz de Ciencias Sociales . [23]

La entrevista cognitiva transcultural se practica para evaluar la equivalencia de las preguntas de la encuesta y las fuentes de dificultades, así como para reparar problemas relacionados con la traducción. [24] [25] Debido a las diferencias en los estilos de comunicación y las normas culturales, se necesitan adaptaciones en la configuración y el diseño del protocolo [26] , [27] el uso de viñetas, [10] y el sondeo verbal. [28]

Estándares

En octubre de 2016, la Oficina de Gestión y Presupuesto de EE. UU . (OMB) emitió el Anexo n.° 2 de la Directiva de Política Estadística: Estándares y pautas para entrevistas cognitivas que incluía siete estándares para entrevistas cognitivas realizadas por o para estudios federales de EE. UU.[1] Otro estándar propuesto por los investigadores es el Marco de Informes de Entrevistas Cognitivas (CIRF) que aplica una lista de verificación de 10 categorías para dejar claro qué se hizo durante las entrevistas cognitivas y cómo se llegaron a las conclusiones basadas en los procedimientos y resultados de esas entrevistas. [29] Además, se recomienda un enfoque de gestión de proyectos al gestionar estudios de entrevistas cognitivas. [30] Para las encuestas traducidas, las técnicas de entrevista cognitiva, la selección y reclutamiento de participantes y el enfoque de gestión de proyectos deben adaptarse para aumentar su idoneidad para su uso. [27]

Referencias

  1. ^ abcdefghij Lenzner, Timo; Neuert, Cornelia; Otto, Wanda (2016). "Pruebas previas cognitivas". Directrices de la encuesta Gesis . doi :10.15465/gesis-sg_es_010.
  2. ^ a b C Tilley, Barbara C.; LaPelle, Nancy R.; Goetz, Christopher G.; Stebbins, Glenn T. (2014). "Uso de pruebas previas cognitivas en el desarrollo de escalas para la enfermedad de Parkinson: ejemplo de la escala de calificación unificada de la enfermedad de Parkinson de la sociedad de trastornos del movimiento (MDS-UPDRS)". Revista de la enfermedad de Parkinson . 4 (3): 395–404. doi :10.3233/JPD-130310. ISSN  1877-7171. PMC 5086096 . PMID  24613868. 
  3. ^ "Pruebas previas: directrices para encuestas interculturales". ccsg.isr.umich.edu . Consultado el 18 de julio de 2020 .
  4. ^ abcdef "Escritura @ CSU". escribiendo.colostate.edu . Consultado el 18 de julio de 2020 .
  5. ^ Grimm, Pamela (2010), "Prueba previa de un cuestionario", Enciclopedia internacional de marketing de Wiley , Sociedad Estadounidense del Cáncer, doi :10.1002/9781444316568.wiem02051, ISBN 978-1-4443-1656-8
  6. ^ abcd Babonea, Alina-Mihaela; Voicu, Mirela-Cristina (abril de 2011). "Cuestionarios previos a la prueba en investigación de mercados". Retos de la Sociedad del Conocimiento . Rumania: Editorial de la Universidad Nicolae Titulescu. 1 : 1323-1330. ISSN  2068-7796.
  7. ^ "GESIS - Instituto Leibniz de Ciencias Sociales". www.gesis.org . Consultado el 18 de julio de 2020 .
  8. ^ Hu, Shu (2014), "Pretesting", en Michalos, Alex C. (ed.), Encyclopedia of Quality of Life and Well-Being Research , Dordrecht: Springer Holanda, págs. 5048–5052, doi :10.1007/978 -94-007-0753-5_2256, ISBN 978-94-007-0753-5
  9. ^ abcd Willis, Gordon (2005). Entrevista cognitiva: una herramienta para mejorar el diseño de cuestionarios . Sabio. pag. 146.ISBN​ 9780761928041.
  10. ^ ab Sha, Mandy (1 de agosto de 2016). "El uso de viñetas en la evaluación de elementos del cuestionario de idiomas asiáticos". Práctica de encuesta . 9 (3). doi : 10.29115/SP-2016-0013 .
  11. ^ "Sondeo web". GESIS - Instituto Leibniz de Ciencias Sociales . Consultado el 24 de octubre de 2023 .
  12. ^ Cazador de aves, Stephanie; B. Willis, Gordon (2 de enero de 2020), Beatty, Paul; Collins, Debbie; Kaye, Lyn; Padilla, José Luis (eds.), "La práctica de la entrevista cognitiva mediante sondeo web", Avances en el diseño, desarrollo, evaluación y pruebas de cuestionarios (1 ed.), Wiley, págs. 451–469, doi :10.1002/9781119263685. capítulo 18, ISBN 978-1-119-26362-3, recuperado el 24 de octubre de 2023
  13. ^ Perneger, Thomas V.; Courvoisier, Delphine S.; Hudelson, Patricia M.; Gayet-Ageron, Angèle (1 de enero de 2015). "Tamaño de muestra para pruebas previas de cuestionarios". Investigación sobre calidad de vida . 24 (1): 147-151. doi :10.1007/s11136-014-0752-2. ISSN  1573-2649. PMID  25008261. S2CID  22314144.
  14. ^ Parque, Hyunjoo; Sha, M. Mandy; Willis, Gordon (noviembre de 2016). "Influencia del dominio del idioma inglés en el procesamiento cognitivo de las preguntas de la encuesta". Métodos de campo . 28 (4): 415–430. doi :10.1177/1525822X16630262. ISSN  1525-822X.
  15. ^ Goerman, Patricia L.; Meyers, Mikelyn; Sha, Mandy (12 de octubre de 2018), Johnson, Timothy P.; Pennell, Beth-Ellen; Agacharse, Ineke AL; Dorer, Brita (eds.), "Trabajando hacia un significado comparable de diferentes versiones lingüísticas de los instrumentos de encuesta: ¿Ayudan los encuestados de pruebas cognitivas monolingües y bilingües a descubrir los mismos problemas?", Avances en métodos de encuesta comparativos (1 ed.), Wiley, págs. 251–269, doi :10.1002/9781118884997.ch12, ISBN 978-1-118-88498-0, recuperado el 24 de octubre de 2023
  16. ^ Sha, M. Mandy; Parque, Hyunjoo; Liu, Lu (1 de octubre de 2013). "Explorando la eficiencia y utilidad de métodos para reclutar participantes en investigaciones cualitativas que no hablen inglés". Práctica de encuesta . 6 (3). doi : 10.29115/SP-2013-0015 .
  17. ^ Parque, Hyunjoo; Sha, M. Mandy (1 de junio de 2014). "Evaluación de la eficacia de los métodos para reclutar participantes asiáticos en investigaciones". Revista de Estadísticas Oficiales . 30 (2): 335–354. doi : 10.2478/jos-2014-0020 .
  18. ^ Sha, Mandy; Moncada, Jennifer (1 de junio de 2017). "Técnicas exitosas para reclutar participantes de investigación hispanos y latinos". Práctica de encuesta . 10 (3). doi : 10.29115/SP-2017-0014 .
  19. ^ Virgilio, M.; Katz, J.; Tuttle, D.; Terry, R.; Graber, J. (2019). "Prueba cognitiva previa de los módulos de la encuesta de vivienda estadounidense de 2019". Oficina del Censo de Estados Unidos . Archivado desde el original el 8 de agosto de 2020 . Consultado el 20 de mayo de 2020 .
  20. ^ Niños, Jennifer; Sha, Mandy; Peytcheva, Emilia. "Prueba cognitiva de la entrevista de seguimiento de cobertura dirigida (TCFU)". Documentos de trabajo del censo . Consultado el 4 de octubre de 2023 .
  21. ^ "Q-Bank: Evaluación de preguntas para encuestas". wwwn.cdc.gov . Consultado el 5 de noviembre de 2023 .
  22. ^ K, Schwartz, Lisa. "La encuesta estadounidense sobre el uso del tiempo: pruebas previas cognitivas: revisión laboral mensual: Oficina de estadísticas laborales de EE. UU.". www.bls.gov . Consultado el 27 de mayo de 2020 .{{cite web}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace )
  23. ^ "Explore informes por agencia - Q-Bank". wwwn.cdc.gov . Consultado el 5 de noviembre de 2023 .
  24. ^ Willis, Gordon (2 de mayo de 2015). "La práctica de la entrevista cognitiva transcultural". Opinión Pública Trimestral . 79 (T1): 359–395.
  25. ^ Aizpurua, Eva (2020). Sha, Mandy; Gabel, Tim (eds.). Métodos de prueba preliminar en la investigación transcultural (Capítulo 7) en El papel esencial del lenguaje en la investigación por encuestas . Prensa RTI. págs. 129-150. doi : 10.3768/rtipress.bk.0023.2004 . ISBN 978-1-934831-23-6.
  26. ^ Parque, Hyunjoo; Goerman, Patricia; Sha, Mandy (1 de junio de 2017). "Exploración de los efectos de la práctica previa a la entrevista en entrevistas cognitivas en idiomas asiáticos". Práctica de encuesta . 10 (3). doi : 10.29115/SP-2017-0019 .
  27. ^ ab Sha, Mandy; Pan, Yuling (1 de diciembre de 2013). "Adaptación y mejora de métodos para gestionar pruebas previas cognitivas de instrumentos de encuesta multilingües". Práctica de encuesta . 6 (4). doi : 10.29115/SP-2013-0024 .
  28. ^ Mneimneh, Zeina Nazih (25 de julio de 2018). Sha, Mandy; Behr, Dorothée (eds.). "Sondeo de sensibilidad en las preguntas de la encuesta traducidas: diferencias en los comentarios de los encuestados entre tipos de sonda cognitiva". Traducción e Interpretación . 10 (número especial sobre traducción de cuestionarios en investigaciones transnacionales y transculturales): 73–88. ISSN  1836-9324.
  29. ^ Boeije, Hennie; Willis, Gordon (agosto de 2013). "El marco de informes de entrevistas cognitivas (CIRF)". Metodología . 9 (3): 87–95. doi :10.1027/1614-2241/a000075. ISSN  1614-1881.
  30. ^ Sha, Mandy; Niños, Jennifer Hunter (1 de agosto de 2014). "Aplicar un enfoque de gestión de proyectos a proyectos de investigación de encuestas que utilizan métodos cualitativos". Práctica de encuesta . 7 (4). doi : 10.29115/SP-2014-0021 .