stringtranslate.com

Pruebas cognitivas previas

La prueba cognitiva previa , o entrevista cognitiva , es un método de investigación de campo en el que se recopilan datos sobre cómo responde el sujeto a las preguntas de la entrevista. Es la evaluación de una prueba o cuestionario antes de su administración. [1] Permite a los investigadores de encuestas recopilar comentarios sobre las respuestas de la encuesta y se utiliza para evaluar si la pregunta mide el constructo que el investigador pretende. Los datos recopilados se utilizan luego para ajustar las preguntas problemáticas en el cuestionario antes de realizar la encuesta a la muestra completa de personas. [2] [3] [4] [5] [6]

La entrevista cognitiva generalmente recoge la siguiente información de los participantes: evaluaciones sobre cómo el sujeto construyó sus respuestas; explicaciones sobre lo que el sujeto interpreta que significan las preguntas; informe de cualquier dificultad que el sujeto tuvo para responder las preguntas; y cualquier otra cosa que revele las circunstancias de las respuestas del sujeto.

Las pruebas cognitivas previas se consideran esenciales para comprobar la validez de una entrevista, una prueba o un cuestionario. [7]

Objetivo

El propósito de estas pruebas previas es:

Tipos

En general, existen muchos métodos que se utilizan para realizar una prueba cognitiva previa, entre ellos: la prueba convencional, la entrevista cognitiva, la codificación de la conducta, la sesión informativa con los encuestados, la discusión en grupo, la revisión por parte de expertos, el seguimiento ocular y la exploración web. [1]

Prueba previa convencional : es similar a un ensayo que intenta imitar y modelar cómo será la prueba o entrevista real. Una simulación de una prueba o entrevista real que se lleva a cabo antes de la prueba real. Cualquiera que sea el método utilizado en la entrevista o prueba real, debe usarse en este método de prueba previa. [1] [8]

Pruebas cognitivas previas (entrevistas cognitivas) : muy similares a las pruebas previas convencionales. Sin embargo, se les pregunta activamente a los participantes sobre las preguntas mientras realizan la prueba. Se realizan durante la entrevista o prueba. [1] [6]

También se pueden presentar de múltiples formas diferentes, incluyendo: encuestas escritas, encuestas orales, encuestas electrónicas [4]

Técnicas

Hay ciertas técnicas que el entrevistador implementa en las pruebas cognitivas previas para extraer la información necesaria para garantizar una buena entrevista o cuestionario.

La técnica de pensar en voz alta: se produce cuando el entrevistador le pide al entrevistado que exprese en voz alta sus pensamientos y cómo llegó a la respuesta. Esto puede ocurrir simultáneamente (durante) o retrospectivamente (después) de la entrevista. [1] [2]

Técnica de sondeo : se produce cuando el entrevistador le hace al entrevistado una o más preguntas de seguimiento. "Sondea" sobre las preguntas formuladas, la terminología utilizada o incluso las respuestas. [1] [2] Los sondeos pueden ser concurrentes (durante la tarea, pero sin interrumpirla) o retrospectivos (después de la tarea). [9]

Parafrasear: esto ocurre cuando el entrevistador le pide al entrevistado que use sus propias palabras para repetir la pregunta. Esto prueba que las preguntas sean comprensibles. [1]

Índice de confianza : esto ocurre cuando el entrevistador le pregunta al entrevistado sobre su confianza en cuán correctamente respondió la pregunta. [1]

Clasificación o Sorting de Tarjetas - Esto ocurre cuando el entrevistador pregunta al entrevistado o intenta entender cómo el entrevistado categoriza ciertas situaciones o incluso términos. [1] [9]

Viñetas : son descripciones breves de uno o más personajes hipotéticos (similares a las viñetas utilizadas en experimentos psicológicos y sociológicos o viñetas de anclaje en la investigación de encuestas cuantitativas) y se utilizan para investigar el procesamiento cognitivo del encuestado con respecto a sus decisiones relevantes para la encuesta. [9] [10]

Sondeo web: esta técnica implementa técnicas de sondeo cognitivo mediante entrevistas en encuestas web. Sus puntos fuertes son la estandarización, el anonimato y una cobertura amplia y rápida, ya que se administra a través de la web. Sin embargo, el sondeo web solo puede llegar a grupos de población en línea, hay falta de respuesta en el sondeo y no se puede hacer un seguimiento de las respuestas insuficientes desde una perspectiva de contenido. [11] [12]

Participantes y reclutamiento

El tamaño de la muestra es un tema muy importante en las pruebas preliminares. Es habitual utilizar muestras pequeñas de entre 5 y 15 participantes. Si bien algunos investigadores sugieren que lo mejor es que el tamaño de la muestra sea de al menos 30 personas y que siempre es mejor que haya más, [13] la mejor práctica actual es diseñar la investigación en rondas para volver a probar los cambios. Por ejemplo, al realizar pruebas preliminares de un cuestionario, es más útil realizar 3 rondas de 9 participantes que 1 ronda de 27. [9]

Hay dos métodos diferentes para informar a los participantes sobre el cuestionario: pruebas previas de participación y pruebas previas no declaradas. [4]

Investigación transcultural

Al realizar entrevistas cognitivas en idiomas distintos del inglés, investigaciones recientes recomiendan no restringir la selección de la muestra y el reclutamiento a monolingües que no hablan inglés, lo que era una práctica común entre los investigadores de encuestas. [14] [15] Al reclutar encuestados difíciles de alcanzar y las características de los encuestados mediante un muestreo intencional, el reclutamiento basado en la comunidad (boca a boca, respaldo de los líderes de la comunidad) funciona mejor que los anuncios. [16] [17] [18]

Uso por parte de investigadores de encuestas

Las entrevistas cognitivas son practicadas regularmente por agencias federales de los EE. UU., incluida la Oficina del Censo , [19] [20] el Centro Nacional de Estadísticas de Salud (NCHS), [21] y la Oficina de Estadísticas Laborales . [22] El NCHS mantiene una base de datos de agencias estadounidenses e internacionales que han llevado a cabo proyectos de entrevistas cognitivas y han contribuido con informes a su depósito, como la Fundación Nacional de Ciencias y GESIS - Instituto Leibniz para las Ciencias Sociales . [23]

La entrevista cognitiva transcultural se practica para evaluar la equivalencia de las preguntas de la encuesta y las fuentes de dificultades, así como para reparar problemas relacionados con la traducción. [24] [25] Debido a las diferencias en los estilos de comunicación y las normas culturales, se necesitan adaptaciones en la configuración [26] y el diseño del protocolo, [27] el uso de viñetas [10] y la investigación verbal. [28]

Normas

En octubre de 2016, la Oficina de Administración y Presupuesto de los Estados Unidos (OMB) emitió la Directiva de Política Estadística N.° 2, Anexo: Estándares y pautas para entrevistas cognitivas, que incluía siete estándares para entrevistas cognitivas realizadas por o para estudios federales de los Estados Unidos.[1] Otro estándar propuesto por los investigadores es el Marco de informes de entrevistas cognitivas (CIRF), que aplica una lista de verificación de 10 categorías para aclarar lo que se hizo durante las entrevistas cognitivas y cómo se sacaron conclusiones en función de los procedimientos y resultados de esas entrevistas. [29] Además, se recomienda un enfoque de gestión de proyectos al gestionar estudios de entrevistas cognitivas. [30] En el caso de las encuestas traducidas, las técnicas de entrevistas cognitivas, la selección y el reclutamiento de participantes y el enfoque de gestión de proyectos deben adaptarse para aumentar su idoneidad para su uso. [27]

Referencias

  1. ^ abcdefghij Lenzner, Timo; Neuert, Cornelia; Otto, Wanda (2016). "Pruebas previas cognitivas". Directrices de la encuesta Gesis . doi :10.15465/gesis-sg_es_010.
  2. ^ abc Tilley, Barbara C.; LaPelle, Nancy R.; Goetz, Christopher G.; Stebbins, Glenn T. (2014). "Uso de pruebas cognitivas previas en el desarrollo de escalas para la enfermedad de Parkinson: ejemplo de la Escala de calificación unificada de la enfermedad de Parkinson (MDS-UPDRS) de la Sociedad de trastornos del movimiento". Revista de la enfermedad de Parkinson . 4 (3): 395–404. doi :10.3233/JPD-130310. ISSN  1877-7171. PMC 5086096 . PMID  24613868. 
  3. ^ "Pruebas preliminares: pautas para encuestas transculturales". ccsg.isr.umich.edu . Consultado el 18 de julio de 2020 .
  4. ^ abcdef "Writing@CSU". writing.colostate.edu . Consultado el 18 de julio de 2020 .
  5. ^ Grimm, Pamela (2010), "Prueba previa de un cuestionario", Wiley International Encyclopedia of Marketing , Sociedad Estadounidense del Cáncer, doi :10.1002/9781444316568.wiem02051, ISBN 978-1-4443-1656-8
  6. ^ abcd Babonea, Alina-Mihaela; Voicu, Mirela-Cristina (abril de 2011). "Pruebas previas de cuestionarios en investigación de marketing". Desafíos de la sociedad del conocimiento . 1 . Rumania: Nicolae Titulescu University Publishing House: 1323–1330. ISSN  2068-7796.
  7. ^ "GESIS - Instituto Leibniz de Ciencias Sociales". www.gesis.org . Consultado el 18 de julio de 2020 .
  8. ^ Hu, Shu (2014), "Pretesting", en Michalos, Alex C. (ed.), Enciclopedia de investigación sobre calidad de vida y bienestar , Dordrecht: Springer Netherlands, págs. 5048-5052, doi :10.1007/978-94-007-0753-5_2256, ISBN 978-94-007-0753-5
  9. ^ abcd Willis, Gordon (2005). Entrevista cognitiva: una herramienta para mejorar el diseño de cuestionarios . Sage. p. 146. ISBN 9780761928041.
  10. ^ ab Sha, Mandy (1 de agosto de 2016). "El uso de viñetas en la evaluación de ítems de cuestionarios sobre lenguas asiáticas". Survey Practice . 9 (3): 1–8. doi : 10.29115/SP-2016-0013 .
  11. ^ "Web Probing". GESIS - Instituto Leibniz de Ciencias Sociales . Consultado el 24 de octubre de 2023 .
  12. ^ Fowler, Stephanie; B. Willis, Gordon (2 de enero de 2020), Beatty, Paul; Collins, Debbie; Kaye, Lyn; Padilla, Jose Luis (eds.), "La práctica de la entrevista cognitiva a través del sondeo web", Advances in Questionnaire Design, Development, Evaluation and Testing (1.ª ed.), Wiley, págs. 451–469, doi :10.1002/9781119263685.ch18, ISBN 978-1-119-26362-3, consultado el 24 de octubre de 2023
  13. ^ Perneger, Thomas V.; Courvoisier, Delphine S.; Hudelson, Patricia M.; Gayet-Ageron, Angèle (1 de enero de 2015). "Tamaño de muestra para pruebas previas de cuestionarios". Quality of Life Research . 24 (1): 147–151. doi :10.1007/s11136-014-0752-2. ISSN  1573-2649. PMID  25008261. S2CID  22314144.
  14. ^ Park, Hyunjoo; Sha, M. Mandy; Willis, Gordon (noviembre de 2016). "Influencia del dominio del inglés en el procesamiento cognitivo de las preguntas de la encuesta". Métodos de campo . 28 (4): 415–430. doi :10.1177/1525822X16630262. ISSN  1525-822X.
  15. ^ Goerman, Patricia L.; Meyers, Mikelyn; Sha, Mandy (12 de octubre de 2018), Johnson, Timothy P.; Pennell, Beth-Ellen; Stoop, Ineke AL; Dorer, Brita (eds.), "Trabajando hacia un significado comparable de versiones en diferentes idiomas de instrumentos de encuesta: ¿los encuestados monolingües y bilingües de las pruebas cognitivas ayudan a descubrir los mismos problemas?", Advances in Comparative Survey Methods (1.ª ed.), Wiley, págs. 251–269, doi :10.1002/9781118884997.ch12, ISBN 978-1-118-88498-0, consultado el 24 de octubre de 2023
  16. ^ Sha, M. Mandy; Park, Hyunjoo; Liu, Lu (1 de octubre de 2013). "Explorando la eficiencia y utilidad de los métodos para reclutar participantes de investigación cualitativa que no hablan inglés". Survey Practice . 6 (3): 1–8. doi : 10.29115/SP-2013-0015 .
  17. ^ Park, Hyunjoo; Sha, M. Mandy (1 de junio de 2014). "Evaluación de la eficiencia de los métodos para reclutar participantes asiáticos en la investigación". Revista de estadísticas oficiales . 30 (2): 335–354. doi : 10.2478/jos-2014-0020 .
  18. ^ Sha, Mandy; Moncada, Jennifer (1 de junio de 2017). "Técnicas exitosas para reclutar participantes hispanos y latinos en investigaciones". Survey Practice . 10 (3): 1–9. doi : 10.29115/SP-2017-0014 .
  19. ^ Virgile, M.; Katz, J.; Tuttle, D.; Terry, R.; Graber, J. (2019). "Cognitive Pretesting of 2019 American Housing Survey Modules". Oficina del Censo de los Estados Unidos . Archivado desde el original el 8 de agosto de 2020. Consultado el 20 de mayo de 2020 .
  20. ^ Childs, Jennifer; Sha, Mandy; Peytcheva, Emilia. "Prueba cognitiva de la entrevista de seguimiento de cobertura específica (TCFU)". Documentos de trabajo del censo . Consultado el 4 de octubre de 2023 .
  21. ^ "Q-Bank: evaluación de preguntas para encuestas". wwwn.cdc.gov . Consultado el 5 de noviembre de 2023 .
  22. ^ K, Schwartz, Lisa. "La encuesta sobre el uso del tiempo en Estados Unidos: pruebas cognitivas previas: Monthly Labor Review: Oficina de Estadísticas Laborales de Estados Unidos". www.bls.gov . Consultado el 27 de mayo de 2020 .{{cite web}}: CS1 maint: varios nombres: lista de autores ( enlace )
  23. ^ "Explorar informes por agencia - Q-Bank". wwwn.cdc.gov . Consultado el 5 de noviembre de 2023 .
  24. ^ Willis, Gordon (2 de mayo de 2015). "La práctica de la entrevista cognitiva transcultural". Public Opinion Quarterly . 79 (S1): 359–395. doi :10.1093/poq/nfu092.
  25. ^ Aizpurua, Eva (2020). Sha, Mandy; Gabel, Tim (eds.). Métodos de preevaluación en la investigación transcultural (Capítulo 7) en El papel esencial del lenguaje en la investigación por encuestas . RTI Press. págs. 129–150. doi : 10.3768/rtipress.bk.0023.2004 . ISBN 978-1-934831-23-6.
  26. ^ Park, Hyunjoo; Goerman, Patricia; Sha, Mandy (1 de junio de 2017). "Explorando los efectos de la práctica previa a la entrevista en entrevistas cognitivas en lenguas asiáticas". Práctica de encuesta . 10 (3): 1–11. doi : 10.29115/SP-2017-0019 .
  27. ^ ab Sha, Mandy; Pan, Yuling (1 de diciembre de 2013). "Adaptación y mejora de métodos para gestionar pruebas cognitivas previas de instrumentos de encuesta multilingües". Survey Practice . 6 (4): 1–8. doi : 10.29115/SP-2013-0024 .
  28. ^ Mneimneh, Zeina Nazih (25 de julio de 2018). Sha, Mandy; Behr, Dorothée (eds.). "Probing forsensitive in translateed survey questions: Differences in respondent feedback across cognitive probe types" (Investigación de la sensibilidad en las preguntas de encuesta traducidas: diferencias en la retroalimentación de los encuestados en distintos tipos de sondeos cognitivos). Translation & Interpreting . 10 (número especial sobre la traducción de cuestionarios en la investigación transnacional y transcultural): 73–88. doi :10.12807/ti.110202.2018.a06. ISSN  1836-9324.
  29. ^ Boeije, Hennie; Willis, Gordon (agosto de 2013). "El marco de informes de entrevistas cognitivas (CIRF)". Metodología . 9 (3): 87–95. doi :10.1027/1614-2241/a000075. ISSN  1614-1881.
  30. ^ Sha, Mandy; Childs, Jennifer Hunter (1 de agosto de 2014). "Aplicación de un enfoque de gestión de proyectos a proyectos de investigación de encuestas que utilizan métodos cualitativos". Survey Practice . 7 (4): 1–8. doi : 10.29115/SP-2014-0021 .