La validez externa es la validez de aplicar las conclusiones de un estudio científico fuera del contexto de ese estudio. [1] En otras palabras, es la medida en que los resultados de un estudio pueden generalizarse o transportarse a otras situaciones, personas, estímulos y épocas. [2] [3] La generalización se refiere a la aplicabilidad de una muestra predefinida a una población más amplia, mientras que la transportabilidad se refiere a la aplicabilidad de una muestra a otra población objetivo. [2] Por el contrario, la validez interna es la validez de las conclusiones extraídas en el contexto de un estudio particular.
El análisis matemático de la validez externa se refiere a determinar si la generalización entre poblaciones heterogéneas es factible y a diseñar métodos estadísticos y computacionales que produzcan generalizaciones válidas. [4]
Al establecer la validez externa, los académicos tienden a identificar el "alcance" del estudio, que se refiere a la aplicabilidad o limitaciones de la teoría o argumento del estudio. [2] Esto implica definir la muestra del estudio y la población más amplia que representa la muestra. [2]
"Una amenaza a la validez externa es una explicación de cómo uno podría equivocarse al hacer una generalización a partir de los hallazgos de un estudio en particular". [5] En la mayoría de los casos, la generalización es limitada cuando el efecto de un factor (es decir, la variable independiente ) depende de otros factores. Por lo tanto, todas las amenazas a la validez externa pueden describirse como interacciones estadísticas . [6] Algunos ejemplos incluyen:
Tenga en cuenta que la validez externa de un estudio está limitada por su validez interna . Si una inferencia causal hecha dentro de un estudio no es válida, entonces las generalizaciones de esa inferencia a otros contextos también serán inválidas.
Cook y Campbell [7] hicieron la distinción crucial entre generalizar a una determinada población y generalizar a subpoblaciones definidas por diferentes niveles de algún factor de fondo. Lynch ha argumentado que casi nunca es posible generalizar a poblaciones significativas excepto como una instantánea de la historia, pero es posible probar el grado en que el efecto de alguna causa sobre alguna variable dependiente se generaliza entre subpoblaciones que varían en algún factor de fondo. Eso requiere una prueba de si el efecto del tratamiento que se investiga está moderado por interacciones con uno o más factores de fondo. [6] [8]
Mientras que enumerar las amenazas a la validez puede ayudar a los investigadores a evitar generalizaciones injustificadas, muchas de esas amenazas pueden desarmarse o neutralizarse de manera sistemática para permitir una generalización válida. Específicamente, los hallazgos experimentales de una población pueden "reprocesarse" o "recalibrarse" para evitar las diferencias poblacionales y producir generalizaciones válidas en una segunda población, donde no se pueden realizar experimentos. Pearl y Bareinboim [4] clasificaron los problemas de generalización en dos categorías: (1) aquellos que se prestan a una recalibración válida y (2) aquellos donde la validez externa es teóricamente imposible. Utilizando cálculo basado en gráficos, [9] derivaron una condición necesaria y suficiente para que una instancia de problema permitiera una generalización válida, e idearon algoritmos que producen automáticamente la recalibración necesaria, siempre que exista. [10] Esto reduce el problema de la validez externa a un ejercicio de teoría de grafos y ha llevado a algunos filósofos a concluir que el problema ya está resuelto. [11]
Una variante importante del problema de la validez externa tiene que ver con el sesgo de selección , también conocido como sesgo de muestreo , es decir, el sesgo creado cuando los estudios se realizan en muestras no representativas de la población prevista. Por ejemplo, si se realiza un ensayo clínico con estudiantes universitarios, es posible que un investigador desee saber si los resultados se generalizan a toda la población, donde atributos como la edad, la educación y los ingresos difieren sustancialmente de los de un estudiante típico. El método basado en gráficos de Bareinboim y Pearl identifica las condiciones bajo las cuales se puede evitar el sesgo de selección de la muestra y, cuando se cumplen estas condiciones, el método construye un estimador insesgado del efecto causal promedio en toda la población. La principal diferencia entre la generalización a partir de estudios con muestras inadecuadas y la generalización entre poblaciones dispares radica en el hecho de que las disparidades entre poblaciones suelen ser causadas por factores preexistentes, como la edad o el origen étnico, mientras que el sesgo de selección a menudo es causado por condiciones posteriores al tratamiento, por ejemplo, pacientes que abandonaron el estudio o pacientes seleccionados por la gravedad de la lesión. Cuando la selección se rige por factores posteriores al tratamiento, se requieren métodos de recalibración no convencionales para garantizar una estimación libre de sesgos, y estos métodos se obtienen fácilmente a partir del gráfico del problema. [12] [13]
Si se considera que la edad es un factor importante que hace que el efecto del tratamiento varíe de un individuo a otro, entonces las diferencias de edad entre los estudiantes de la muestra y la población general conducirían a una estimación sesgada del efecto promedio del tratamiento en esa población. Sin embargo, dicho sesgo puede corregirse mediante un simple procedimiento de nueva ponderación: tomamos el efecto específico de la edad en la subpoblación de estudiantes y calculamos su promedio utilizando la distribución de edades en la población general. Esto nos daría una estimación insesgada del efecto promedio del tratamiento en la población. Si, por otra parte, el factor relevante que distingue la muestra del estudio de la población general se ve afectado en sí mismo por el tratamiento, entonces será necesario recurrir a un esquema de reponderación diferente. Al llamar a este factor Z , volvemos a promediar el efecto z específico de X sobre Y en la muestra experimental, pero ahora lo ponderamos por el "efecto causal" de X sobre Z. En otras palabras, la nueva ponderación es la proporción de unidades que alcanzaron el nivel Z=z si el tratamiento X=x se hubiera administrado a toda la población. Esta probabilidad de intervención, a menudo escrita [14] , a veces puede estimarse a partir de estudios observacionales en la población general.
Un ejemplo típico de esta naturaleza ocurre cuando Z es un mediador entre el tratamiento y el resultado. Por ejemplo, el tratamiento puede ser un fármaco reductor del colesterol, Z puede ser el nivel de colesterol e Y la esperanza de vida. Aquí, Z se ve afectado por el tratamiento y es un factor importante para determinar el resultado, Y. Supongamos que los sujetos seleccionados para el estudio experimental tienden a tener niveles de colesterol más altos que los típicos en la población general. Para estimar el efecto promedio del fármaco sobre la supervivencia en toda la población, primero calculamos el efecto del tratamiento específico z en el estudio experimental y luego lo promediamos utilizando como función de ponderación. La estimación obtenida estará libre de sesgos incluso cuando Z e Y se confunden, es decir, cuando hay un factor común no medido que afecta tanto a Z como a Y. [15]
Las condiciones precisas que garantizan la validez de este y otros esquemas de ponderación se formulan en Bareinboim y Pearl, 2016 [15] y Bareinboim et al., 2014. [13]
En muchos estudios y diseños de investigación, puede haber un equilibrio entre validez interna y validez externa: [16] [17] [18] Los intentos de aumentar la validez interna también pueden limitar la generalización de los hallazgos, y viceversa. Esta situación ha llevado a muchos investigadores a pedir experimentos "ecológicamente válidos". Con esto quieren decir que los procedimientos experimentales deberían parecerse a las condiciones del "mundo real". Critican la falta de validez ecológica en muchos estudios de laboratorio centrados en entornos restringidos y controlados artificialmente. Algunos investigadores piensan que la validez externa y la validez ecológica están estrechamente relacionadas en el sentido de que las inferencias causales basadas en diseños de investigación ecológicamente válidos a menudo permiten grados más altos de generalización que los obtenidos en un entorno de laboratorio producido artificialmente. Sin embargo, esto nuevamente se relaciona con la distinción entre generalizar a alguna población (estrechamente relacionado con preocupaciones sobre la validez ecológica) y generalizar a subpoblaciones que difieren en algún factor de fondo. Algunos hallazgos producidos en entornos de investigación ecológicamente válidos pueden difícilmente ser generalizables, y algunos hallazgos producidos en entornos altamente controlados pueden reclamar una validez externa casi universal. Por tanto, la validez externa y la ecológica son independientes: un estudio puede poseer validez externa pero no validez ecológica, y viceversa.
Dentro del paradigma de la investigación cualitativa , la validez externa es reemplazada por el concepto de transferibilidad. La transferibilidad es la capacidad de los resultados de una investigación para transferirse a situaciones con parámetros, poblaciones y características similares. [19]
Es común que los investigadores afirmen que los experimentos, por su naturaleza, tienen poca validez externa. Algunos afirman que pueden ocurrir muchos inconvenientes al seguir el método experimental. En virtud de obtener suficiente control sobre la situación como para asignar aleatoriamente a las personas a las condiciones y descartar los efectos de variables extrañas, la situación puede volverse algo artificial y distante de la vida real.
Hay dos tipos de generalizabilidad en cuestión:
Sin embargo, ambas consideraciones pertenecen al concepto de Cook y Campbell de generalizar a alguna población objetivo en lugar de la tarea posiblemente más central de evaluar la generalización de los hallazgos de un experimento entre subpoblaciones que difieren de la situación específica estudiada y personas que difieren de los encuestados. estudiado de alguna manera significativa. [7]
Los críticos de los experimentos sugieren que la validez externa podría mejorarse mediante el uso de entornos de campo (o, como mínimo, entornos de laboratorio realistas) y mediante el uso de muestras probabilísticas reales de los encuestados. Sin embargo, si el objetivo es comprender la generalización entre subpoblaciones que difieren en factores situacionales o personales, estos remedios no tienen la eficacia para aumentar la validez externa que comúnmente se les atribuye. Si existen interacciones de fondo con el tratamiento del factor X que el investigador desconoce (como parece probable), estas prácticas de investigación pueden enmascarar una falta sustancial de validez externa. Dipboye y Flanagan, al escribir sobre psicología industrial y organizacional, señalan que la evidencia es que es igualmente improbable que los hallazgos de un entorno de campo y de un entorno de laboratorio se generalicen a un segundo entorno de campo. [20] Por lo tanto, los estudios de campo no son por su naturaleza de alta validez externa y los estudios de laboratorio no son por su naturaleza baja en validez externa. En ambos casos depende de si el efecto del tratamiento particular estudiado cambiaría con cambios en los factores de fondo que se mantienen constantes en ese estudio. Si el estudio de uno es "poco realista" en el nivel de algún factor de fondo que no interactúa con los tratamientos, no tiene ningún efecto sobre la validez externa. Sólo si un experimento mantiene constante algún factor de fondo a un nivel poco realista y si variar ese factor de fondo hubiera revelado una fuerte interacción Tratamiento x Factor de fondo, la validez externa se ve amenazada. [6]
La investigación en experimentos de psicología realizados en las universidades a menudo es criticada por realizarse en situaciones artificiales y por no poder generalizarse a la vida real. [21] [22] Para resolver este problema, los psicólogos sociales intentan aumentar la generalización de sus resultados haciendo que sus estudios sean lo más realistas posible. Como se señaló anteriormente, esto se hace con la esperanza de generalizarlo a alguna población específica. El realismo per se no ayuda a hacer afirmaciones sobre si los resultados cambiarían si el entorno fuera de alguna manera más realista o si los participantes del estudio fueran colocados en un entorno realista diferente. Si sólo se prueba un entorno, no es posible hacer afirmaciones sobre la generalización entre entornos. [6] [8]
Sin embargo, muchos autores combinan validez externa y realismo. Hay más de una forma en que un experimento puede ser realista:
Esto se refiere al grado en que un experimento es similar a situaciones de la vida real como el realismo mundano del experimento. [21]
Es más importante garantizar que un estudio tenga un alto nivel de realismo psicológico : cuán similares son los procesos psicológicos desencadenados en un experimento con los procesos psicológicos que ocurren en la vida cotidiana. [23]
El realismo psicológico aumenta si las personas se encuentran absortas en un hecho real. Para lograr esto, los investigadores a veces cuentan a los participantes una historia de portada : una descripción falsa del propósito del estudio. Sin embargo, si los experimentadores dijeran a los participantes el propósito del experimento, entonces tal procedimiento carecería de realismo psicológico. En la vida cotidiana, nadie sabe cuándo van a ocurrir las emergencias y la gente no tiene tiempo para planificar respuestas ante ellas. Esto significa que los tipos de procesos psicológicos desencadenados diferirían ampliamente de los de una emergencia real, reduciendo el realismo psicológico del estudio. [3]
La gente no siempre sabe por qué hace lo que hace, o qué hace hasta que sucede. Por lo tanto, describir una situación experimental a los participantes y luego pedirles que respondan normalmente producirá respuestas que pueden no coincidir con el comportamiento de personas que realmente se encuentran en la misma situación. No podemos depender de las predicciones de la gente sobre lo que harían en una situación hipotética; Sólo podemos descubrir qué hará realmente la gente cuando construyamos una situación que desencadene los mismos procesos psicológicos que ocurren en el mundo real.
Los psicólogos sociales estudian la forma en que las personas, en general, son susceptibles a la influencia social. Varios experimentos han documentado un ejemplo interesante e inesperado de influencia social, en el que el mero conocimiento de que había otros presentes reducía la probabilidad de que la gente ayudara.
La única manera de estar seguro de que los resultados de un experimento representan el comportamiento de una población en particular es garantizar que los participantes sean seleccionados al azar de esa población. Las muestras de los experimentos no pueden seleccionarse al azar tal como se hace en las encuestas porque resulta poco práctico y costoso seleccionar muestras aleatorias para experimentos de psicología social. Ya es bastante difícil convencer a una muestra aleatoria de personas para que acepten responder algunas preguntas por teléfono como parte de una encuesta política, y realizar dichas encuestas puede costar miles de dólares. Además, incluso si de alguna manera se pudiera reclutar una muestra verdaderamente aleatoria, puede haber heterogeneidad no observada en los efectos de los tratamientos experimentales... Un tratamiento puede tener un efecto positivo en algunos subgrupos pero un efecto negativo en otros. Los efectos mostrados en los promedios de tratamiento pueden no generalizarse a ningún subgrupo. [6] [24]
Muchos investigadores abordan este problema estudiando los procesos psicológicos básicos que hacen que las personas sean susceptibles a la influencia social, asumiendo que estos procesos son tan fundamentales que son universalmente compartidos. Algunos procesos de los psicólogos sociales varían en diferentes culturas y, en esos casos, es necesario estudiar diversas muestras de personas. [25]
La prueba definitiva de la validez externa de un experimento es la replicación : realizar el estudio nuevamente, generalmente con diferentes poblaciones de sujetos o en diferentes entornos. Los investigadores suelen utilizar diferentes métodos para ver si aún obtienen los mismos resultados.
Cuando se realizan muchos estudios de un problema, los resultados pueden variar. Varios estudios podrían encontrar un efecto del número de espectadores sobre la conducta de ayuda, mientras que otros no. Para que esto tenga sentido, existe una técnica estadística llamada metanálisis que promedia los resultados de dos o más estudios para ver si el efecto de una variable independiente es confiable. Básicamente, un metanálisis nos dice la probabilidad de que los hallazgos de muchos estudios sean atribuibles al azar o a la variable independiente. Si se descubre que una variable independiente tiene un efecto sólo en uno de 20 estudios, el metanálisis le dirá que ese estudio fue una excepción y que, en promedio, la variable independiente no influye en la variable dependiente. Si una variable independiente tiene un efecto en la mayoría de los estudios, es probable que el metanálisis nos diga que, en promedio, sí influye en la variable dependiente.
Puede haber fenómenos fiables que no se limiten al laboratorio. Por ejemplo, se ha descubierto que aumentar el número de espectadores inhibe la conducta de ayuda con muchos tipos de personas, incluidos niños, estudiantes universitarios y futuros ministros; [25] en Israel; [26] en pueblos pequeños y grandes ciudades de Estados Unidos; [27] en una variedad de entornos, como laboratorios de psicología, calles de la ciudad y trenes subterráneos; [28] y con una variedad de tipos de emergencias, como convulsiones, posibles incendios, peleas y accidentes, [29] así como con eventos menos graves, como un pinchazo. [30] Muchas de estas replicaciones se han realizado en entornos de la vida real donde las personas no podrían haber sabido que se estaba llevando a cabo un experimento.
Al realizar experimentos en psicología, algunos creen que siempre existe un equilibrio entre la validez interna y la externa.
Algunos investigadores creen que una buena manera de aumentar la validez externa es realizando experimentos de campo . En un experimento de campo, se estudia el comportamiento de las personas fuera del laboratorio, en su entorno natural. Un experimento de campo tiene un diseño idéntico a un experimento de laboratorio, excepto que se lleva a cabo en un entorno de la vida real. Los participantes en un experimento de campo no son conscientes de que los acontecimientos que experimentan son en realidad un experimento. Algunos afirman que la validez externa de un experimento de este tipo es alta porque se lleva a cabo en el mundo real, con personas reales que son más diversas que una muestra típica de estudiantes universitarios. Sin embargo, como los entornos del mundo real difieren dramáticamente, los hallazgos en un entorno del mundo real pueden generalizarse o no a otro entorno del mundo real. [20]
Ni la validez interna ni la externa se capturan en un solo experimento. Los psicólogos sociales optan primero por la validez interna, realizando experimentos de laboratorio en los que se asigna a personas aleatoriamente a diferentes condiciones y se controlan todas las variables extrañas. Otros psicólogos sociales prefieren la validez externa al control y realizan la mayor parte de sus investigaciones en estudios de campo, y muchos hacen ambas cosas. En conjunto, ambos tipos de estudios cumplen con los requisitos del experimento perfecto. A través de la replicación, los investigadores pueden estudiar una pregunta de investigación determinada con la máxima validez interna y externa. [31]
