En estadística , los datos faltantes o valores faltantes se producen cuando no se almacena ningún valor de datos para la variable en una observación . Los datos faltantes son una ocurrencia común y pueden tener un efecto significativo en las conclusiones que se pueden extraer de los datos.
La falta de datos puede deberse a la falta de respuesta: no se proporciona información para uno o más ítems o para una unidad completa ("tema"). Algunos ítems tienen más probabilidades de generar una falta de respuesta que otros: por ejemplo, ítems sobre temas privados como los ingresos. La deserción es un tipo de falta de datos que puede ocurrir en estudios longitudinales, por ejemplo, en estudios de desarrollo donde una medición se repite después de un cierto período de tiempo. La falta de datos ocurre cuando los participantes abandonan antes de que finalice la prueba y faltan una o más mediciones.
En las investigaciones sobre economía , sociología y ciencias políticas , a menudo faltan datos porque los gobiernos o las entidades privadas deciden no informar o no lo hacen [1] , o porque la información no está disponible. A veces, la falta de valores se debe al investigador, por ejemplo, cuando la recopilación de datos se realiza de forma incorrecta o se cometen errores en la introducción de datos. [2]
Estas formas de datos faltantes adoptan diferentes tipos, con diferentes impactos en la validez de las conclusiones de la investigación: datos faltantes completamente aleatorios, datos faltantes aleatorios y datos faltantes no aleatorios. Los datos faltantes se pueden manejar de manera similar a los datos censurados .
Comprender las razones por las que faltan datos es importante para manejar correctamente los datos restantes. Si los valores faltan de manera completamente aleatoria, es probable que la muestra de datos siga siendo representativa de la población. Pero si los valores faltan de manera sistemática, el análisis puede estar sesgado. Por ejemplo, en un estudio sobre la relación entre el coeficiente intelectual y los ingresos, si los participantes con un coeficiente intelectual superior a la media tienden a omitir la pregunta "¿Cuál es su salario?", los análisis que no tienen en cuenta esta falta aleatoria (patrón MAR (ver más abajo)) pueden fallar falsamente en encontrar una asociación positiva entre el coeficiente intelectual y el salario. Debido a estos problemas, los metodólogos aconsejan rutinariamente a los investigadores que diseñen estudios para minimizar la ocurrencia de valores faltantes. [2] Se pueden utilizar modelos gráficos para describir en detalle el mecanismo de datos faltantes. [3] [4]
Los valores en un conjunto de datos faltan completamente al azar (MCAR) si los eventos que llevan a que falte un elemento de datos en particular son independientes tanto de las variables observables como de los parámetros de interés no observables, y ocurren completamente al azar. [5] Cuando los datos son MCAR, el análisis realizado sobre los datos es imparcial; sin embargo, los datos rara vez son MCAR.
En el caso de MCAR, la falta de datos no está relacionada con ninguna variable de estudio: por lo tanto, los participantes con datos observados en su totalidad son, en efecto, una muestra aleatoria de todos los participantes a los que se les asignó una intervención en particular. Con MCAR, se supone que se conserva la asignación aleatoria de tratamientos, pero esa suele ser una suposición poco realista en la práctica. [6]
La falta de datos al azar (MAR, por sus siglas en inglés) ocurre cuando la falta de datos no es aleatoria, sino que puede explicarse completamente mediante variables para las que existe información completa. [7] Dado que MAR es un supuesto que es imposible de verificar estadísticamente, debemos confiar en su razonabilidad sustantiva. [8] Un ejemplo es que los hombres tienen menos probabilidades de completar una encuesta sobre depresión, pero esto no tiene nada que ver con su nivel de depresión, después de tener en cuenta la masculinidad. Dependiendo del método de análisis, estos datos aún pueden inducir sesgo de parámetros en los análisis debido al vacío contingente de las celdas (hombres, depresión muy alta pueden tener cero entradas). Sin embargo, si el parámetro se estima con máxima verosimilitud de información completa, MAR proporcionará estimaciones asintóticamente imparciales. [ cita requerida ]
Los datos que faltan no son aleatorios (MNAR) (también conocidos como falta de respuesta no ignorable) son datos que no son MAR ni MCAR (es decir, el valor de la variable que falta está relacionado con el motivo por el que falta). [5] Para ampliar el ejemplo anterior, esto ocurriría si los hombres no completaran una encuesta sobre depresión debido a su nivel de depresión.
Samuelson y Spirer (1992) analizaron cómo la falta o la distorsión de los datos sobre demografía, aplicación de la ley y salud podrían ser indicadores de patrones de violaciones de los derechos humanos. Ofrecieron varios ejemplos bastante bien documentados. [9]
La falta de datos también puede surgir de maneras sutiles que no se explican bien en la teoría clásica. Un problema cada vez más frecuente es el de que los datos pueden no ser MAR pero los valores faltantes muestran una asociación o estructura, ya sea explícita o implícitamente. Esta falta se ha descrito como "falta estructurada". [10]
Los valores faltantes estructurados surgen comúnmente cuando se combina información de múltiples estudios, cada uno de los cuales puede variar en su diseño y conjunto de mediciones y, por lo tanto, solo contener un subconjunto de variables de la unión de las modalidades de medición. En estas situaciones, los valores faltantes pueden estar relacionados con las diversas metodologías de muestreo utilizadas para recopilar los datos o reflejar características de la población de interés más amplia, y por lo tanto pueden brindar información útil. Por ejemplo, en un contexto de salud, se ha observado que los valores faltantes estructurados son consecuencia de la vinculación de datos clínicos, genómicos y de imágenes. [10]
La presencia de datos faltantes estructurados puede ser un obstáculo para hacer un uso eficaz de los datos a escala, incluso a través de métodos estadísticos clásicos y de aprendizaje automático actuales. Por ejemplo, puede haber un sesgo inherente en las razones por las que algunos datos pueden faltar en los patrones, lo que puede tener implicaciones en la equidad predictiva de los modelos de aprendizaje automático. Además, los métodos establecidos para tratar los datos faltantes, como la imputación , no suelen tener en cuenta la estructura de los datos faltantes, por lo que es necesario desarrollar nuevas formulaciones para tratar los datos faltantes estructurados de forma adecuada o eficaz. Por último, la caracterización de los datos faltantes estructurados dentro del marco clásico de MCAR, MAR y MNAR es un trabajo en progreso. [11]
Los datos faltantes reducen la representatividad de la muestra y, por lo tanto, pueden distorsionar las inferencias sobre la población. En términos generales, existen tres enfoques principales para manejar los datos faltantes: (1) imputación , donde los valores se completan en lugar de los datos faltantes, (2) omisión , donde las muestras con datos inválidos se descartan del análisis posterior y (3) análisis , mediante la aplicación directa de métodos que no se ven afectados por los valores faltantes. Una revisión sistemática que abordó la prevención y el manejo de los datos faltantes para la investigación de resultados centrados en el paciente identificó 10 estándares como necesarios para la prevención y el manejo de los datos faltantes. Estos incluyen estándares para el diseño del estudio, la realización del estudio, el análisis y la presentación de informes. [12]
En algunas aplicaciones prácticas, los experimentadores pueden controlar el nivel de valores faltantes y evitar que falten antes de recopilar los datos. Por ejemplo, en los cuestionarios informáticos, a menudo no es posible saltarse una pregunta. Hay que responder a una pregunta, de lo contrario no se puede pasar a la siguiente. Por lo tanto, los valores faltantes debidos al participante se eliminan con este tipo de cuestionario, aunque es posible que un comité de ética que supervise la investigación no permita este método. En la investigación por encuestas, es común hacer múltiples esfuerzos para contactar a cada individuo de la muestra, a menudo enviando cartas para intentar persuadir a quienes han decidido no participar para que cambien de opinión. [13] : 161–187 Sin embargo, estas técnicas pueden ayudar o perjudicar en términos de reducir los efectos inferenciales negativos de los datos faltantes, porque el tipo de personas que están dispuestas a ser persuadidas para participar después de negarse inicialmente o no estar en casa es probable que sean significativamente diferentes de los tipos de personas que seguirán negándose o seguirán siendo inalcanzables después de un esfuerzo adicional. [13] : 188–198
En situaciones en las que es probable que se produzcan valores faltantes, a menudo se aconseja al investigador que planifique el uso de métodos de análisis de datos que sean robustos ante valores faltantes. Un análisis es robusto cuando estamos seguros de que las violaciones leves a moderadas de los supuestos clave de la técnica producirán poco o ningún sesgo o distorsión en las conclusiones extraídas sobre la población.
Algunas técnicas de análisis de datos no son robustas a la falta de datos y requieren "rellenar" o imputar los datos faltantes. Rubin (1987) sostuvo que repetir la imputación incluso unas pocas veces (5 o menos) mejora enormemente la calidad de la estimación. [2] Para muchos propósitos prácticos, 2 o 3 imputaciones capturan la mayor parte de la eficiencia relativa que podría capturarse con un mayor número de imputaciones. Sin embargo, un número demasiado pequeño de imputaciones puede conducir a una pérdida sustancial de poder estadístico , y algunos académicos ahora recomiendan de 20 a 100 o más. [14] Cualquier análisis de datos imputados múltiples debe repetirse para cada uno de los conjuntos de datos imputados y, en algunos casos, las estadísticas relevantes deben combinarse de una manera relativamente complicada. [2] La imputación múltiple no se lleva a cabo en disciplinas específicas, ya que hay una falta de capacitación o conceptos erróneos sobre ellas. [15] Se han utilizado métodos como la eliminación por lista para imputar datos, pero se ha descubierto que introduce sesgo adicional. [16] Hay una guía para principiantes que proporciona instrucciones paso a paso sobre cómo imputar datos. [17]
El algoritmo de maximización de expectativas es un método en el que se estiman (imputan) los valores de las estadísticas que se calcularían si se dispusiera de un conjunto de datos completo, teniendo en cuenta el patrón de datos faltantes. En este método, normalmente no se imputan los valores de los elementos de datos faltantes individuales.
En el campo matemático del análisis numérico, la interpolación es un método para construir nuevos puntos de datos dentro del rango de un conjunto discreto de puntos de datos conocidos.
En la comparación de dos muestras pareadas con datos faltantes, una estadística de prueba que utiliza todos los datos disponibles sin necesidad de imputación es la prueba t de muestras parcialmente superpuestas. [18] Esto es válido bajo normalidad y suponiendo MCAR.
Los métodos que implican reducir los datos disponibles a un conjunto de datos que no tenga valores faltantes incluyen:
Métodos que tienen plenamente en cuenta toda la información disponible, sin la distorsión resultante de utilizar valores imputados como si fueran realmente observados:
También pueden utilizarse métodos de identificación parcial . [21]
Las técnicas basadas en modelos, que a menudo utilizan gráficos, ofrecen herramientas adicionales para probar los tipos de datos faltantes (MCAR, MAR, MNAR) y para estimar parámetros en condiciones de datos faltantes. Por ejemplo, una prueba para refutar MAR/MCAR se lee de la siguiente manera:
Para cualesquiera tres variables X, Y y Z , donde Z se observa completamente y X e Y se observan parcialmente, los datos deben satisfacer: .
En palabras, la porción observada de X debería ser independiente del estado de falta de Y, condicional a cada valor de Z. No satisfacer esta condición indica que el problema pertenece a la categoría MNAR. [22]
(Observación: Estas pruebas son necesarias para el MAR basado en variables, que es una ligera variación del MAR basado en eventos. [23] [24] [25] )
Cuando los datos caen en la categoría MNAR, existen técnicas para estimar de manera consistente los parámetros cuando se cumplen ciertas condiciones en el modelo. [3] Por ejemplo, si Y explica la razón de la falta de valores en X e Y en sí tiene valores faltantes, la distribución de probabilidad conjunta de X e Y aún se puede estimar si la falta de valores en Y es aleatoria. El estimando en este caso será:
donde y denotan las porciones observadas de sus respectivas variables.
Distintas estructuras de modelo pueden producir distintos estimandos y distintos procedimientos de estimación siempre que sea posible una estimación consistente. El estimando anterior exige primero estimar a partir de datos completos y multiplicarlo por el estimado a partir de casos en los que se observa Y independientemente del estado de X. Además, para obtener una estimación consistente es crucial que el primer término sea opuesto a .
En muchos casos, las técnicas basadas en modelos permiten que la estructura del modelo se someta a pruebas de refutación. [25] Cualquier modelo que implique la independencia entre una variable parcialmente observada X y el indicador de falta de otra variable Y (es decir , ), condicional a, puede someterse a la siguiente prueba de refutación: .
Finalmente, los estimandos que surgen de estas técnicas se derivan en forma cerrada y no requieren procedimientos iterativos como la Maximización de Expectativas que son susceptibles a óptimos locales. [26]
Una clase especial de problemas surge cuando la probabilidad de que se pierdan datos depende del tiempo. Por ejemplo, en las bases de datos de traumatismos, la probabilidad de perder datos sobre el resultado del trauma depende del día posterior al trauma. En estos casos se aplican varios modelos de cadena de Markov no estacionarios. [27]
