La vinculación de registros (también conocida como coincidencia de datos , enlace de datos , resolución de entidades y muchos otros términos) es la tarea de encontrar registros en un conjunto de datos que hacen referencia a la misma entidad en diferentes fuentes de datos (por ejemplo, archivos de datos, libros, sitios web y bases de datos). La vinculación de registros es necesaria cuando se unen diferentes conjuntos de datos basados en entidades que pueden o no compartir un identificador común (por ejemplo, clave de base de datos , URI , número de identificación nacional ), lo que puede deberse a diferencias en la forma del registro, la ubicación de almacenamiento o el estilo o preferencia del curador. Un conjunto de datos que se ha sometido a una conciliación orientada a RL puede denominarse reticulado .
"Vinculación de registros" es el término que utilizan los estadísticos, epidemiólogos e historiadores, entre otros, para describir el proceso de unir registros de una fuente de datos con otra que describen la misma entidad. Sin embargo, se utilizan muchos otros términos para este proceso. Lamentablemente, esta profusión de terminología ha dado lugar a pocas referencias cruzadas entre estas comunidades de investigación. [1] [2]
Los informáticos suelen referirse a este concepto como "coincidencia de datos" o como "problema de identidad de objetos". Las aplicaciones comerciales de correo y bases de datos lo denominan "procesamiento de fusión/purga" o "lavado de listas". Otros nombres utilizados para describir el mismo concepto son: "resolución de correferencia/entidad/identidad/nombre/registro", "desambiguación/vinculación de entidades", "coincidencia difusa", "detección de duplicados", "desduplicación", "coincidencia de registros", "conciliación (de referencias)", "identificación de objetos", "integración de datos/información" y "combinación". [3]
Si bien comparten nombres similares, la vinculación de registros y los datos vinculados son dos enfoques diferentes para procesar y estructurar datos. Si bien ambos implican la identificación de entidades coincidentes en diferentes conjuntos de datos, la vinculación de registros generalmente equipara las "entidades" con individuos humanos; por el contrario, los datos vinculados se basan en la posibilidad de interconectar cualquier recurso web en diferentes conjuntos de datos, utilizando un concepto de identificador correspondientemente más amplio, a saber, un URI .
La idea inicial de la vinculación de registros se remonta a Halbert L. Dunn en su artículo de 1946 titulado "Record Linkage" publicado en el American Journal of Public Health . [4]
Howard Borden Newcombe luego sentó las bases probabilísticas de la teoría moderna de vinculación de registros en un artículo de 1959 en Science . [5] Estas fueron formalizadas en 1969 por Ivan Fellegi y Alan Sunter, en su trabajo pionero "A Theory For Record Linkage", donde demostraron que la regla de decisión probabilística que describieron era óptima cuando los atributos de comparación eran condicionalmente independientes. [6] En su trabajo reconocieron el creciente interés en aplicar avances en computación y automatización a grandes colecciones de datos administrativos , y la teoría de Fellegi-Sunter sigue siendo la base matemática para muchas aplicaciones de vinculación de registros.
Desde finales de los años 1990, se han desarrollado varias técnicas de aprendizaje automático que, en condiciones favorables, pueden utilizarse para estimar las probabilidades condicionales requeridas por la teoría de Fellegi-Sunter. Varios investigadores han informado que el supuesto de independencia condicional del algoritmo de Fellegi-Sunter a menudo se viola en la práctica; sin embargo, los esfuerzos publicados para modelar explícitamente las dependencias condicionales entre los atributos de comparación no han dado como resultado una mejora en la calidad de la vinculación de registros. [ cita requerida ] Por otro lado, los algoritmos de aprendizaje automático o de redes neuronales que no se basan en estos supuestos a menudo brindan una precisión mucho mayor, cuando se dispone de suficientes datos de entrenamiento etiquetados. [7]
La vinculación de registros se puede realizar completamente sin la ayuda de una computadora, pero las principales razones por las que se utilizan computadoras para completar la vinculación de registros son para reducir o eliminar la revisión manual y hacer que los resultados sean más fácilmente reproducibles. La comparación por computadora tiene las ventajas de permitir la supervisión central del procesamiento, un mejor control de calidad, velocidad, consistencia y una mejor reproducibilidad de los resultados. [8]
La vinculación de registros es muy sensible a la calidad de los datos que se vinculan, por lo que todos los conjuntos de datos en consideración (en particular sus campos de identificadores clave) deberían someterse idealmente a una evaluación de calidad de datos antes de la vinculación de registros. Muchos identificadores clave para la misma entidad pueden presentarse de manera bastante diferente entre conjuntos de datos (e incluso dentro de ellos), lo que puede complicar enormemente la vinculación de registros a menos que se comprenda de antemano. Por ejemplo, los identificadores clave para un hombre llamado William J. Smith podrían aparecer en tres conjuntos de datos diferentes de la siguiente manera:
En este ejemplo, los diferentes estilos de formato dan lugar a registros que parecen diferentes pero que, de hecho, todos hacen referencia a la misma entidad con los mismos valores de identificador lógico. La mayoría de las estrategias de vinculación de registros, si no todas, darían como resultado una vinculación más precisa si estos valores se normalizaran o estandarizaran primero en un formato consistente (por ejemplo, todos los nombres son "Apellido, Nombre de pila" y todas las fechas son "AAAA/MM/DD"). La estandarización se puede lograr mediante transformaciones de datos simples basadas en reglas o procedimientos más complejos, como la tokenización basada en léxico y los modelos probabilísticos ocultos de Markov. [9] Varios de los paquetes enumerados en la sección Implementaciones de software proporcionan algunas de estas características para simplificar el proceso de estandarización de datos.
La resolución de entidades es un proceso de inteligencia operativa , generalmente impulsado por un motor de resolución de entidades o middleware , mediante el cual las organizaciones pueden conectar fuentes de datos dispares con el fin de comprender posibles coincidencias de entidades y relaciones no obvias en múltiples silos de datos . Analiza toda la información relacionada con personas o entidades de múltiples fuentes de datos y luego aplica una puntuación de probabilidad para determinar qué identidades coinciden y qué relaciones no obvias existen, si las hay, entre esas identidades.
Los motores de resolución de entidades se utilizan normalmente para descubrir riesgos , fraudes y conflictos de intereses, pero también son herramientas útiles para su uso en los requisitos de integración de datos de clientes (CDI) y gestión de datos maestros (MDM). Los usos típicos de los motores de resolución de entidades incluyen la detección de terroristas, la detección de fraudes de seguros, el cumplimiento de la Ley Patriota de EE. UU. , la detección de redes de delincuencia organizada minorista y la selección de solicitantes.
Por ejemplo: en distintos silos de datos (registros de empleados, datos de proveedores, listas de vigilancia, etc.), una organización puede tener varias variaciones de una entidad denominada ABC, que pueden ser o no el mismo individuo. De hecho, estas entradas pueden aparecer como ABC1, ABC2 o ABC3 dentro de esas fuentes de datos. Al comparar las similitudes entre los atributos subyacentes, como la dirección , la fecha de nacimiento o el número de la seguridad social , el usuario puede eliminar algunas posibles coincidencias y confirmar otras como coincidencias muy probables.
Los motores de resolución de entidades aplican entonces reglas, basadas en la lógica del sentido común, para identificar relaciones ocultas en los datos. En el ejemplo anterior, tal vez ABC1 y ABC2 no sean el mismo individuo, sino dos personas distintas que comparten atributos comunes, como la dirección o el número de teléfono.
Si bien las soluciones de resolución de entidades incluyen tecnología de comparación de datos, muchas de las ofertas de comparación de datos no se ajustan a la definición de resolución de entidades. A continuación, se presentan cuatro factores que distinguen la resolución de entidades de la comparación de datos, según John Talburt, director del Centro de Investigación Avanzada en Resolución de Entidades y Calidad de la Información de la UALR :
A diferencia de los productos de calidad de datos, los motores de resolución de identidades más potentes también incluyen un motor de reglas y un proceso de flujo de trabajo que aplican inteligencia empresarial a las identidades resueltas y sus relaciones. Estas tecnologías avanzadas toman decisiones automatizadas e impactan en los procesos empresariales en tiempo real, lo que limita la necesidad de intervención humana.
El tipo más simple de vinculación de registros, llamada vinculación de registros determinista o basada en reglas , genera vínculos basados en la cantidad de identificadores individuales que coinciden entre los conjuntos de datos disponibles. [10] Se dice que dos registros coinciden mediante un procedimiento de vinculación de registros determinista si todos o algunos identificadores (por encima de un cierto umbral) son idénticos. La vinculación de registros determinista es una buena opción cuando las entidades en los conjuntos de datos se identifican por un identificador común, o cuando hay varios identificadores representativos (por ejemplo, nombre, fecha de nacimiento y sexo al identificar a una persona) cuya calidad de datos es relativamente alta.
Como ejemplo, considere dos conjuntos de datos estandarizados, el Conjunto A y el Conjunto B, que contienen diferentes bits de información sobre los pacientes en un sistema hospitalario. Los dos conjuntos de datos identifican a los pacientes mediante una variedad de identificadores: Número de Seguro Social (SSN), nombre, fecha de nacimiento (DOB), sexo y código postal (ZIP). Los registros en dos conjuntos de datos (identificados por la columna "#") se muestran a continuación:
La estrategia de vinculación determinista de registros más simple sería elegir un único identificador que se suponga que es de identificación única, por ejemplo, el SSN, y declarar que los registros que comparten el mismo valor identifican a la misma persona, mientras que los registros que no comparten el mismo valor identifican a personas diferentes. En este ejemplo, la vinculación determinista basada en el SSN crearía entidades basadas en A1 y A2; A3 y B1; y A4. Si bien A1, A2 y B2 parecen representar la misma entidad, B2 no se incluiría en la coincidencia porque le falta un valor para el SSN.
El manejo de excepciones como la falta de identificadores implica la creación de reglas de vinculación de registros adicionales. Una de esas reglas en el caso de la falta de SSN podría ser comparar el nombre, la fecha de nacimiento, el sexo y el código postal con otros registros con la esperanza de encontrar una coincidencia. En el ejemplo anterior, esta regla aún no haría coincidir A1/A2 con B2 porque los nombres siguen siendo ligeramente diferentes: la estandarización puso los nombres en el formato adecuado (Apellido, Nombre de pila) pero no pudo discernir "Bill" como un apodo para "William". Pasar los nombres por un algoritmo fonético como Soundex , NYSIIS o metaphone puede ayudar a resolver este tipo de problemas. Sin embargo, aún pueden tropezar con cambios de apellido como resultado de matrimonio o divorcio, pero entonces B2 se coincidiría solo con A1 ya que el código postal en A2 es diferente. Por lo tanto, se necesitaría crear otra regla para determinar si las diferencias en identificadores particulares son aceptables (como el código postal) y cuáles no (como la fecha de nacimiento).
Como demuestra este ejemplo, incluso una pequeña disminución en la calidad de los datos o un pequeño aumento en la complejidad de los mismos puede dar como resultado un gran aumento en la cantidad de reglas necesarias para vincular los registros correctamente. Con el tiempo, estas reglas de vinculación serán demasiado numerosas e interrelacionadas para construirse sin la ayuda de herramientas de software especializadas. Además, las reglas de vinculación suelen ser específicas de la naturaleza de los conjuntos de datos que están diseñadas para vincular. Un estudio logró vincular el Archivo Maestro de Defunciones del Seguro Social con dos registros hospitalarios del Medio Oeste de los Estados Unidos utilizando el SSN, el nombre de pila codificado en NYSIIS, el mes de nacimiento y el sexo, pero estas reglas pueden no funcionar tan bien con conjuntos de datos de otras regiones geográficas o con datos recopilados sobre poblaciones más jóvenes. [11] Por lo tanto, es necesario realizar pruebas de mantenimiento continuas de estas reglas para garantizar que sigan funcionando como se espera a medida que ingresan nuevos datos al sistema y necesitan vincularse. Los nuevos datos que exhiban características diferentes a las esperadas inicialmente podrían requerir una reconstrucción completa del conjunto de reglas de vinculación de registros, lo que podría ser una tarea muy costosa y que demandaría mucho tiempo.
La vinculación probabilística de registros , a veces denominada coincidencia difusa (también fusión probabilística o fusión difusa en el contexto de la fusión de bases de datos), adopta un enfoque diferente para el problema de la vinculación de registros al tener en cuenta una gama más amplia de identificadores potenciales, calcular pesos para cada identificador en función de su capacidad estimada para identificar correctamente una coincidencia o una no coincidencia, y usar estos pesos para calcular la probabilidad de que dos registros dados se refieran a la misma entidad. Los pares de registros con probabilidades superiores a un cierto umbral se consideran coincidencias, mientras que los pares con probabilidades inferiores a otro umbral se consideran no coincidencias; los pares que se encuentran entre estos dos umbrales se consideran "posibles coincidencias" y se pueden tratar en consecuencia (por ejemplo, revisados por humanos, vinculados o no vinculados, según los requisitos). Mientras que la vinculación determinista de registros requiere una serie de reglas potencialmente complejas que se deben programar de antemano, los métodos de vinculación de registros probabilísticos se pueden "entrenar" para que funcionen bien con mucha menos intervención humana.
Muchos algoritmos de vinculación de registros probabilísticos asignan pesos de coincidencia/no coincidencia a los identificadores mediante dos probabilidades llamadas y . La probabilidad es la probabilidad de que un identificador en dos registros no coincidentes concuerde puramente por casualidad. Por ejemplo, la probabilidad para el mes de nacimiento (donde hay doce valores que se distribuyen de manera aproximadamente uniforme) es ; los identificadores con valores que no se distribuyen de manera uniforme tendrán diferentes probabilidades para diferentes valores (posiblemente incluidos los valores faltantes). La probabilidad es la probabilidad de que un identificador en pares coincidentes concuerde (o sea suficientemente similar, como cadenas con baja distancia de Jaro-Winkler o Levenshtein ). Este valor sería en el caso de datos perfectos, pero dado que esto rara vez (o nunca) es cierto, en cambio se puede estimar. Esta estimación se puede realizar en función del conocimiento previo de los conjuntos de datos, identificando manualmente una gran cantidad de pares coincidentes y no coincidentes para "entrenar" el algoritmo de vinculación de registros probabilístico, o ejecutando iterativamente el algoritmo para obtener estimaciones más cercanas de la probabilidad. Si se tuviera que estimar un valor para la probabilidad, entonces los pesos de coincidencia/no coincidencia para el identificador del mes de nacimiento serían:
Los mismos cálculos se realizarían para todos los demás identificadores bajo consideración para encontrar sus pesos de coincidencia/no coincidencia. Luego, cada identificador de un registro se compararía con el identificador correspondiente de otro registro para calcular el peso total del par: el peso de coincidencia se agrega al total acumulado siempre que un par de identificadores concuerde, mientras que el peso de no coincidencia se agrega (es decir, el total acumulado disminuye) siempre que el par de identificadores no concuerde. El peso total resultante se compara luego con los umbrales antes mencionados para determinar si el par debe vincularse, no vincularse o reservarse para una consideración especial (por ejemplo, validación manual). [12]
Determinar dónde establecer los umbrales de coincidencia/no coincidencia es un acto de equilibrio entre la obtención de una sensibilidad aceptable (o recuperación , la proporción de registros verdaderamente coincidentes que están vinculados por el algoritmo) y un valor predictivo positivo (o precisión , la proporción de registros vinculados por el algoritmo que realmente coinciden). Hay varios métodos manuales y automatizados disponibles para predecir los mejores umbrales, y algunos paquetes de software de vinculación de registros tienen herramientas integradas para ayudar al usuario a encontrar los valores más aceptables. Debido a que esta puede ser una tarea muy exigente desde el punto de vista computacional, en particular para grandes conjuntos de datos, a menudo se utiliza una técnica conocida como bloqueo para mejorar la eficiencia. El bloqueo intenta restringir las comparaciones solo a aquellos registros para los que concuerdan uno o más identificadores particularmente discriminantes, lo que tiene el efecto de aumentar el valor predictivo positivo (precisión) a expensas de la sensibilidad (recuperación). [12] Por ejemplo, el bloqueo basado en un apellido y código postal codificados fonéticamente reduciría el número total de comparaciones necesarias y mejoraría las posibilidades de que los registros vinculados fueran correctos (ya que dos identificadores ya coinciden), pero potencialmente se perderían registros que se refieren a la misma persona cuyo apellido o código postal fuera diferente (debido a matrimonio o reubicación, por ejemplo). El bloqueo basado en el mes de nacimiento, un identificador más estable que se esperaría que cambiara solo en el caso de error en los datos, proporcionaría una ganancia más modesta en valor predictivo positivo y pérdida de sensibilidad, pero crearía solo doce grupos distintos que, para conjuntos de datos extremadamente grandes, pueden no proporcionar una gran mejora neta en la velocidad de cálculo. Por lo tanto, los sistemas robustos de vinculación de registros a menudo utilizan múltiples pases de bloqueo para agrupar datos de varias maneras con el fin de obtener grupos de registros que deberían compararse entre sí.
En los últimos años, se han utilizado diversas técnicas de aprendizaje automático en la vinculación de registros. Se ha reconocido [7] que el algoritmo clásico de Fellegi-Sunter para la vinculación probabilística de registros descrito anteriormente es equivalente al algoritmo Naive Bayes en el campo del aprendizaje automático, [13] y sufre del mismo supuesto de independencia de sus características (un supuesto que normalmente no es cierto). [14] [15] A menudo se puede lograr una mayor precisión utilizando varias otras técnicas de aprendizaje automático, incluido un perceptrón de una sola capa , [7] bosque aleatorio y SVM . [16] Junto con las tecnologías distribuidas, [17] se puede mejorar aún más la precisión y la escala para la vinculación de registros.
La vinculación de registros de alta calidad a menudo requiere un sistema híbrido hombre-máquina para gestionar de forma segura la incertidumbre en los flujos siempre cambiantes de grandes datos caóticos. [18] [19] Al reconocer que los errores de vinculación se propagan a los datos vinculados y su análisis, se han propuesto sistemas de vinculación de registros interactivos. La vinculación de registros interactivos se define como personas que ajustan iterativamente los resultados de los métodos automatizados y gestionan la incertidumbre y su propagación a los análisis posteriores. [20] Los principales objetivos de los sistemas de vinculación de registros interactivos son resolver manualmente las vinculaciones inciertas y validar los resultados hasta que estén en niveles aceptables para la aplicación dada. También se han propuesto variaciones de la vinculación de registros interactivos que mejoran la privacidad durante los pasos de interacción humana. [21] [22]
Cada vez es más necesario vincular registros entre bases de datos de distintas organizaciones, ya que los datos complementarios que poseen estas organizaciones pueden, por ejemplo, ayudar a identificar pacientes susceptibles a determinadas reacciones adversas a medicamentos (vinculando bases de datos de hospitales, médicos y farmacias). Sin embargo, en muchas de estas aplicaciones, las bases de datos que se vinculan contienen información confidencial sobre personas que no se puede compartir entre las organizaciones. [23]
Los métodos de vinculación de registros que preservan la privacidad (PPRL) se han desarrollado con el objetivo de vincular bases de datos sin la necesidad de compartir los valores sensibles originales entre las organizaciones que participan en una vinculación. [24] [25] En PPRL, generalmente los valores de los atributos de los registros que se van a comparar se codifican o cifran de alguna forma. Una técnica de codificación popular utilizada es el filtro Bloom , [26] que permite calcular similitudes aproximadas entre valores codificados sin la necesidad de compartir los valores sensibles de texto plano correspondientes. Al final del proceso PPRL solo se revela información limitada sobre los pares de registros clasificados como coincidencias a las organizaciones que participan en el proceso de vinculación. Las técnicas utilizadas en PPRL [24] deben garantizar que ninguna organización participante, ni ningún adversario externo, pueda comprometer la privacidad de las entidades que están representadas por los registros en las bases de datos que se vinculan. [27]
En una aplicación con dos archivos, A y B, denote las filas ( registros ) por en el archivo A y en el archivo B. Asigne características a cada registro. El conjunto de registros que representan entidades idénticas se define por
y el complemento del conjunto , es decir, el conjunto que representa diferentes entidades, se define como
.
Se define un vector que contiene los acuerdos y desacuerdos codificados sobre cada característica:
donde es un subíndice para las características (sexo, edad, estado civil, etc.) en los archivos. Las probabilidades condicionales de observar un vector específico dado se definen como
y
respectivamente. [6]
La mayoría de los productos de gestión de datos maestros (MDM) utilizan un proceso de vinculación de registros para identificar registros de diferentes fuentes que representan la misma entidad del mundo real. Esta vinculación se utiliza para crear un "registro maestro de oro" que contiene los datos depurados y conciliados sobre la entidad. Las técnicas utilizadas en MDM son las mismas que para la vinculación de registros en general. MDM amplía esta correspondencia no solo para crear un "registro maestro de oro", sino también para inferir relaciones (es decir, una persona tiene el mismo apellido o un apellido similar y la misma dirección o una dirección similar, lo que podría implicar que comparten una relación de hogar).
La vinculación de registros desempeña un papel fundamental en el almacenamiento de datos y la inteligencia empresarial . Los almacenes de datos sirven para combinar datos de muchos sistemas de origen operativos diferentes en un modelo de datos lógico , que luego se puede introducir en un sistema de inteligencia empresarial para la elaboración de informes y análisis. Cada sistema de origen operativo puede tener su propio método para identificar las mismas entidades utilizadas en el modelo de datos lógico, por lo que la vinculación de registros entre las diferentes fuentes se hace necesaria para garantizar que la información sobre una entidad particular en un sistema de origen se pueda comparar sin problemas con la información sobre la misma entidad de otro sistema de origen. La estandarización de datos y la posterior vinculación de registros a menudo se producen en la parte de "transformación" del proceso de extracción, transformación y carga (ETL).
La vinculación de registros es importante para la investigación de la historia social, ya que la mayoría de los conjuntos de datos, como los registros censales y los registros parroquiales, se registraron mucho antes de la invención de los números de identificación nacional . Cuando se digitalizan fuentes antiguas, la vinculación de conjuntos de datos es un requisito previo para el estudio longitudinal . Este proceso a menudo se complica aún más por la falta de ortografía estándar de los nombres, los apellidos que cambian según el lugar de residencia, el cambio de los límites administrativos y los problemas de verificación de los datos con otras fuentes. La vinculación de registros fue uno de los temas más destacados en el campo de la historia y la informática en la década de 1980, pero desde entonces ha sido objeto de menos atención en la investigación. [ cita requerida ]
La vinculación de registros es una herramienta importante para crear los datos necesarios para examinar la salud del público y del propio sistema de atención de la salud. Puede utilizarse para mejorar la recopilación de datos, la evaluación de la calidad y la difusión de la información. Se pueden examinar las fuentes de datos para eliminar registros duplicados, identificar casos no registrados o que no se notifican (por ejemplo, recuentos de población en censos), crear estadísticas de salud orientadas a las personas y generar registros de enfermedades y sistemas de vigilancia de la salud. Algunos registros de cáncer vinculan varias fuentes de datos (por ejemplo, admisiones hospitalarias, informes patológicos y clínicos y registros de defunción) para generar sus registros. La vinculación de registros también se utiliza para crear indicadores de salud. Por ejemplo, la mortalidad fetal e infantil es un indicador general del desarrollo socioeconómico de un país, la salud pública y los servicios maternoinfantiles. Si los registros de defunción infantil se cotejan con los registros de nacimiento, es posible utilizar variables de nacimiento, como el peso al nacer y la edad gestacional, junto con datos de mortalidad, como la causa de muerte, para analizar los datos. Los vínculos pueden ayudar en los estudios de seguimiento de cohortes u otros grupos para determinar factores como el estado vital, el estado residencial o los resultados de salud. El rastreo es a menudo necesario para el seguimiento de cohortes industriales, ensayos clínicos y encuestas longitudinales para obtener la causa de muerte y/o cáncer. Un ejemplo de un sistema de vínculos de registros exitoso y de larga data que permite la investigación médica basada en la población es el Proyecto de Epidemiología de Rochester con sede en Rochester, Minnesota . [28]
Las principales razones citadas son: [ cita requerida ]
{{cite journal}}
: CS1 maint: numeric names: authors list (link)