Los datos no estructurados (o información no estructurada ) son información que no tiene un modelo de datos predefinido o que no está organizada de una manera predefinida. La información no estructurada suele estar compuesta por texto , pero también puede contener datos como fechas, números y hechos. Esto da lugar a irregularidades y ambigüedades que dificultan su comprensión mediante programas tradicionales en comparación con los datos almacenados en forma de campos en bases de datos o anotados ( etiquetados semánticamente ) en documentos.
En 1998, Merrill Lynch afirmó que "los datos no estructurados constituyen la gran mayoría de los datos que se encuentran en una organización; algunas estimaciones llegan a alcanzar el 80%". [1] No está claro cuál es la fuente de esta cifra, pero algunos la aceptan. [2] Otras fuentes han informado de porcentajes similares o superiores de datos no estructurados. [3] [4] [5]
A partir de 2012 [actualizar], IDC y Dell EMC proyectan que los datos crecerán a 40 zettabytes para 2020, lo que resultará en un crecimiento de 50 veces desde principios de 2010. [6] Más recientemente, IDC y Seagate predicen que la esfera de datos global crecerá a 163 zettabytes para 2025 [7] y la mayoría de ellos no estarán estructurados. La revista Computer World afirma que la información no estructurada podría representar más del 70-80% de todos los datos en las organizaciones. [1]
Las primeras investigaciones sobre inteligencia empresarial se centraron en datos textuales no estructurados, en lugar de datos numéricos. [8] Ya en 1958, investigadores de informática como HP Luhn estaban especialmente interesados en la extracción y clasificación de texto no estructurado. [8] Sin embargo, solo desde el cambio de siglo la tecnología se puso al día con el interés de la investigación. En 2004, el Instituto SAS desarrolló SAS Text Miner, que utiliza la descomposición en valores singulares (SVD) para reducir un espacio textual hiperdimensional en dimensiones más pequeñas para un análisis de máquina significativamente más eficiente. [9] Los avances matemáticos y tecnológicos provocados por el análisis de texto de máquina impulsaron a varias empresas a investigar aplicaciones, lo que llevó al desarrollo de campos como el análisis de sentimientos , la minería de voz del cliente y la optimización del centro de llamadas. [10] La aparición de Big Data a fines de la década de 2000 condujo a un mayor interés en las aplicaciones de análisis de datos no estructurados en campos contemporáneos como el análisis predictivo y el análisis de causa raíz . [11]
El término es impreciso por varias razones:
Técnicas como la minería de datos , el procesamiento del lenguaje natural (PLN) y el análisis de texto proporcionan diferentes métodos para encontrar patrones en esta información o interpretarla de otro modo. Las técnicas comunes para estructurar el texto suelen implicar el etiquetado manual con metadatos o el etiquetado de partes del discurso para una estructuración posterior basada en la minería de texto . El estándar de Arquitectura de gestión de información no estructurada (UIMA) proporcionó un marco común para procesar esta información con el fin de extraer significado y crear datos estructurados sobre la información.
El software que crea una estructura procesable por máquina puede utilizar la estructura lingüística, auditiva y visual que existe en todas las formas de comunicación humana. [12] Los algoritmos pueden inferir esta estructura inherente del texto, por ejemplo, examinando la morfología de las palabras , la sintaxis de las oraciones y otros patrones de pequeña y gran escala. La información no estructurada se puede enriquecer y etiquetar para abordar ambigüedades y luego se pueden utilizar técnicas basadas en la relevancia para facilitar la búsqueda y el descubrimiento. Los ejemplos de "datos no estructurados" pueden incluir libros, revistas, documentos, metadatos , registros de salud , audio , video , datos analógicos , imágenes, archivos y texto no estructurado como el cuerpo de un mensaje de correo electrónico , una página web o un documento de procesador de textos . Si bien el contenido principal que se transmite no tiene una estructura definida, generalmente viene empaquetado en objetos (por ejemplo, en archivos o documentos, ...) que tienen estructura y, por lo tanto, son una mezcla de datos estructurados y no estructurados, pero colectivamente esto todavía se conoce como "datos no estructurados". [13] Por ejemplo, una página web HTML está etiquetada, pero el marcado HTML normalmente sirve únicamente para la representación. No captura el significado o la función de los elementos etiquetados de manera que admita el procesamiento automático del contenido de información de la página. El etiquetado XHTML sí permite el procesamiento automático de elementos, aunque normalmente no captura ni transmite el significado semántico de los términos etiquetados.
Dado que los datos no estructurados suelen aparecer en los documentos electrónicos , suele preferirse el uso de un sistema de gestión de contenidos o de documentos que pueda categorizar documentos enteros en lugar de la transferencia y manipulación de datos desde dentro de los documentos. De este modo, la gestión de documentos proporciona los medios para transmitir estructura a las colecciones de documentos .
Los motores de búsqueda se han convertido en herramientas populares para indexar y buscar dichos datos, especialmente texto.
Se han desarrollado flujos de trabajo computacionales específicos para imponer una estructura a los datos no estructurados contenidos en los documentos de texto. Estos flujos de trabajo están generalmente diseñados para manejar conjuntos de miles o incluso millones de documentos, o mucho más de lo que los enfoques manuales para la anotación pueden permitir. Varios de estos enfoques se basan en el concepto de procesamiento analítico en línea u OLAP , y pueden estar respaldados por modelos de datos como los cubos de texto. [14] Una vez que los metadatos del documento están disponibles a través de un modelo de datos, se pueden generar resúmenes de subconjuntos de documentos (es decir, celdas dentro de un cubo de texto) con enfoques basados en frases. [15]
La investigación biomédica genera una fuente importante de datos no estructurados, ya que los investigadores suelen publicar sus hallazgos en revistas académicas. Aunque el lenguaje de estos documentos es difícil de derivar de elementos estructurales (por ejemplo, debido al complicado vocabulario técnico que contienen y al conocimiento del dominio necesario para contextualizar por completo las observaciones), los resultados de estas actividades pueden generar vínculos entre estudios técnicos y médicos [16] y pistas sobre nuevas terapias para enfermedades. [17] Los esfuerzos recientes para imponer una estructura en los documentos biomédicos incluyen enfoques de mapas autoorganizados para identificar temas entre documentos, [18] algoritmos no supervisados de propósito general [19] y una aplicación del flujo de trabajo CaseOLAP [15] para determinar asociaciones entre nombres de proteínas y temas de enfermedades cardiovasculares en la literatura. [20] CaseOLAP define las relaciones frase-categoría de una manera precisa (identifica relaciones), consistente (altamente reproducible) y eficiente. Esta plataforma ofrece una accesibilidad mejorada y empodera a la comunidad biomédica con herramientas de minería de frases para aplicaciones de investigación biomédica generalizadas. [20]
En Suecia (UE), antes de 2018, algunas normas de privacidad de datos no se aplicaban si se confirmaba que los datos en cuestión eran "no estructurados". [21] Esta terminología, datos no estructurados, rara vez se utiliza en la UE después de que el RGPD entrara en vigor en 2018. El RGPD no menciona ni define los "datos no estructurados". Sí utiliza la palabra "estructurados" de la siguiente manera (sin definirla):
Jurisprudencia del RGPD sobre la definición de «fichero»: «no es relevante el criterio concreto ni la forma concreta en que se estructura efectivamente el conjunto de datos personales recogidos por cada uno de los miembros que ejercen la predicación, siempre que dicho conjunto de datos permita recuperar fácilmente los datos relativos a una persona concreta contactada , extremo que, no obstante, corresponde comprobar al órgano jurisdiccional remitente a la luz de todas las circunstancias del litigio principal». ( TJUE , Todistajat c. Tietosuojavaltuutettu, Jehovan, apartado 61).
Si los datos personales se pueden recuperar fácilmente, entonces se trata de un sistema de archivo y, por lo tanto, están dentro del ámbito de aplicación del RGPD, independientemente de que estén "estructurados" o "no estructurados". La mayoría de los sistemas electrónicos actuales, sujetos al acceso y al software aplicado, pueden permitir una fácil recuperación de datos.