[3] Por ende, los procedimientos usados para encontrar patrones repetitivos dentro de esos datos son más sofisticados y requieren un software especializado.[10] Los científicos con cierta regularidad encuentran límites en el análisis debido a la gran cantidad de datos en ciertas áreas, tales como la meteorología, la genómica,[11] la conectómica (una aproximación al estudio del cerebro; en inglés:Connectomics; en francés: Conectomique), las complejas simulaciones de procesos físicos[12] y las investigaciones relacionadas con los procesos biológicos y ambientales.[14][15] La capacidad tecnológica per cápita a nivel mundial para almacenar datos se dobla aproximadamente cada cuarenta meses desde los años 1980.Este trabajo puede requerir "un software masivamente paralelo que se ejecute en decenas, cientos o incluso miles de servidores".[19] El término ha estado en uso desde la década de 1990, y algunos otorgan crédito a John Mashey[20] por popularizarlo.[25] Además, algunas organizaciones agregan una nueva V, veracidad para describirlo,[26] revisionismo cuestionado por algunas autoridades de la industria.Desde entonces, Teradata ha agregado tipos de datos no estructurados, incluidos XML, JSON y Avro.Por lo tanto, una implementación del marco MapReduce fue adoptada por un proyecto de código abierto Apache llamado Hadoop.El siguiente objetivo es hacer que los datos se recojan en un mismo lugar y darles un formato adecuado.[62] Un ejemplo de plataforma ETL es el Pentaho Data Integration, más concretamente su aplicación Spoon.En los macrodatos se llega un paso más allá: parafraseando a Edward Tufte, uno de los expertos en visualización de datos más reconocidos a nivel mundial «el mundo es complejo, dinámico, multidimensional, el papel es estático y plano.En los últimos años se han generalizado otras plataformas como Tableau, Power BI y Qlik.Destacando intervenciones en temas de movilidad urbana, ciudades inteligentes y seguridad, entre otras temáticas.[93] En un ámbito donde se mueve tanto dinero, suelen utilizar las nuevas tecnologías antes que los usuarios de base.El Instituto SDAV tiene como objetivo reunir la experiencia de seis laboratorios nacionales y siete universidades para desarrollar nuevas herramientas que ayuden a los científicos a gestionar y visualizar datos en las supercomputadoras del Departamento.Los hallazgos sugieren que puede haber un vínculo entre el comportamiento en línea y los indicadores económicos del mundo real.[115][116][113][117][118][119] Los grandes conjuntos de datos vienen con desafíos algorítmicos que anteriormente no existían.Para predecir el tiempo de inactividad, puede que no sea necesario examinar todos los datos, pero una muestra puede ser suficiente.El sistema inteligente diseñado por Wenger distingue en segundos los dos tipo de tumores, ingresando a la plataforma las características observadas.Es posible que este sistema se aplique más adelante a otros padecimientos, como la leucemia.[125] El proyecto Aloja[126] ha sido iniciado por una apuesta en común del Barcelona Supercomputing Center (BSC) y Microsoft Research.Como respuesta a esta crítica, Alemany Oliver y Vayre sugirieron usar el "razonamiento abductivo como un primer paso en el proceso de investigación para traer contexto a las huellas digitales de los consumidores y hacer que emerjan nuevas teorías".[134] Además, se ha sugerido combinar enfoques de macrodatos con simulaciones por computadora, tales como modelos basados en agentes y Sistemas Complejos.Para estos enfoques, el factor limitante es la información relevante que puede confirmar o refutar la hipótesis inicial.[137] Ahora se acepta un nuevo postulado en ciencias biológicas: la información provista por los datos en grandes volúmenes (ómicas) sin hipótesis previas es complementaria y a veces necesaria para los enfoques convencionales basados en la experimentación.El uso de los macrodatos debería supervisarse y regularse mejor a nivel nacional e internacional.Ulf-Dietrich Reips y Uwe Matzat escribieron en 2014 que los macrodatos se habían convertido en una "moda" en la investigación científica.La integración a través de recursos de datos heterogéneos -algunos que pueden considerarse grandes datos y otros no- presenta desafíos logísticos y analíticos formidables, pero muchos investigadores sostienen que tales integraciones probablemente representen las nuevas fronteras más prometedoras en la ciencia.Además, los resultados del análisis de macrodatos son tan buenos como el modelo en el que se basan.Sin embargo, esta práctica plantea serias interrogantes éticas sobre la privacidad y el potencial sesgo en las decisiones basadas en datos, lo que subraya la necesidad de un debate informado y políticas regulatorias que salvaguarden los derechos individuales en la era de los macrodatos.
Un sistema de representación creado por
IBM
que muestra macrodatos que consisten en las ediciones de Wikipedia realizadas por el
bot
Pearle
. Su visualización más racional aparece acompañada de colores y posiciones en su representación.
Macrodatos se refiere a un fenómeno tecnológico que ha surgido desde mediados de los años ochenta. A medida que las computadoras han mejorado en capacidad y velocidad, las mayores posibilidades de almacenamiento y procesamiento también han generado nuevos problemas. Pero estos nuevos requisitos, que pueden observarse en patrones y tendencias nunca antes vistos en el manejo de estos conjuntos de datos fenomenalmente grandes, pueden ser difíciles de implementar sin nuevas herramientas analíticas que permitan ir orientando a los usuarios, destacando los posibles puntos de interés. El programa XDATA de DARPA y la comunidad de investigadores y artistas que se han reunido allí, serán esenciales para avanzar en el estado del arte relativo a los llamados macrodatos.
La aplicación de los macrodatos en el sistema jurídico, junto a técnicas de análisis, es considerada en la actualidad como una de las vías posibles para agilizar la administración de justicia.
