El archivado web es el proceso de recopilar, preservar y proporcionar acceso a material de la World Wide Web . El objetivo es garantizar que la información se conserve en un formato de archivo para la investigación y el público. [1]
Los archivistas web suelen emplear rastreadores web automatizados para capturar la enorme cantidad de información que hay en la Web. El servicio de archivo web más conocido es Wayback Machine , administrado por Internet Archive .
La creciente porción de cultura humana creada y registrada en la web hace inevitable que cada vez más bibliotecas y archivos tengan que enfrentar los desafíos del archivado web. [2] Las bibliotecas nacionales , los archivos nacionales y varios consorcios de organizaciones también participan en el archivo de contenido web culturalmente importante.
También hay software y servicios de archivado web comercial disponibles para organizaciones que necesitan archivar su propio contenido web con fines corporativos, regulatorios o legales.
Si bien la curación y organización de la web ha prevalecido desde mediados y fines de la década de 1990, uno de los primeros proyectos de archivo web a gran escala fue Internet Archive , una organización sin fines de lucro creada por Brewster Kahle en 1996. [3] Internet Archive lanzó su propio motor de búsqueda para ver contenido web archivado, Wayback Machine , en 2001. [3] En 2018, Internet Archive albergaba 40 petabytes de datos. [4] Internet Archive también desarrolló muchas de sus propias herramientas para recopilar y almacenar sus datos, incluido PetaBox para almacenar grandes cantidades de datos de manera eficiente y segura, y Heritrix , un rastreador web desarrollado en conjunto con las bibliotecas nacionales nórdicas. [3] Otros proyectos lanzados aproximadamente al mismo tiempo incluyeron un proyecto de archivo web de la Biblioteca Nacional de Canadá , Pandora de Australia , archivos web de Tasmania y Kulturarw3 de Suecia. [5] [6]
Entre 2001 y 2010, el Taller Internacional de Archivado Web (IWAW) proporcionó una plataforma para compartir experiencias e intercambiar ideas. [7] [8] El Consorcio Internacional para la Preservación de Internet (IIPC), establecido en 2003, ha facilitado la colaboración internacional en el desarrollo de estándares y herramientas de código abierto para la creación de archivos web. [9]
La ahora extinta Internet Memory Foundation fue fundada en 2004 por la Comisión Europea con el objetivo de archivar la web en Europa. [3] Este proyecto desarrolló y publicó muchas herramientas de código abierto, como "captura de contenido multimedia, análisis de coherencia temporal, evaluación de spam y detección de evolución de terminología". [3] Los datos de la fundación ahora están alojados en Internet Archive, pero actualmente no son de acceso público. [10]
A pesar de que no existe una responsabilidad centralizada para su conservación, el contenido web se está convirtiendo rápidamente en el registro oficial. Por ejemplo, en 2017, el Departamento de Justicia de los Estados Unidos afirmó que el gobierno trata los tuits del presidente como declaraciones oficiales. [11]
Los archivistas web generalmente archivan varios tipos de contenido web, incluidas páginas web HTML , hojas de estilo , JavaScript , imágenes y videos . También archivan metadatos sobre los recursos recopilados, como el tiempo de acceso, el tipo MIME y la longitud del contenido. Estos metadatos son útiles para establecer la autenticidad y la procedencia de la colección archivada.
El archivado transaccional es un enfoque basado en eventos que recopila las transacciones reales que tienen lugar entre un servidor web y un navegador web . Se utiliza principalmente como un medio para preservar evidencia del contenido que realmente se vio en un sitio web en particular , en una fecha determinada. Esto puede ser particularmente importante para las organizaciones que necesitan cumplir con los requisitos legales o reglamentarios para divulgar y conservar información. [12]
Un sistema de archivado transaccional normalmente funciona interceptando cada solicitud HTTP y respuesta del servidor web, filtrando cada respuesta para eliminar contenido duplicado y almacenando permanentemente las respuestas como flujos de bits.
Los archivos web que dependen del rastreo web como su principal medio de recopilación de información web se ven afectados por las dificultades del rastreo web:
Sin embargo, es importante tener en cuenta que un archivo web en formato nativo, es decir, un archivo web completamente navegable, con enlaces, medios, etc. que funcionen, solo es realmente posible utilizando tecnología de rastreo.
La Web es tan grande que rastrear una parte importante de ella requiere una gran cantidad de recursos técnicos. Además, la Web cambia tan rápido que partes de un sitio web pueden sufrir modificaciones antes de que un rastreador haya terminado de rastrearlas.
Algunos servidores web están configurados para devolver a las solicitudes de archivadores web páginas distintas de las que devolverían en respuesta a las solicitudes normales del navegador. Esto se hace normalmente para engañar a los motores de búsqueda para que dirijan más tráfico de usuarios a un sitio web y, a menudo, se hace para evitar la responsabilidad o para proporcionar contenido mejorado solo a los navegadores que pueden mostrarlo.
Los archivistas web no sólo deben enfrentarse a los retos técnicos del archivado web, sino que también deben enfrentarse a las leyes de propiedad intelectual. Peter Lyman [13] afirma que "aunque la Web se considera popularmente un recurso de dominio público , está protegida por derechos de autor ; por lo tanto, los archivistas no tienen derecho legal a copiar la Web". Sin embargo, las bibliotecas nacionales de algunos países [14] tienen derecho legal a copiar partes de la Web en virtud de una extensión de un depósito legal .
Algunos archivos web privados sin fines de lucro que se hacen accesibles al público, como WebCite , Internet Archive o Internet Memory Foundation, permiten a los propietarios de contenido ocultar o eliminar contenido archivado al que no quieren que el público tenga acceso. Otros archivos web solo son accesibles desde ciertas ubicaciones o tienen un uso regulado. WebCite cita una demanda reciente contra el almacenamiento en caché de Google, que Google ganó. [15]
En 2017, la Autoridad Reguladora de la Industria Financiera, Inc. (FINRA), una organización reguladora financiera de los Estados Unidos, publicó un aviso que establece que todas las empresas que realizan comunicaciones digitales deben mantener un registro. Esto incluye datos de sitios web, publicaciones en redes sociales y mensajes. [16] Algunas leyes de derechos de autor pueden inhibir el archivo web. Por ejemplo, el archivo académico de Sci-Hub queda fuera de los límites de la ley de derechos de autor contemporánea. El sitio proporciona acceso duradero a trabajos académicos, incluidos aquellos que no tienen una licencia de acceso abierto , y por lo tanto contribuye al archivo de investigaciones científicas que de otro modo podrían perderse. [17] [18]
