Sitemaps es un protocolo en formato XML destinado a que un webmaster informe a los motores de búsqueda sobre las URL de un sitio web que están disponibles para el rastreo web . Permite a los webmasters incluir información adicional sobre cada URL: cuándo se actualizó por última vez, con qué frecuencia cambia y qué importancia tiene en relación con otras URL del sitio. Esto permite a los motores de búsqueda rastrear el sitio de forma más eficiente y encontrar URL que pueden estar aisladas del resto del contenido del sitio. El protocolo Sitemaps es un protocolo de inclusión de URL y complementa a robots.txt, un protocolo de exclusión de URL.
Google introdujo Sitemaps 0.84 por primera vez en junio de 2005 para que los desarrolladores web pudieran publicar listas de enlaces desde sus sitios. [1] Google, Yahoo! y Microsoft anunciaron el soporte conjunto para el protocolo Sitemaps en noviembre de 2006. [2] La versión del esquema se cambió a "Sitemap 0.90", pero no se realizaron otros cambios.
En abril de 2007, Ask.com e IBM anunciaron su compatibilidad con Sitemaps. [3] Asimismo, Google, Yahoo y MSN anunciaron la detección automática de mapas de sitios a través de robots.txt. En mayo de 2007, los gobiernos estatales de Arizona, California, Utah y Virginia anunciaron que utilizarían Sitemaps en sus sitios web. [4]
El protocolo Sitemaps se basa en ideas [5] de "Servidores web compatibles con rastreadores" [6] , con mejoras que incluyen el descubrimiento automático robots.txty la capacidad de especificar la prioridad y la frecuencia de cambio de las páginas.
Los mapas de sitios son especialmente beneficiosos en sitios web donde:
El formato del protocolo Sitemap consta de etiquetas XML. El archivo en sí debe estar codificado en UTF-8 . Los mapas de sitios también pueden ser simplemente una lista de URL en texto sin formato. También pueden estar comprimidos en formato .gz.
A continuación se muestra un ejemplo de mapa del sitio que contiene solo una URL y utiliza todas las etiquetas opcionales.
<?xml version='1.0' encoding='UTF-8'?> <urlset xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation= "http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd" xmlns= "http://www.sitemaps.org/schemas/sitemap/0.9" > <url> <loc> https://ejemplo.com/ </loc> <última modificación> 2006-11-18 </última modificación > < frecuencia de cambios> diaria < /frecuencia de cambios > <prioridad> 0.8 </prioridad> </url> </urlset> El protocolo Sitemap XML también se ha ampliado para ofrecer una forma de incluir varios Sitemaps en un archivo de "índice de Sitemap". El tamaño máximo de Sitemap de 50 MiB o 50 000 URL [8] significa que esto es necesario para sitios grandes.
A continuación se muestra un ejemplo de índice de mapa del sitio que hace referencia a un mapa del sitio independiente.
<?xml version="1.0" encoding="UTF-8"?> <sitemapindex xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation= "http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd" xmlns= "http://www.sitemaps.org/schemas/sitemap/0.9" > <mapa del sitio> <loc> https://www.example.com/sitemap1.xml.gz </loc> <lastmod> 2014-10-01T18:23: 17 +00:00 </lastmod> </sitemap> </sitemapindex> Las definiciones de los elementos se muestran a continuación: [8]
El soporte para los elementos que no son necesarios puede variar de un motor de búsqueda a otro. [8]
El protocolo Sitemaps permite que el Sitemap sea una simple lista de URL en un archivo de texto. Las especificaciones de archivo de los Sitemaps XML se aplican también a los Sitemaps de texto; el archivo debe estar codificado en UTF-8 y no puede tener más de 50 MiB (sin comprimir) ni contener más de 50 000 URL. Los Sitemaps que superen estos límites se deben dividir en varios Sitemaps con un archivo de índice de Sitemap (un archivo que apunta a varios Sitemaps). [9]
Un feed de sindicación es un método permitido para enviar URL a los rastreadores; esto se recomienda principalmente para sitios que ya tienen feeds de sindicación. Una desventaja declarada es que este método solo puede proporcionar a los rastreadores URL creadas más recientemente, pero aún se pueden descubrir otras URL durante el rastreo normal. [8]
Puede resultar beneficioso contar con un canal de sindicación como actualización delta (que contenga solo el contenido más nuevo) para complementar un mapa del sitio completo.
Si los mapas de sitio se envían directamente a un motor de búsqueda ( pinged ), se devolverá información sobre el estado y los errores de procesamiento. Los detalles relacionados con el envío varían según los diferentes motores de búsqueda. La ubicación del mapa de sitio también se puede incluir en el robots.txtarchivo agregando la siguiente línea:
Sitemap: <sitemap_location>Debe <sitemap_location>ser la URL completa del mapa del sitio, como por ejemplo:
https://www.example.org/sitemap.xmlEsta directiva es independiente de la línea del agente de usuario, por lo que no importa dónde se coloque en el archivo. Si el sitio web tiene varios mapas de sitio, se pueden incluir varios registros "Sitemap:" en robots.txt, o la URL puede simplemente apuntar al archivo de índice del mapa de sitio principal.
La siguiente tabla enumera las URL de envío de mapas del sitio para algunos de los principales motores de búsqueda:
Las URL de mapas de sitio enviadas mediante las URL de envío de mapas de sitio deben estar codificadas como URL , por ejemplo: reemplace :(dos puntos) con %3A, reemplace /(barra) con %2F. [8]
Los mapas de sitio complementan y no reemplazan los mecanismos basados en rastreo que los motores de búsqueda ya utilizan para descubrir URL. El uso de este protocolo no garantiza que las páginas web se incluyan en los índices de búsqueda ni influye en la forma en que se clasifican las páginas en los resultados de búsqueda. A continuación se ofrecen ejemplos específicos.
Los archivos de mapas de sitio tienen un límite de 50 000 URL y 50 MiB (52 428 800 bytes) por mapa de sitio. Los mapas de sitio se pueden comprimir con gzip , lo que reduce el consumo de ancho de banda. Se admiten varios archivos de mapas de sitio, y un archivo de índice de mapas de sitio sirve como punto de entrada. Los archivos de índice de mapas de sitio no pueden incluir más de 50 000 mapas de sitio y no deben tener más de 50 MiB, y se pueden comprimir. Puede tener más de un archivo de índice de mapas de sitio. [8]
Al igual que con todos los archivos XML, todos los valores de datos (incluidas las URL) deben utilizar códigos de escape de entidad para los caracteres &, comillas simples ('), comillas dobles ("), menor que (<) y mayor que (>).
La mejor práctica para optimizar un índice de mapa de sitio para que los motores de búsqueda puedan rastrearlo es garantizar que el índice haga referencia únicamente a mapas de sitio y no a otros índices de mapas de sitio. Según Google, no es válido anidar un índice de mapa de sitio dentro de otro índice de mapa de sitio. [11]
Google admite una serie de tipos de mapas de sitios XML adicionales que no están incluidos en el protocolo Sitemaps para que los webmasters puedan proporcionar datos adicionales sobre el contenido de sus sitios web. Los mapas de sitios de vídeo e imágenes tienen como objetivo mejorar la capacidad de los sitios web para posicionarse en las búsquedas de imágenes y vídeos. [12] [13]
Los mapas de sitios de videos indican datos relacionados con la incrustación y la reproducción automática, miniaturas preferidas para mostrar en los resultados de búsqueda, fecha de publicación, duración del video y otros metadatos. [13] Los mapas de sitios de videos también se utilizan para permitir que los motores de búsqueda indexen videos que están incrustados en un sitio web, pero que están alojados externamente, como en Vimeo o YouTube .
Los mapas de sitios de imágenes se utilizan para indicar metadatos de imágenes, como información de licencia, ubicación geográfica y el título de una imagen. [12]
Google admite un tipo de mapa de sitio de Google News para facilitar la indexación rápida de temas de noticias sensibles al tiempo. [14] [15]
En diciembre de 2011, Google anunció las anotaciones para sitios que desean dirigirse a usuarios en varios idiomas y, opcionalmente, países. Unos meses más tarde, Google anunció, en su blog oficial, [16] que agregarían soporte para especificar las anotaciones rel="alternate" y hreflang en Sitemaps. En lugar de los elementos de enlace HTML (hasta entonces la única opción), la opción Sitemaps ofrecía muchas ventajas, entre ellas un tamaño de página más pequeño y una implementación más sencilla para algunos sitios web.
Un ejemplo de mapa del sitio multilingüe sería el siguiente:
Si, por ejemplo, tenemos un sitio que se dirige a usuarios de idioma inglés a través de https://www.example.com/eny a usuarios de idioma griego a través de https://www.example.com/gr, hasta entonces la única opción era agregar la anotación hreflang en el encabezado HTTP o como elementos HTML en ambas URL de esta manera
<link rel= "alternate" hreflang= "en" href= "https://www.example.com/en" /> <link rel= "alternate" hreflang= "gr" href= "https://www.example.com/gr" /> Pero ahora, alternativamente, se puede utilizar el siguiente marcado equivalente en Sitemaps:
<url> <loc> https://www.example.com/es </loc> <xhtml:enlace rel= "alternativo" hreflang= "gr" href= "https://www.ejemplo.com/gr" /> <xhtml:enlace rel= "alternativo" hreflang= "es" href= "https://www.ejemplo.com/es" /> </url> <url> <loc> https://www.ejemplo.com/gr </loc> <xhtml:enlace rel= "alternativo" hreflang= "gr" href= "https://www.ejemplo.com/gr" /> <xhtml:enlace rel= "alternativo" hreflang= "es" href= "https://www.ejemplo.com/es" /> </url>{{cite conference}}: CS1 maint: varios nombres: lista de autores ( enlace )