Un motor de búsqueda es un sistema de software que proporciona hipervínculos a páginas web y otra información relevante en la Web en respuesta a la consulta de un usuario . [1] La consulta normalmente se realiza dentro de un navegador web o una aplicación móvil , y los resultados de la búsqueda se presentan como una lista de hipervínculos, acompañados de resúmenes textuales e imágenes.
Para un proveedor de búsqueda, su motor forma parte de un sistema informático distribuido que puede abarcar muchos centros de datos en todo el mundo. La velocidad y precisión de la respuesta de un motor a una consulta se basan en un complejo sistema de indexación que los rastreadores web automatizados actualizan continuamente . Esto puede incluir la extracción de datos de los archivos y bases de datos almacenados en servidores web , pero los rastreadores no pueden acceder a algunos contenidos.
Ha habido muchos motores de búsqueda desde los albores de la Web en la década de 1990, pero la Búsqueda de Google se convirtió en la dominante en la década de 2000 y sigue siéndolo. Actualmente tiene una cuota de mercado global del 91%. [2] [3] El negocio de mejorar la visibilidad de los sitios web en los resultados de búsqueda, lo que se conoce como marketing y optimización , se ha centrado principalmente en Google.
En 1945, Vannevar Bush describió un sistema de recuperación de información que permitiría al usuario acceder a una gran cantidad de información, todo desde un solo escritorio. [4] Lo llamó memex . Describió el sistema en un artículo titulado " Como podemos pensar " que se publicó en The Atlantic Monthly . [5] El memex tenía como objetivo brindar al usuario la capacidad de superar la dificultad cada vez mayor de localizar información en índices centralizados de trabajo científico cada vez mayores. Vannevar Bush imaginó bibliotecas de investigación con anotaciones conectadas, que son similares a los hipervínculos modernos . [6]
El análisis de enlaces finalmente se convirtió en un componente crucial de los motores de búsqueda a través de algoritmos como Hyper Search y PageRank . [7] [8]
Los primeros motores de búsqueda de Internet son anteriores al debut de la Web en diciembre de 1990: la búsqueda de usuarios de WHOIS se remonta a 1982, [9] y la búsqueda de usuarios de múltiples redes del Servicio de Información Knowbot se implementó por primera vez en 1989. [10] La primera búsqueda bien documentada El motor que buscaba archivos de contenido, concretamente archivos FTP , era Archie , que debutó el 10 de septiembre de 1990. [11]
Antes de septiembre de 1993, la World Wide Web se indexaba enteramente a mano. Había una lista de servidores web editada por Tim Berners-Lee y alojada en el servidor web del CERN . Queda una instantánea de la lista en 1992, [12] pero a medida que más y más servidores web se conectaban, la lista central ya no podía mantenerse al día. En el sitio de NCSA , se anunciaron nuevos servidores bajo el título "¡Novedades!". [13]
La primera herramienta utilizada para buscar contenidos (a diferencia de usuarios) en Internet fue Archie . [14] El nombre significa "archivo" sin la "v". [15] Fue creado por Alan Emtage , [15] [16] [17] [18] estudiante de informática en la Universidad McGill en Montreal, Quebec , Canadá. El programa descargó las listas de directorios de todos los archivos ubicados en sitios públicos anónimos FTP ( Protocolo de transferencia de archivos ), creando una base de datos con capacidad de búsqueda de nombres de archivos; sin embargo, Archie Search Engine no indexó el contenido de estos sitios ya que la cantidad de datos era tan limitada que se podía buscar fácilmente manualmente.
El ascenso de Gopher (creado en 1991 por Mark McCahill en la Universidad de Minnesota ) dio lugar a dos nuevos programas de búsqueda, Veronica y Jughead . Al igual que Archie, buscaron los nombres y títulos de los archivos almacenados en los sistemas de índice Gopher. Veronica (Índice de archivos computarizados de red muy sencillo orientado a roedores) proporcionó una búsqueda por palabra clave de la mayoría de los títulos de menú de Gopher en todos los listados de Gopher. Jughead (Excavación y visualización de jerarquía de Gopher universal de Jonzy) era una herramienta para obtener información de menú de servidores Gopher específicos. Si bien el nombre del motor de búsqueda " Archie Search Engine " no era una referencia a la serie de cómics de Archie , " Veronica " y " Jughead " son personajes de la serie, por lo que hacen referencia a su predecesor.
En el verano de 1993 no existía ningún motor de búsqueda para la web, aunque se mantenían a mano numerosos catálogos especializados. Oscar Nierstrasz, de la Universidad de Ginebra, escribió una serie de scripts en Perl que periódicamente reflejaban estas páginas y las reescribían en un formato estándar. Esto formó la base de W3Catalog , el primer motor de búsqueda primitivo de la web, lanzado el 2 de septiembre de 1993. [19]
En junio de 1993, Matthew Gray, entonces en el MIT , produjo lo que probablemente fue el primer robot web , el World Wide Web Wanderer basado en Perl , y lo utilizó para generar un índice llamado "Wandex". El propósito del Wanderer era medir el tamaño de la World Wide Web, lo que hizo hasta finales de 1995. El segundo motor de búsqueda de la web, Aliweb, apareció en noviembre de 1993. Aliweb no utilizaba un robot web , sino que dependía de ser notificado por el sitio web . administradores de la existencia en cada sitio de un archivo índice en un formato particular.
JumpStation (creada en diciembre de 1993 [20] por Jonathon Fletcher ) utilizó un robot web para encontrar páginas web y crear su índice, y utilizó un formulario web como interfaz para su programa de consulta. Por tanto, fue la primera herramienta de descubrimiento de recursos de la WWW que combinó las tres características esenciales de un motor de búsqueda web (rastreo, indexación y búsqueda), como se describe a continuación. Debido a los recursos limitados disponibles en la plataforma en la que se ejecutaba, su indexación y, por tanto, la búsqueda se limitaban a los títulos y encabezados que se encontraban en las páginas web que encontraba el rastreador.
Uno de los primeros motores de búsqueda basados en rastreadores "todo texto" fue WebCrawler , que apareció en 1994. A diferencia de sus predecesores, permitía a los usuarios buscar cualquier palabra en cualquier página web, lo que se ha convertido en el estándar para los principales motores de búsqueda desde entonces. También era el motor de búsqueda más conocido por el público. Además, en 1994, se lanzó Lycos (que comenzó en la Universidad Carnegie Mellon ) y se convirtió en un importante esfuerzo comercial.
El primer motor de búsqueda popular en la Web fue Yahoo! Buscar . [21] El primer producto de Yahoo! , fundada por Jerry Yang y David Filo en enero de 1994, era un directorio web llamado Yahoo! Directorio . En 1995, se añadió una función de búsqueda que permitía a los usuarios buscar en Yahoo! Directorio. [22] [23] Se convirtió en una de las formas más populares para que las personas encuentren páginas web de interés, pero su función de búsqueda operaba en su directorio web, en lugar de en copias de texto completo de las páginas web.
Poco después, aparecieron varios motores de búsqueda que compitieron por la popularidad. Estos incluían Magellan , Excite , Infoseek , Inktomi , Northern Light y AltaVista . Los buscadores de información también pueden navegar por el directorio en lugar de realizar una búsqueda basada en palabras clave.
En 1996, Robin Li desarrolló el algoritmo de puntuación de sitios RankDex para la clasificación de páginas de resultados de motores de búsqueda [24] [25] [26] y recibió una patente estadounidense para la tecnología. [27] Fue el primer motor de búsqueda que utilizó hipervínculos para medir la calidad de los sitios web que indexaba, [28] anterior a la patente de algoritmo muy similar presentada por Google dos años después, en 1998. [29] Larry Page hizo referencia al trabajo de Li en algunos de sus patentes estadounidenses para PageRank. [30] Más tarde, Li utilizó su tecnología Rankdex para el motor de búsqueda Baidu , que fue fundado por él en China y lanzado en 2000.
En 1996, Netscape buscaba ofrecer a un único motor de búsqueda un trato exclusivo como motor de búsqueda destacado en el navegador web de Netscape. Hubo tanto interés que, en cambio, Netscape llegó a acuerdos con cinco de los principales motores de búsqueda: por 5 millones de dólares al año, cada motor de búsqueda estaría en rotación en la página del motor de búsqueda de Netscape. Los cinco motores fueron Yahoo!, Magellan, Lycos, Infoseek y Excite. [31] [32]
Google adoptó la idea de vender términos de búsqueda en 1998 de una pequeña empresa de motores de búsqueda llamada goto.com . Esta medida tuvo un efecto significativo en el negocio de los motores de búsqueda, que pasó de tener dificultades a convertirse en uno de los negocios más rentables de Internet. [ cita necesaria ]
Los motores de búsqueda también eran conocidos como algunas de las estrellas más brillantes del frenesí inversor en Internet que se produjo a finales de los años noventa. [33] Varias empresas entraron en el mercado de forma espectacular y recibieron ganancias récord durante sus ofertas públicas iniciales . Algunos han eliminado su motor de búsqueda público y están comercializando ediciones exclusivas para empresas, como Northern Light. Muchas empresas de motores de búsqueda quedaron atrapadas en la burbuja de las puntocom , un auge del mercado impulsado por la especulación que alcanzó su punto máximo en marzo de 2000.
Alrededor del año 2000, el motor de búsqueda de Google saltó a la fama. [34] La empresa logró mejores resultados en muchas búsquedas con un algoritmo llamado PageRank , como se explica en el artículo Anatomía de un motor de búsqueda escrito por Sergey Brin y Larry Page , los fundadores posteriores de Google. [8] Este algoritmo iterativo clasifica las páginas web según el número y el PageRank de otros sitios web y páginas que enlazan allí, bajo la premisa de que las páginas buenas o deseables están enlazadas a más que otras. La patente de Larry Page para PageRank cita la patente anterior de RankDex de Robin Li como una influencia. [30] [26] Google también mantuvo una interfaz minimalista para su motor de búsqueda. Por el contrario, muchos de sus competidores integraron un motor de búsqueda en un portal web . De hecho, el buscador de Google se hizo tan popular que surgieron motores de suplantación de identidad como Mystery Seeker .
En el año 2000, Yahoo! proporcionaba servicios de búsqueda basados en el motor de búsqueda de Inktomi. Yahoo! adquirió Inktomi en 2002 y Overture (propietaria de AlltheWeb y AltaVista) en 2003. Yahoo! cambió al motor de búsqueda de Google hasta 2004, cuando lanzó su propio motor de búsqueda basado en las tecnologías combinadas de sus adquisiciones.
Microsoft lanzó MSN Search por primera vez en el otoño de 1998 utilizando resultados de búsqueda de Inktomi. A principios de 1999, el sitio comenzó a mostrar listados de Looksmart , combinados con resultados de Inktomi. Durante un breve período en 1999, MSN Search utilizó resultados de AltaVista. En 2004, Microsoft inició una transición hacia su propia tecnología de búsqueda, impulsada por su propio rastreador web (llamado msnbot ).
El motor de búsqueda renombrado de Microsoft, Bing , se lanzó el 1 de junio de 2009. El 29 de julio de 2009, Yahoo! y Microsoft cerraron un trato en el que Yahoo! La búsqueda estaría impulsada por la tecnología Microsoft Bing.
A partir de 2019, [actualizar]los rastreadores de motores de búsqueda activos incluyen los de Google, Sogou , Baidu, Bing, Gigablast , Mojeek , DuckDuckGo y Yandex .
Un motor de búsqueda mantiene los siguientes procesos casi en tiempo real:
Los motores de búsqueda web obtienen su información rastreando la web de un sitio a otro. La "araña" busca el nombre de archivo estándar robots.txt , dirigido a ella. El archivo robots.txt contiene directivas para las arañas de búsqueda, que le indican qué páginas rastrear y cuáles no. Después de buscar robots.txt y encontrarlo o no, la araña envía cierta información para ser indexada dependiendo de muchos factores, como los títulos, el contenido de la página, JavaScript , las hojas de estilo en cascada (CSS), los encabezados o sus metadatos . Metaetiquetas HTML . Después de una cierta cantidad de páginas rastreadas, una cantidad de datos indexados o tiempo pasado en el sitio web, la araña deja de rastrear y continúa. "[N]ingún rastreador web puede rastrear toda la red accesible. Debido a la infinidad de sitios web, trampas de arañas, spam y otras exigencias de la web real, los rastreadores aplican una política de rastreo para determinar cuándo se debe considerar el rastreo de un sitio. "Es suficiente. Algunos sitios web se rastrean exhaustivamente, mientras que otros sólo se rastrean parcialmente". [36]
Indexar significa asociar palabras y otros tokens definibles que se encuentran en páginas web con sus nombres de dominio y campos basados en HTML . Las asociaciones se realizan en una base de datos pública, disponible para consultas de búsqueda en la web. Una consulta de un usuario puede ser una sola palabra, varias palabras o una oración. El índice ayuda a encontrar información relacionada con la consulta lo más rápido posible. [35] Algunas de las técnicas de indexación y almacenamiento en caché son secretos comerciales, mientras que el rastreo web es un proceso sencillo de visitar todos los sitios de forma sistemática.
Entre visitas de la araña , la versión en caché de la página (parte o todo el contenido necesario para representarla) almacenada en la memoria de trabajo del motor de búsqueda se envía rápidamente a un solicitante. Si una visita está retrasada, el motor de búsqueda puede actuar simplemente como un proxy web . En este caso, la página puede diferir de los términos de búsqueda indexados. [35] La página almacenada en caché mantiene la apariencia de la versión cuyas palabras fueron indexadas previamente, por lo que una versión almacenada en caché de una página puede ser útil para el sitio web cuando la página real se ha perdido, pero este problema también se considera una forma leve de linkrot . .
Normalmente, cuando un usuario ingresa una consulta en un motor de búsqueda, son algunas palabras clave . [37] El índice ya tiene los nombres de los sitios que contienen las palabras clave, y estos se obtienen instantáneamente del índice. La verdadera carga de procesamiento consiste en generar las páginas web que forman la lista de resultados de búsqueda: cada página de la lista completa debe ponderarse según la información de los índices. [35] Luego, el elemento de resultado de búsqueda superior requiere la búsqueda, reconstrucción y marcado de los fragmentos que muestran el contexto de las palabras clave coincidentes. Estos son solo una parte del procesamiento que requiere cada página web de resultados de búsqueda, y las páginas adicionales (al lado de la parte superior) requieren más de este posprocesamiento.
Más allá de las simples búsquedas de palabras clave, los motores de búsqueda ofrecen su propia GUI , u operadores controlados por comandos y parámetros de búsqueda para refinar los resultados de la búsqueda. Estos proporcionan los controles necesarios para el usuario que participa en el ciclo de retroalimentación que los usuarios crean al filtrar y ponderar mientras refinan los resultados de la búsqueda, dadas las páginas iniciales de los primeros resultados de la búsqueda. Por ejemplo, desde 2007, el motor de búsqueda Google.com permite filtrar por fecha haciendo clic en "Mostrar herramientas de búsqueda" en la columna más a la izquierda de la página de resultados de búsqueda inicial y luego seleccionando el rango de fechas deseado. [38] También es posible ponderar por fecha porque cada página tiene una hora de modificación. La mayoría de los motores de búsqueda admiten el uso de operadores booleanos Y, O y NO para ayudar a los usuarios finales a refinar la consulta de búsqueda . Los operadores booleanos sirven para búsquedas literales que permiten al usuario refinar y ampliar los términos de la búsqueda. El motor busca las palabras o frases exactamente como se ingresaron. Algunos motores de búsqueda ofrecen una función avanzada llamada búsqueda de proximidad , que permite a los usuarios definir la distancia entre las palabras clave. [35] También existe la búsqueda basada en conceptos en la que la investigación implica el uso de análisis estadístico en páginas que contienen las palabras o frases que busca.
La utilidad de un motor de búsqueda depende de la relevancia del conjunto de resultados que proporciona. Si bien puede haber millones de páginas web que incluyen una palabra o frase en particular, algunas páginas pueden ser más relevantes, populares o autorizadas que otras. La mayoría de los motores de búsqueda emplean métodos para clasificar los resultados para proporcionar primero los "mejores" resultados. La forma en que un motor de búsqueda decide qué páginas son las que mejor coinciden y en qué orden deben mostrarse los resultados varía mucho de un motor a otro. [35] Los métodos también cambian con el tiempo a medida que cambia el uso de Internet y evolucionan nuevas técnicas. Hay dos tipos principales de motores de búsqueda que han evolucionado: uno es un sistema de palabras clave predefinidas y ordenadas jerárquicamente que los humanos han programado ampliamente. El otro es un sistema que genera un " índice invertido " analizando los textos que localiza. Esta primera forma depende mucho más de que la propia computadora haga la mayor parte del trabajo.
La mayoría de los motores de búsqueda web son empresas comerciales sustentadas por ingresos publicitarios y, por lo tanto, algunos de ellos permiten a los anunciantes tener sus listados en una clasificación más alta en los resultados de búsqueda a cambio de una tarifa. Los motores de búsqueda que no aceptan dinero por sus resultados de búsqueda ganan dinero publicando anuncios relacionados con la búsqueda junto con los resultados habituales del motor de búsqueda. Los motores de búsqueda ganan dinero cada vez que alguien hace clic en uno de estos anuncios. [39]
La búsqueda local es el proceso que optimiza los esfuerzos de las empresas locales. Se centran en el cambio para asegurarse de que todas las búsquedas sean coherentes. Es importante porque muchas personas determinan dónde planean ir y qué comprar en función de sus búsquedas. [40]
En enero de 2022, Google es, con diferencia, el motor de búsqueda más utilizado del mundo, con una cuota de mercado del 90,6%, y los otros motores de búsqueda más utilizados del mundo fueron Bing , Yahoo! , Baidu , Yandex y DuckDuckGo . [3][actualizar]
En Rusia, Yandex tiene una cuota de mercado del 62,6%, frente al 28,3% de Google. Y Yandex es el segundo motor de búsqueda más utilizado en teléfonos inteligentes en Asia y Europa. [41] En China, Baidu es el motor de búsqueda más popular. [42] El portal de búsqueda local de Corea del Sur, Naver , se utiliza para el 62,8% de las búsquedas en línea en el país. [43] Yahoo! Japón y Yahoo! Taiwán son las vías más populares para búsquedas en Internet en Japón y Taiwán, respectivamente. [44] China es uno de los pocos países donde Google no se encuentra entre los tres principales motores de búsqueda web por cuota de mercado. Anteriormente, Google era uno de los principales motores de búsqueda en China, pero se retiró después de un desacuerdo con el gobierno por la censura y un ciberataque. Pero Bing se encuentra entre los tres primeros motores de búsqueda web con una cuota de mercado del 14,95%. Baidu está a la cabeza con una cuota de mercado del 49,1%. [45]
Los mercados de la mayoría de los países de la Unión Europea están dominados por Google, excepto la República Checa , donde Seznam es un fuerte competidor. [46]
El motor de búsqueda Qwant tiene su sede en París , Francia , de donde atrae a la mayoría de sus 50 millones de usuarios registrados mensuales.
Aunque los motores de búsqueda están programados para clasificar los sitios web en función de alguna combinación de popularidad y relevancia, los estudios empíricos indican varios sesgos políticos, económicos y sociales en la información que proporcionan [47] [48] y los supuestos subyacentes sobre la tecnología. [49] Estos sesgos pueden ser un resultado directo de procesos económicos y comerciales (por ejemplo, las empresas que se anuncian con un motor de búsqueda pueden volverse también más populares en sus resultados de búsqueda orgánicos ) y procesos políticos (por ejemplo, la eliminación de resultados de búsqueda para cumplir con las leyes locales). [50] Por ejemplo, Google no mostrará ciertos sitios web neonazis en Francia y Alemania, donde la negación del Holocausto es ilegal.
Los sesgos también pueden ser el resultado de procesos sociales, ya que los algoritmos de los motores de búsqueda con frecuencia están diseñados para excluir puntos de vista no normativos en favor de resultados más "populares". [51] Los algoritmos de indexación de los principales motores de búsqueda se inclinan hacia la cobertura de sitios con sede en los EE. UU., en lugar de sitios web de países fuera de los EE. UU. [48]
Google Bombing es un ejemplo de intento de manipular los resultados de búsqueda por motivos políticos, sociales o comerciales.
Varios académicos han estudiado los cambios culturales desencadenados por los motores de búsqueda, [52] y la representación de ciertos temas controvertidos en sus resultados, como el terrorismo en Irlanda , [53] la negación del cambio climático , [54] y las teorías de la conspiración . [55]
Ha surgido la preocupación de que los motores de búsqueda como Google y Bing proporcionen resultados personalizados basados en el historial de actividad del usuario, lo que ha llevado a lo que Eli Pariser denominó cámaras de eco o burbujas de filtro en 2011. [56] El argumento es que los motores de búsqueda y Las plataformas de redes sociales utilizan algoritmos para adivinar selectivamente qué información le gustaría ver a un usuario, basándose en información sobre el usuario (como ubicación, comportamiento de clics anteriores e historial de búsqueda). Como resultado, los sitios web tienden a mostrar sólo información que concuerda con el punto de vista anterior del usuario. Según Eli Pariser, los usuarios están menos expuestos a puntos de vista contradictorios y están intelectualmente aislados en su propia burbuja informativa. Desde que se identificó este problema, han surgido motores de búsqueda competidores que buscan evitar este problema no rastreando ni haciendo "burbujas" a los usuarios, como DuckDuckGo . Sin embargo, muchos estudiosos han cuestionado la opinión de Pariser y han descubierto que hay poca evidencia de la burbuja del filtro. [57] [58] [59] Por el contrario, varios estudios que intentan verificar la existencia de burbujas de filtro han encontrado solo niveles menores de personalización en la búsqueda, [59] que la mayoría de las personas encuentran una variedad de vistas cuando navegan en línea, y que Google News tiende a promover los principales medios de comunicación establecidos. [60] [58]
El crecimiento global de Internet y de los medios electrónicos en el mundo árabe y musulmán durante la última década ha alentado a los seguidores islámicos en el Medio Oriente y el subcontinente asiático a probar sus propios motores de búsqueda, sus propios portales de búsqueda filtrada que permitirían a los usuarios realizar búsquedas seguras . Más que los filtros de búsqueda seguros habituales , estos portales web islámicos clasifican los sitios web en " halal " o " haram ", basándose en la interpretación de la "Ley del Islam" . ImHalal entró en línea en septiembre de 2011. Halalgoogling entró en línea en julio de 2013. Estos utilizan filtros haram en las colecciones de Google y Bing (y otros). [61]
Si bien la falta de inversión y el lento ritmo de las tecnologías en el mundo musulmán han obstaculizado el progreso y frustrado el éxito de un motor de búsqueda islámico, cuyo principal consumidor son los seguidores islámicos, proyectos como Muxlim , un sitio de estilo de vida musulmán, recibieron millones de dólares de inversores como Rite Internet Ventures, y también falló. Otros motores de búsqueda orientados a la religión son Jewogle, la versión judía de Google, [62] y SeekFind.org, que es cristiana. SeekFind filtra sitios que atacan o degradan su fe. [63]
El envío a un motor de búsqueda web es un proceso en el que un webmaster envía un sitio web directamente a un motor de búsqueda. Si bien el envío a los motores de búsqueda a veces se presenta como una forma de promocionar un sitio web, generalmente no es necesario porque los principales motores de búsqueda utilizan rastreadores web que eventualmente encontrarán la mayoría de los sitios web en Internet sin ayuda. Pueden enviar una página web a la vez o pueden enviar el sitio completo utilizando un mapa del sitio , pero normalmente solo es necesario enviar la página de inicio de un sitio web, ya que los motores de búsqueda pueden rastrear un sitio web bien diseñado. Quedan dos razones restantes para enviar un sitio web o una página web a un motor de búsqueda: agregar un sitio web completamente nuevo sin esperar a que un motor de búsqueda lo descubra, y tener el registro de un sitio web actualizado después de un rediseño sustancial.
Algunos programas de envío de motores de búsqueda no solo envían sitios web a múltiples motores de búsqueda, sino que también agregan enlaces a sitios web desde sus propias páginas. Esto podría parecer útil para aumentar la clasificación de un sitio web , porque los enlaces externos son uno de los factores más importantes que determinan la clasificación de un sitio web. Sin embargo, John Mueller de Google ha declarado que esto "puede generar una enorme cantidad de enlaces no naturales para su sitio" con un impacto negativo en la clasificación del sitio. [64]
En comparación con los motores de búsqueda, un sistema de marcadores sociales tiene varias ventajas sobre el software tradicional automatizado de localización y clasificación de recursos, como las arañas de los motores de búsqueda . Toda clasificación de recursos de Internet (como sitios web) basada en etiquetas la realizan seres humanos, que comprenden el contenido del recurso, a diferencia del software, que intenta algorítmicamente determinar el significado y la calidad de un recurso. Además, las personas pueden buscar y marcar páginas web que aún no han sido notadas o indexadas por las arañas web. [65] Además, un sistema de marcadores sociales puede clasificar un recurso en función del número de veces que los usuarios lo han marcado, lo que puede ser una métrica más útil para los usuarios finales que los sistemas que clasifican los recursos en función del número de enlaces externos que apuntan a él. Sin embargo, ambos tipos de clasificación son vulnerables al fraude (consulte Cómo jugar con el sistema ), y ambos necesitan contramedidas técnicas para tratar de solucionarlo.
El primer motor de búsqueda web fue Archie , creado en 1990 [66] por Alan Emtage , estudiante de la Universidad McGill de Montreal. Originalmente, el autor quería llamar al programa "archivos", pero tuvo que acortarlo para cumplir con el estándar mundial Unix de asignar a programas y archivos nombres cortos y crípticos como grep, cat, troff, sed, awk, perl, etc. .
El método principal para almacenar y recuperar archivos era mediante el Protocolo de transferencia de archivos (FTP). Este era (y sigue siendo) un sistema que especificaba una forma común para que las computadoras intercambiaran archivos a través de Internet. Funciona así: algún administrador decide que quiere que los archivos estén disponibles desde su computadora. Configura un programa en su computadora, llamado servidor FTP. Cuando alguien en Internet quiere recuperar un archivo de esta computadora, se conecta a través de otro programa llamado cliente FTP. Cualquier programa cliente FTP puede conectarse con cualquier programa servidor FTP siempre que tanto el programa cliente como el servidor sigan completamente las especificaciones establecidas en el protocolo FTP.
Inicialmente, cualquiera que quisiera compartir un archivo tenía que configurar un servidor FTP para que el archivo estuviera disponible para otros. Más tarde, los sitios FTP "anónimos" se convirtieron en depósitos de archivos, lo que permitía a todos los usuarios publicarlos y recuperarlos.
Incluso en los sitios de archivo, muchos archivos importantes todavía estaban dispersos en pequeños servidores FTP. Estos archivos sólo podían localizarse mediante el equivalente en Internet del boca a boca: alguien publicaría un correo electrónico en una lista de mensajes o en un foro de discusión anunciando la disponibilidad de un archivo.
Archie cambió todo eso. Combinó un recopilador de datos basado en scripts, que obtenía listados de sitios de archivos FTP anónimos, con un comparador de expresiones regulares para recuperar nombres de archivos que coincidieran con una consulta de usuario. (4) En otras palabras, el recolector de Archie buscó sitios FTP en Internet e indexó todos los archivos que encontró. Su comparador de expresiones regulares proporcionó a los usuarios acceso a su base de datos. [67]
En 1993, el grupo System Computing Services de la Universidad de Nevada desarrolló Veronica . [66] Fue creado como un tipo de dispositivo de búsqueda similar a Archie pero para archivos Gopher. Otro servicio de búsqueda de Gopher, llamado Jughead, apareció un poco más tarde, probablemente con el único propósito de completar el triunvirato de las historietas. Jughead es un acrónimo de Universal Gopher Hierarchy Excavation and Display de Jonzy, aunque, al igual que Veronica, probablemente sea seguro asumir que el creador recurrió al acrónimo. La funcionalidad de Jughead era prácticamente idéntica a la de Veronica, aunque parece ser un poco más tosca en los bordes. [67]
El World Wide Web Wanderer , desarrollado por Matthew Gray en 1993 [68] fue el primer robot en la Web y fue diseñado para seguir el crecimiento de la Web. Inicialmente, Wanderer sólo contaba servidores web, pero poco después de su introducción, comenzó a capturar URL a medida que avanzaba. La base de datos de URL capturadas se convirtió en Wandex, la primera base de datos web.
Wanderer de Matthew Gray creó una gran controversia en ese momento, en parte porque las primeras versiones del software proliferaron en la red y causaron una notable degradación del rendimiento en toda la red. Esta degradación se produjo porque el Wanderer accedía a la misma página cientos de veces al día. The Wanderer pronto modificó sus métodos, pero la controversia sobre si los robots eran buenos o malos para Internet persistió.
En respuesta al Wanderer, Martijn Koster creó Archie-Like Indexing of the Web, o ALIWEB, en octubre de 1993. Como su nombre lo indica, ALIWEB era el equivalente HTTP de Archie y, debido a esto, sigue siendo único en muchos sentidos.
ALIWEB no dispone de robot de búsqueda web. En cambio, los webmasters de los sitios participantes publican su propia información de índice para cada página que desean incluir en la lista. La ventaja de este método es que los usuarios pueden describir su propio sitio y un robot no corre devorando el ancho de banda de la red. Las desventajas de ALIWEB son un problema mayor hoy en día. La principal desventaja es que se debe enviar un archivo de indexación especial. La mayoría de los usuarios no entienden cómo crear un archivo de este tipo y, por lo tanto, no envían sus páginas. Esto conduce a una base de datos relativamente pequeña, lo que significa que es menos probable que los usuarios busquen en ALIWEB que en uno de los grandes sitios basados en bots. Este Catch-22 se ha visto algo compensado al incorporar otras bases de datos en la búsqueda de ALIWEB, pero todavía no tiene el atractivo masivo de los motores de búsqueda como Yahoo! o Lycos. [67]
Excite , inicialmente llamado Architext, fue iniciado por seis estudiantes universitarios de Stanford en febrero de 1993. Su idea era utilizar el análisis estadístico de las relaciones entre palabras para proporcionar búsquedas más eficientes a través de la gran cantidad de información en Internet. Su proyecto fue totalmente financiado a mediados de 1993. Una vez asegurada la financiación. lanzaron una versión de su software de búsqueda para que los webmasters la utilicen en sus propios sitios web. En aquel momento, el software se llamaba Architext, pero ahora se llama Excite for Web Servers. [67]
Excite fue el primer motor de búsqueda comercial serio que se lanzó en 1995. [69] Fue desarrollado en Stanford y @Home lo compró por 6.500 millones de dólares. En 2001, Excite y @Home quebraron e InfoSpace compró Excite por 10 millones de dólares.
Algunos de los primeros análisis de búsquedas web se realizaron en registros de búsqueda de Excite [70] [71].
En abril de 1994, dos Ph.D. de la Universidad de Stanford. Los candidatos, David Filo y Jerry Yang , crearon algunas páginas que se hicieron bastante populares. Llamaron a la colección de páginas Yahoo! Su explicación oficial para la elección del nombre fue que se consideraban un par de yahoos.
A medida que la cantidad de enlaces creció y sus páginas comenzaron a recibir miles de visitas al día, el equipo creó formas de organizar mejor los datos. Para ayudar en la recuperación de datos, Yahoo! (www.yahoo.com) se convirtió en un directorio con capacidad de búsqueda. La función de búsqueda era un motor de búsqueda de base de datos simple. Porque Yahoo! las entradas se ingresaron y clasificaron manualmente, Yahoo! En realidad no estaba clasificado como motor de búsqueda. En cambio, generalmente se consideraba un directorio con capacidad de búsqueda. Yahoo! Desde entonces, ha automatizado algunos aspectos del proceso de recopilación y clasificación, borrando la distinción entre motor y directorio.
The Wanderer solo capturó URL, lo que dificultó encontrar cosas que no estuvieran descritas explícitamente en su URL. Debido a que, para empezar, las URL son bastante crípticas, esto no ayudó al usuario promedio. Buscando en Yahoo! o Galaxy fueron mucho más efectivos porque contenían información descriptiva adicional sobre los sitios indexados.
En la Universidad Carnegie Mellon durante julio de 1994, Michael Mauldin, con licencia de CMU, desarrolló el motor de búsqueda Lycos .
Los motores de búsqueda en la web son sitios enriquecidos con la posibilidad de buscar contenido almacenado en otros sitios. Existe una diferencia en la forma en que funcionan los distintos motores de búsqueda, pero todos realizan tres tareas básicas. [72]
El proceso comienza cuando un usuario ingresa una declaración de consulta en el sistema a través de la interfaz proporcionada.
Existen básicamente tres tipos de motores de búsqueda: los que funcionan con robots (llamados rastreadores ; hormigas o arañas) y los que funcionan con envíos humanos; y aquellos que son un híbrido de los dos.
Los motores de búsqueda basados en rastreadores son aquellos que utilizan agentes de software automatizados (llamados rastreadores) que visitan un sitio web, leen la información del sitio real, leen las metaetiquetas del sitio y también siguen los enlaces a los que se conecta el sitio para realizar una indexación en todos los enlaces. Sitios web también. El rastreador devuelve toda esa información a un depósito central, donde se indexan los datos. El rastreador regresará periódicamente a los sitios para verificar cualquier información que haya cambiado. La frecuencia con la que esto sucede la determinan los administradores del motor de búsqueda.
Los motores de búsqueda impulsados por humanos dependen de ellos para enviar información que posteriormente se indexa y cataloga. Sólo la información enviada se incluye en el índice.
En ambos casos, cuando consulta un motor de búsqueda para localizar información, en realidad está buscando a través del índice que el motor de búsqueda ha creado; en realidad, no está buscando en la Web. Estos índices son bases de datos gigantes de información que se recopila, almacena y posteriormente busca. Esto explica por qué a veces una búsqueda en un motor de búsqueda comercial, como Yahoo! o Google, devolverán resultados que, de hecho, son enlaces inactivos. Dado que los resultados de la búsqueda se basan en el índice, si el índice no se ha actualizado desde que una página web dejó de ser válida, el motor de búsqueda trata la página como si todavía fuera un enlace activo aunque ya no lo sea. Permanecerá así hasta que se actualice el índice.
Entonces, ¿por qué la misma búsqueda en diferentes motores de búsqueda produce resultados diferentes? Parte de la respuesta a esa pregunta es que no todos los índices serán exactamente iguales. Depende de lo que encuentren las arañas o de lo que presenten los humanos. Pero lo más importante es que no todos los motores de búsqueda utilizan el mismo algoritmo para buscar en los índices. El algoritmo es lo que utilizan los motores de búsqueda para determinar la relevancia de la información del índice con respecto a lo que busca el usuario.
Uno de los elementos que busca el algoritmo de un motor de búsqueda es la frecuencia y ubicación de las palabras clave en una página web. Aquellos con mayor frecuencia suelen considerarse más relevantes. Pero la tecnología de los motores de búsqueda se está volviendo sofisticada en su intento de desalentar lo que se conoce como relleno de palabras clave o spamdexing.
Otro elemento común que analizan los algoritmos es la forma en que las páginas se vinculan con otras páginas de la Web. Al analizar cómo las páginas se vinculan entre sí, un motor puede determinar de qué trata una página (si las palabras clave de las páginas vinculadas son similares a las palabras clave de la página original) y si esa página se considera "importante" y merecedora de un aumento en la clasificación. Así como la tecnología se está volviendo cada vez más sofisticada para ignorar el exceso de palabras clave, también se está volviendo más inteligente para los webmasters que construyen enlaces artificiales en sus sitios para construir una clasificación artificial.
Los motores de búsqueda web modernos son sistemas de software muy complejos que emplean tecnología que ha evolucionado a lo largo de los años. Hay una serie de subcategorías de software de motor de búsqueda que se aplican por separado a necesidades específicas de "navegación". Estos incluyen motores de búsqueda web (por ejemplo, Google ), motores de búsqueda de bases de datos o datos estructurados (por ejemplo, Dieselpoint ) y motores de búsqueda mixtos o búsqueda empresarial. Los motores de búsqueda más habituales, como Google y Yahoo! , utilizan cientos de miles de computadoras para procesar billones de páginas web con el fin de obtener resultados bastante bien dirigidos. Debido a este gran volumen de consultas y procesamiento de textos, se requiere que el software se ejecute en un entorno muy disperso con un alto grado de superfluidad.
Otra categoría de motores de búsqueda son los motores de búsqueda científicos. Son motores de búsqueda que buscan literatura científica. El ejemplo más conocido es Google Scholar. Los investigadores están trabajando para mejorar la tecnología de los motores de búsqueda haciéndoles comprender el elemento de contenido de los artículos, como la extracción de construcciones teóricas o hallazgos clave de la investigación. [73]
