[1] Un ejemplo son los buscadores de Internet (algunos buscan únicamente en la web, pero otros lo hacen además en noticias, servicios como Gopher, FTP, etc.) cuando se pide información sobre algún tema.La operación normal es que se le da al programa un grupo de direcciones iniciales, la araña descarga estas direcciones, analiza las páginas y busca enlaces a páginas nuevas.Luego descarga estas páginas nuevas, analiza sus enlaces, y así sucesivamente.[11] En 1945, Vannevar Bush , quien escribió un artículo en The Atlantic Monthly titulado As We May Think[13] en el que imaginó bibliotecas de investigación con anotaciones conectadas no muy diferentes a los hiperenlaces modernos.Queda una instantánea de la lista en 1992,[20] pero a medida que más y más servidores web se pusieron en línea, la lista central ya no pudo mantenerse al día.En el sitio de la NCSA, se anunciaron nuevos servidores bajo el título What's New!.[21] La primera herramienta utilizada para buscar contenido (a diferencia de usuarios) en Internet fue Archie.[22] El nombre significa "archivo" sin la "v",[23] Fue creado por Alan Emtage[23][24][25][26] estudiante de informática en la Universidad McGill en Montreal, Quebec, Canadá .[27] En junio de 1993, Matthew Gray,[28] entonces en el MIT, produjo lo que probablemente fue el primer robot web, el World Wide Web Wanderer basado en Perl , y lo usó para generar un índice llamado Wandex.El primer buscador fue Wandex, un índice realizado por el World Wide Web Wanderer, un robot desarrollado por Mattew Gray en el MIT, en 1993.Otro de los primeros buscadores, Aliweb, también apareció en 1993 y todavía está en funcionamiento.Muy pronto aparecieron muchos más buscadores, como Excite, Infoseek, Inktomi, Northern Light y Altavista.De algún modo, competían con directorios (o índices temáticos) populares tales como Yahoo!.En 1996 Larry Page y Sergey Brin comenzaron un proyecto que llevaría a la aparición del buscador más utilizado hoy en día: Google.El proyecto inicial se llamó BackRub,[30] que era el nombre de la tecnología utilizada para su desarrollo.[37] Estos sesgos pueden ser el resultado directo de procesos económicos y comerciales (p.[38] Por ejemplo, Google no mostrará ciertos sitios web neonazis en Francia y Alemania, donde la negación del Holocausto es ilegal.Esto conduce a un efecto que se ha denominado filtro burbuja.Como resultado, los sitios web tienden a mostrar solo información que concuerda con el punto de vista anterior del usuario.Esto pone al usuario en un estado de aislamiento intelectual sin información contraria.[47] Desde que se identificó este problema, han surgido motores de búsqueda de la competencia que buscan evitar este problema al no rastrear o "burbujear" a los usuarios, como DuckDuckGo.Sin embargo, John Mueller de Google ha declarado que esto "puede dar lugar a una gran cantidad de enlaces no naturales para su sitio" con un impacto negativo en la clasificación del sitio.
Resultados de una búsqueda del término "eclipse lunar" en un motor de búsqueda de imágenes basado en la web
