Para determinar en qué posición aparece cada página, Google sigue dos pasos fundamentales: Rastreo: Imagínate una tela de araña.
Google es la araña principal, y cada vez que algo nuevo se posa en la red, envía a sus miniarañas (bots) para encontrarlo.
Si un webmaster no desea que su página sea analizada por un Bot, puede insertar un método llamado robots.txt, el cual evita que GoogleBot (y otros bots) investiguen una o varias páginas (o incluso todo el contenido en total) del sitio web.
GoogleBot descubre enlaces a otras páginas, y se dirige hacia ellos también, así puede abarcar toda la web fácilmente.
No solamente indexa páginas web (HTML), sino que también extrae información de ficheros PDF, PS, XLS, DOC y algunos otros más.
La frecuencia con la que Googlebot accede a un sitio web depende del PageRank de éste.