Como o Google acha todos os sites?

Voce deve se perguntar: Como o Google consegue saber todos os sites existentes na internet

Como sabemos todos os dias milhares de sites saem e entram no ar na Internet, como ele consegue acompanhar tal mudanças?

Eu tenho a resposta para a sua pergunta!! é através do GoogleBot !

Antes de explicar os funcionamentos do GoogleBot, voces precisam saber alguns conceitos:
Crawlers o que é?
Crawlers também recebem o nome de: bots, robots e até spiders. Sao programas que sao desenvolvidos basicamente para navegar no mundo web automaticamente, buscando informaçoes e possuem acesso até para roubar informaçoes.
Assim o GoogleBot que é um programa desenvolvido pela empresa Google, roda a internet seguindo os links entre os sites e lendo tudo o que ele encontra.

Sabe as buscas que voce faz no Google?

Entao.. Os resultados sao feitos graças ao trabalho do GoogleBot!
Entenda como funciona o GoogleBot Basicamente ele roda a internet em 3 fases:
Fase 1: Rastreamento, nessa fase o GoogleBot inicia a sua busca partindo de algum ponto aleatório da internet. Ele vai navegando, seguindo os links, entrando e saindo sempre anotando cada vez que um site é encontrado. Caso o site já está registrado ele apenas vasculha para ver se o site nao sofreu alteraçoes/atualizaçoes.
Fase2: Indexaçao: Após o GoogleBot ter feito todo o trabalho da Fase 1, chegou a hora de processar essas informaçoes, nessa fase os sites anteriormente lidos sao agora avaliados seguindo uma série de critérios e testes, que analisam o nível de SEO (Search Engine Optimization) e assim decide quais deles sao os mais relevantes para cada palavra-chave, ou seja, nessa fase seu site recebe uma nota que é o PageRank do Google, quanto maior seu PageRank maior sua nota e melhor o seu site está classificado pelo Google.
Porém nessa fase também o GoogleBot realiza os testes de Black Hat no seu site. Se alguma irregularidade for encontrada no seu site, invés de pontos positivos, voce recebera pontos negativos. Assim podendo fazer seu site sofrer penalizaçoes, podendo até tirá-lo fora dos resultados de Buscas do Google.
Fase 3: Publicaçao: Isso mesmo Publicar é a terceira atribuiçao do GoogleBot, ele exibe os resultados quando voce faz alguma pesquisa. O GoogleBot visita o índice dos melhores sites que ele montou na fase anterior e exibe em ordem para voce.
Entendeu? Caso nao, analise a imagem abaixo:

Animaçao do funcionamento simplificado e didático do GoogleBot, que varre as páginas calculando o PageRank