Olá caro leitores, hoje vou falar sobre um assunto bem interessante, aquele em que algum momento você pensou ou que ainda vai pensar, como o Google consegue saber todos os sites existentes nessa rede gigante chamada Internet !?

Pois todos os dias milhares de sites saem e entram no ar na Internet, como ele consegue acompanhar tal mudanças?

A resposta para essa pergunta é: através do GoogleBot !

Porém, antes de explicar os funcionamentos do GoogleBot, vocês precisam saber um pouco sobre os conceitos abaixo:

Crawlers o que é?

Crawlers também recebem o nome de: bots, robots e até spiders. São programas desenvolvidos basicamente para navegar no mundo web automaticamente, buscando todos os tipos de informações que existem pela web.

Assim o GoogleBot roda pela internet seguindo os links entre os sites e lendo tudo o que ele encontra.
Sabe as buscas que voce faz no Google?
Os resultados gerados são feitos graças ao trabalho dele.

Conheça as 3 fases do funcionamento do GoogleBot.

Fase 1:Rastreamento , nessa fase o GoogleBot inicia a sua busca partindo de algum ponto aleatório da internet. Ele vai navegando, seguindo os links, entrando e saindo sempre anotando cada vez que um site é encontrado. Caso o site já está registrado ele apenas vasculha para ver se o site nao sofreu alterações/atualizações.

Fase2: Indexação: Após o GoogleBot ter feito todo o trabalho da Fase 1, chegou a hora de processar essas informações, nessa fase os sites anteriormente lidos são agora avaliados seguindo uma série de critérios e testes, que analisam o nível de SEO (Search Engine Optimization) e assim decide quais deles sao os mais relevantes para cada palavra-chave, ou seja, nessa fase seu site recebe uma nota que é o PageRank do Google, quanto maior seu PageRank maior sua nota e melhor o seu site está classificado pelo Google.
Porém nessa fase também o GoogleBot realiza os testes de Black Hat no seu site. Se alguma irregularidade for encontrada no seu site, você recebera pontos negativos. Assim podendo fazer seu site sofrer penalizações, e até tirá-lo fora dos resultados de Buscas do Google.

Fase 3: Publicação: Isso mesmo Publicar é a terceira atribuição do GoogleBot, ele exibe os resultados quando você faz alguma pesquisa. O GoogleBot visita o índice dos melhores sites que ele montou na fase anterior e exibe em ordem de relevância para você.

Entendeu? Caso nao, analise a imagem abaixo:

Animaçao do funcionamento simplificado e didático do GoogleBot, que varre as páginas calculando o PageRank