Criando um script para varrer a web

Olá galera, eu tenho um grande dúvida quero saber como criar um script para varrer a web, tipo o google sabe

no meu caso é mais para conhecimento, eu fico pensando como o google faz para entrar em todos os sites e ler eles e guardar tudo isso, tipo como ele sabe que meu site existe? alguém sabe me explicar o procedimento disso por que em tese você vê muito site pequeno de conteúdo tipo o google, tem algum código open que faz isso qual linguagem e a certa nem sei se dá para fazer em php postei aqui porque tenho conhecimentos em php.

Se algum tiver também algum site ou blog falando sobre o conteúdo coloque o link.

Deste já agradeço a ajuda de todos.