Crawler em PHP

Tem algumas maneiras, você pode usar

<?php
//pega o conteúdo da página específica
$conteudo_site = file_get_contents("www.site.com");
//crie a expressão referente ao que você quer pegar na página
//se não sabe nada sobre expressões pesquise sobre o assunto

$expressao_modelo = "\<h1>(.*)<\/h1>\i";//isto pegará todos os balores de todos os "H1" da página
preg_match_all($expressao_modelo, $conteudo_site, $resultados_encontrados);

//o preg_match cria duas chaves
//lsita com os resultados

foreach ($resultados_encontrados[1] as $pergunta){
 print $pergunta . '<br />';
}

Lembrando que o PHP tem um limitações para este tipo de aplicação, voce terá de optimizar isso ai

O interessante seria criar um Crawler em Phyton ou outra linguagem no porte.

Este tópico é sobre uma dúvida semelhante:

http://forum.imasters.com.br/topic/539892-armazenar-todo-conteudo-de-texto-de-um-site/