Um Web Crawler busca o que tá na WWW mesmo ou que está indexado em um
K
KhaosDoctorNa verdade eles não "Varrem", eles "perfuram", por isso são chamados crawlers. Um crawler basicamente toma por padrão um ponto inicial pode ser qualquer site conhecido, lê essa pág