Ir para conteúdo

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

elima

Um Web Crawler busca o que tá na WWW mesmo ou que está indexado em um

Recommended Posts

Estou pensando em desenvolver um trabalho sobre ferramentas de pesquisa. Confesso que sou iniciante e pouco sei sobre programação, mas sei que aqui terei as respostas que preciso pra este trabalho. Pesquisei sobre crawlers, web crawlers, bots e afins e muito se fala que eles "varrem" a World Wide Web atrás dos resultados para exibir, mas, confesso, que custo a acreditar porque me pergunto como eles fazem a indexação dos sites na internet? De forma automatizada? Por isso a pergunta acima. Agradeço a quem dispor de tempo pra me responder, valeu!

Compartilhar este post


Link para o post
Compartilhar em outros sites

Na verdade eles não "Varrem", eles "perfuram", por isso são chamados crawlers. Um crawler basicamente toma por padrão um ponto inicial (pode ser qualquer site conhecido), lê essa página e segue os links que essa página possui para fora, por exemplo:

- O Site uol.com.br tem um link para jogos.uol.com.br

E assim infinitamente, a cada iteração dessa um novo crawler é criado (em uma das implementações, existem outros meios) e segue os links daquele site em diante multiplicando geometricamente e seguindo os links de página em página.

Quanto mais crawlers se tem, mais rápido e mais sites se indexam.

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por Machado_Dan
      Boa noite pessoal.
      Sou iniciante em PHP e estou tentando desenvolver um crawler em PHP para um projeto.
      Já consegui pegar as informações que preciso, porém o site que estou 'crawleando' só exibe 20 resultados por página. Dependendo de qual cidade é inserida no campo de busca, podemos ter X páginas para serem exibidas da 1ª a última.
      As páginas seguem o mesmo padrão com a númeração no final.
      Mas não estou tendo nenhuma ideia que funcione de como automatizar isso no crawler para que ele possa ler todas as páginas disponíveis.
      Alguem consegue me ajudar?

      Segue crawler:
       
      <?php   require "vendor/autoload.php";   use GuzzleHttp\Client; use Sunra\PhpSimple\HtmlDomParser;   $client = new Client([  'headers' => [   'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'  ] ]);   $URL = 'https://www.guiamais.com.br/encontre?searchbox=true&what=&where=S%C3%A3o+Paulo%2C+SP&page=1';   $html = $client->request("GET",$URL)->getBody(); $dom = HtmlDomParser::str_get_html($html);   foreach ($dom->find('meta[itemprop=url]') as $Key => $link){     $urlEmpresa = $link->content;     $html = $client->request("GET",$urlEmpresa)->getBody();   $domEmpresa = HtmlDomParser::str_get_html($html);     $basicsInfo = $domEmpresa->find('div.basicsInfo',0);   $extendedInfo = $domEmpresa->find('div.extendedInfo',0);     $titulo = html_entity_decode($basicsInfo->find('h1',0)->plaintext);   $categoria = html_entity_decode(trim($basicsInfo->find('p.category',0)->plaintext));     $endereco = preg_replace('/\s+/',' ',html_entity_decode(trim($extendedInfo->find('.advAddress',0)->plaintext)));     $telefones = [];   foreach($extendedInfo->find('li.detail') as $li){     $telefones[] = trim($li->plaintext);   }     echo $titulo.PHP_EOL.$categoria.PHP_EOL.$endereco.PHP_EOL;     echo'<pre>';   print_r($telefones);   echo'</pre>';     echo PHP_EOL.PHP_EOL.PHP_EOL;   }   ?>  
      Agradeço muito a ajuda.
       
      Abraços.
    • Por rlemos
      Bom dia.
       
      Criei recentemente um site e já se encontra on-line. No entanto, sempre que faço pesquisa, ele não aparece. Preciso mesmo de ajuda!!!! Alguém?! O site é www.etransfer.com.pt
      Obrigada pela atenção.
    • Por JoãoNeto2
      Pessoal,
       
      Preciso automatizar um processo para pegar informações de alguns determinados sites.  Já vi vários exemplos de utilização de curl.
       
      Percebi que quando o site tem suas tags fixas funciona direito.  Mas quando preciso pegar algo variável parece que não consigo.
       
      Por exemplo, essa URL (https://startupbase.abstartups.com.br/startup/4000) contém o nome de uma Startup, cidade e outras informações.
       
      Não consigo pegar essa informação. Alguma dica?
       
      Abraço
    • Por BelleFisio
      Bom dia!
       
      Seria possível impedir que o google e outros buscadores, indexem as imagens do meu site em suas pesquisas?
       
      Já tentei  as indicações do próprio Google,  porém, ainda aparecem as imagens na pesquisa por imagens:
      User-agent: Googlebot-Image
      Disallow: /
      Disallow: /*.jpg$
      Disallow: /*.gif$
      Disallow: /imagem
       
      Obrigada
    • Por Misael Silva
      Olá, membros do fórum, tenho uma duvida a sanar que é sobre como inserir meu website a buscadores, como exemplo o próprio google, ao inserir o nome do meu site na barra de pesquisa ira aparecer nos resultados da pagina. Como posso proceder? (Espero que eu tenha criado esse tópico na área certa rs...)

×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.