Arquivado
Este tópico foi arquivado e está fechado para novas respostas.
web crawler Um Web Crawler busca o que tá na WWW mesmo ou que está indexado em um
Por
elima, em Algoritmos & Outras Tecnologias
Recommended Posts
-
Conteúdo Similar
-
Por Machado_Dan
Boa noite pessoal.
Sou iniciante em PHP e estou tentando desenvolver um crawler em PHP para um projeto.
Já consegui pegar as informações que preciso, porém o site que estou 'crawleando' só exibe 20 resultados por página. Dependendo de qual cidade é inserida no campo de busca, podemos ter X páginas para serem exibidas da 1ª a última.
As páginas seguem o mesmo padrão com a númeração no final.
Mas não estou tendo nenhuma ideia que funcione de como automatizar isso no crawler para que ele possa ler todas as páginas disponíveis.
Alguem consegue me ajudar?
Segue crawler:
<?php require "vendor/autoload.php"; use GuzzleHttp\Client; use Sunra\PhpSimple\HtmlDomParser; $client = new Client([ 'headers' => [ 'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36' ] ]); $URL = 'https://www.guiamais.com.br/encontre?searchbox=true&what=&where=S%C3%A3o+Paulo%2C+SP&page=1'; $html = $client->request("GET",$URL)->getBody(); $dom = HtmlDomParser::str_get_html($html); foreach ($dom->find('meta[itemprop=url]') as $Key => $link){ $urlEmpresa = $link->content; $html = $client->request("GET",$urlEmpresa)->getBody(); $domEmpresa = HtmlDomParser::str_get_html($html); $basicsInfo = $domEmpresa->find('div.basicsInfo',0); $extendedInfo = $domEmpresa->find('div.extendedInfo',0); $titulo = html_entity_decode($basicsInfo->find('h1',0)->plaintext); $categoria = html_entity_decode(trim($basicsInfo->find('p.category',0)->plaintext)); $endereco = preg_replace('/\s+/',' ',html_entity_decode(trim($extendedInfo->find('.advAddress',0)->plaintext))); $telefones = []; foreach($extendedInfo->find('li.detail') as $li){ $telefones[] = trim($li->plaintext); } echo $titulo.PHP_EOL.$categoria.PHP_EOL.$endereco.PHP_EOL; echo'<pre>'; print_r($telefones); echo'</pre>'; echo PHP_EOL.PHP_EOL.PHP_EOL; } ?>
Agradeço muito a ajuda.
Abraços.
-
Por rlemos
Bom dia.
Criei recentemente um site e já se encontra on-line. No entanto, sempre que faço pesquisa, ele não aparece. Preciso mesmo de ajuda!!!! Alguém?! O site é www.etransfer.com.pt
Obrigada pela atenção.
-
Por JoãoNeto2
Pessoal,
Preciso automatizar um processo para pegar informações de alguns determinados sites. Já vi vários exemplos de utilização de curl.
Percebi que quando o site tem suas tags fixas funciona direito. Mas quando preciso pegar algo variável parece que não consigo.
Por exemplo, essa URL (https://startupbase.abstartups.com.br/startup/4000) contém o nome de uma Startup, cidade e outras informações.
Não consigo pegar essa informação. Alguma dica?
Abraço
-
Por BelleFisio
Bom dia!
Seria possível impedir que o google e outros buscadores, indexem as imagens do meu site em suas pesquisas?
Já tentei as indicações do próprio Google, porém, ainda aparecem as imagens na pesquisa por imagens:
User-agent: Googlebot-Image
Disallow: /
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /imagem
Obrigada
-
Por Misael Silva
Olá, membros do fórum, tenho uma duvida a sanar que é sobre como inserir meu website a buscadores, como exemplo o próprio google, ao inserir o nome do meu site na barra de pesquisa ira aparecer nos resultados da pagina. Como posso proceder? (Espero que eu tenha criado esse tópico na área certa rs...)
-