Ir para conteúdo

Pesquisar na Comunidade

Mostrando resultados para as tags ''crawler''.

  • Pesquisar por Tags

    Digite tags separadas por vírgulas
  • Pesquisar por Autor

Tipo de Conteúdo


Calendários

  • Comunidade iMasters

Todas as áreas do Fórum

  • Q&A Desenvolvimento
    • Perguntas e respostas rápidas
  • Desenvolvimento Web
    • Desenvolvimento frontend
    • Javascript
    • PHP
    • Ruby
    • Python
    • Java
    • .NET
    • Docker, Kubernets e outros ambientes
    • Desenvolvimento com Wordpress
    • Desenvolvimento de apps
    • Desenvolvimento ágil
    • Desenvolvimento de Games
    • Banco de Dados
    • Design e UX
    • Algoritmos & Outras Tecnologias
  • Entretenimento e uso pessoal
    • Segurança & Malwares
    • Geral
    • Boteco iMasters

Encontrar resultados em...

Encontrar resultados que...


Data de Criação

  • Início

    FIM


Data de Atualização

  • Início

    FIM


Filtrar pelo número de...

Data de Registro

  • Início

    FIM


Grupo


Google+


Hangouts


Skype


Twitter


deviantART


Github


Flickr


LinkedIn


Pinterest


Facebook


Site Pessoal


Localização


Interesses

Encontrado 1 registro

  1. Boa noite pessoal. Sou iniciante em PHP e estou tentando desenvolver um crawler em PHP para um projeto. Já consegui pegar as informações que preciso, porém o site que estou 'crawleando' só exibe 20 resultados por página. Dependendo de qual cidade é inserida no campo de busca, podemos ter X páginas para serem exibidas da 1ª a última. As páginas seguem o mesmo padrão com a númeração no final. Mas não estou tendo nenhuma ideia que funcione de como automatizar isso no crawler para que ele possa ler todas as páginas disponíveis. Alguem consegue me ajudar? Segue crawler: <?php require "vendor/autoload.php"; use GuzzleHttp\Client; use Sunra\PhpSimple\HtmlDomParser; $client = new Client([ 'headers' => [ 'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36' ] ]); $URL = 'https://www.guiamais.com.br/encontre?searchbox=true&what=&where=S%C3%A3o+Paulo%2C+SP&page=1'; $html = $client->request("GET",$URL)->getBody(); $dom = HtmlDomParser::str_get_html($html); foreach ($dom->find('meta[itemprop=url]') as $Key => $link){ $urlEmpresa = $link->content; $html = $client->request("GET",$urlEmpresa)->getBody(); $domEmpresa = HtmlDomParser::str_get_html($html); $basicsInfo = $domEmpresa->find('div.basicsInfo',0); $extendedInfo = $domEmpresa->find('div.extendedInfo',0); $titulo = html_entity_decode($basicsInfo->find('h1',0)->plaintext); $categoria = html_entity_decode(trim($basicsInfo->find('p.category',0)->plaintext)); $endereco = preg_replace('/\s+/',' ',html_entity_decode(trim($extendedInfo->find('.advAddress',0)->plaintext))); $telefones = []; foreach($extendedInfo->find('li.detail') as $li){ $telefones[] = trim($li->plaintext); } echo $titulo.PHP_EOL.$categoria.PHP_EOL.$endereco.PHP_EOL; echo'<pre>'; print_r($telefones); echo'</pre>'; echo PHP_EOL.PHP_EOL.PHP_EOL; } ?> Agradeço muito a ajuda. Abraços.
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.