Search the Community

Boa noite pessoal. Sou iniciante em PHP e estou tentando desenvolver um crawler em PHP para um projeto. Já consegui pegar as informações que preciso, porém o site que estou 'crawleando' só exibe 20 resultados por página. Dependendo de qual cidade é inserida no campo de busca, podemos ter X páginas para serem exibidas da 1ª a última. As páginas seguem o mesmo padrão com a númeração no final. Mas não estou tendo nenhuma ideia que funcione de como automatizar isso no crawler para que ele possa ler todas as páginas disponíveis. Alguem consegue me ajudar? Segue crawler: <?php require "vendor/autoload.php"; use GuzzleHttp\Client; use Sunra\PhpSimple\HtmlDomParser; $client = new Client([ 'headers' => [ 'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36' ] ]); $URL = 'https://www.guiamais.com.br/encontre?searchbox=true&what=&where=S%C3%A3o+Paulo%2C+SP&page=1'; $html = $client->request("GET",$URL)->getBody(); $dom = HtmlDomParser::str_get_html($html); foreach ($dom->find('meta[itemprop=url]') as $Key => $link){ $urlEmpresa = $link->content; $html = $client->request("GET",$urlEmpresa)->getBody(); $domEmpresa = HtmlDomParser::str_get_html($html); $basicsInfo = $domEmpresa->find('div.basicsInfo',0); $extendedInfo = $domEmpresa->find('div.extendedInfo',0); $titulo = html_entity_decode($basicsInfo->find('h1',0)->plaintext); $categoria = html_entity_decode(trim($basicsInfo->find('p.category',0)->plaintext)); $endereco = preg_replace('/\s+/',' ',html_entity_decode(trim($extendedInfo->find('.advAddress',0)->plaintext))); $telefones = []; foreach($extendedInfo->find('li.detail') as $li){ $telefones[] = trim($li->plaintext); } echo $titulo.PHP_EOL.$categoria.PHP_EOL.$endereco.PHP_EOL; echo'<pre>'; print_r($telefones); echo'</pre>'; echo PHP_EOL.PHP_EOL.PHP_EOL; } ?> Agradeço muito a ajuda. Abraços.

Pessoal, Preciso automatizar um processo para pegar informações de alguns determinados sites. Já vi vários exemplos de utilização de curl. Percebi que quando o site tem suas tags fixas funciona direito. Mas quando preciso pegar algo variável parece que não consigo. Por exemplo, essa URL (https://startupbase.abstartups.com.br/startup/4000) contém o nome de uma Startup, cidade e outras informações. Não consigo pegar essa informação. Alguma dica? Abraço

Seguinte, pessoal. O portal de notas da minha faculdade se apresenta conforme a imagem em anexo. Vejam que cada matéria possui 3 provas. Alguns professores cadastram as 3 de uma vez, e fica pendente só o valor da nota no final. Outros nem cadastram as provas. Eu precisava de um robô que varresse essa página e informasse toda vez que algum professor cadastrar uma nova nota. Tem como fazer isso?

Boa tarde, alguém da área .net aqui tem conhecimento para criar um crawler? Estou com um cliente com essa necessidade e preciso de um programador que tenha o devido conhecimento.

Olá a todos, estou desenvolvendo um crawler, mas estou tendo dificuldades em obter os dados da página. Deixa eu explicar de forma detalhada O crawler enxerga o html que a página gera, e tudo bem, a idéia é essa mesmo. Estou buscando o "H1" da página e o crawler não encontra. Quando acesso o site pelo navegador e clico em "ver código fonte" verifico que realmente o "H1" não existe, mas quando peço para "inspecionar elemento" pelo navegador o "H1" está lá, justamente na página que estou fazendo a pesquisa com o crawler. Alguém me dá uma luz de como posso obter esses dados?

Estou pensando em desenvolver um trabalho sobre ferramentas de pesquisa. Confesso que sou iniciante e pouco sei sobre programação, mas sei que aqui terei as respostas que preciso pra este trabalho. Pesquisei sobre crawlers, web crawlers, bots e afins e muito se fala que eles "varrem" a World Wide Web atrás dos resultados para exibir, mas, confesso, que custo a acreditar porque me pergunto como eles fazem a indexação dos sites na internet? De forma automatizada? Por isso a pergunta acima. Agradeço a quem dispor de tempo pra me responder, valeu!

Considerando criar um sistema que armazene todas as possíveis url's de uma determinada pagina em uma variável, temos duas possíveis soluções de armazenamento: Inserir dentro de um banco de dados, aonde cada linha armazena uma url. Inserir em um arquivo .txt, comprimir e salva-lo em uma determinada pasta. Priorizando o armazenamento interno da maquina, qual das soluções acima consumiria menor espaço de armazenamento? Dado um outro momento, devemos verificar cada url armazenada (banco de dados ou arquivo) afim de evitar endereços repetidos, para isso dependendo da solução escolhida acima, nós temos: Para a solução 1: Executar uma query SQL afim de verificar se determinado valor já existe na tabela Para a solução 2: Abrir o arquivo, e executar um loop afim de verificar se determinado valor já existe Priorizando a capacidade de processamento da maquina, qual das soluções teria o menor consumo de processamento da maquina? Analisando cada uma das alternativas ditas acima, qual delas iria suprir as prioridades a curto prazo? e a longo prazo?

Salve galera. Alguem sabe uma maneira de listar todas as urls de um site: Ex: se no google eu utilizar a técnica: site:http://meusite.com.br/ Ele vai listar varias paginas indexadas. Queria isto de uma maneira mais agressiva / automatizada. Seria para entender melhor a estrutura do site. Abraços.

Bom eu já fiz uma postagem sobre o PHP Crawler, pois bem mexi e comecei a entender mais ou menos o problema é que ele puxa url toda, ok ai tudo certo, mas eu só queria somente puxar as perguntas que tem nessa url, se alguem puder ajudar, me explicar vou deixar o script de como está <?php $to_crawl = "https://www.qconcursos.com/questoes-de-concursos/questoes/search?utf8=%E2%9C%93&todas=on&q=&instituto=&organizadora=&prova=&ano_publicacao=&cargo=&escolaridade=&modalidade=&disciplina=3+&assunto=&esfera=&area=&nivel_dificuldade=&periodo_de=&periodo_ate=&possui_gabarito_comentado_texto_e_video=&possui_comentarios_gerais=&possui_comentarios=&possui_anotacoes=&sem_dos_meus_cadernos=&sem_anuladas=&sem_desatualizadas=&sem_anuladas_impressao=&sem_desatualizadas_impressao=&caderno_id=&migalha=&data_comentario_texto=&data=&minissimulado_id=&resolvidas=&resolvidas_certas=&resolvidas_erradas=&nao_resolvidas="; function get_links($url) { $input = @file_get_contents($url); //$regexp = "/ [a-zA-Z] + (\ d +) /"; //preg_match_all($regexp, $input, $matches) echo $input; } get_links($to_crawl); no link se forem ver ele tem todo o site e ali indo para baixo vão ver as perguntas. (Não sei deveria ter postado no outro tópico ou não).

Boa Noite. Sou novo aqui no fórum e pois bem preciso de uma grande ajuda, um cliente meu está pedindo que puxasse vamos se dar exemplo, 100 perguntas de sites de concurso, pensei em usar o crawler, pois nem eu mesmo usei ou testei ( nunca mexi) gostaria que pudesse me dar umas dicas mais ou menos, uma ajudinha. abraços.