Jump to content

Search the Community

Showing results for tags 'crawler'.



More search options

  • Search By Tags

    Type tags separated by commas.
  • Search By Author

Content Type


Forums

  • Q&A Desenvolvimento
    • Perguntas e respostas rápidas
  • Desenvolvimento e Banco de Dados
    • HTML e CSS
    • Java
    • Javascript
    • .NET
    • PHP
    • Python
    • Ruby
    • Mobile
    • Ambientes de Desenvolvimento
    • Arquitetura e Métodos Ágeis
    • Banco de Dados
    • DevOps
    • Desenvolvimento de Games
    • E-Commerce e Pagamentos Online
    • SEO e Otimizações
    • WordPress
    • Algoritmos & Outras Tecnologias
  • Design e Produto
    • Fotografia
    • Photoshop
    • Design de interfaces e UX
    • Edição/Produção de Vídeos
    • Marketing Online
    • Desenho, Ilustração e 3D
  • Entretenimento e uso pessoal
    • Geral
    • Segurança & Malwares
    • Gadgets e wearable
    • Softwares e Apps
    • Entretenimento

Find results in...

Find results that contain...


Date Created

  • Start

    End


Last Updated

  • Start

    End


Filter by number of...

Joined

  • Start

    End


Group


Google+


Hangouts


Skype


Twitter


deviantART


Github


Flickr


LinkedIn


Pinterest


Facebook


Site Pessoal


Localização


Interesses

Found 9 results

  1. JoãoNeto2

    Pegar conteúdo dinâmico de um site

    Pessoal, Preciso automatizar um processo para pegar informações de alguns determinados sites. Já vi vários exemplos de utilização de curl. Percebi que quando o site tem suas tags fixas funciona direito. Mas quando preciso pegar algo variável parece que não consigo. Por exemplo, essa URL (https://startupbase.abstartups.com.br/startup/4000) contém o nome de uma Startup, cidade e outras informações. Não consigo pegar essa informação. Alguma dica? Abraço
  2. Seguinte, pessoal. O portal de notas da minha faculdade se apresenta conforme a imagem em anexo. Vejam que cada matéria possui 3 provas. Alguns professores cadastram as 3 de uma vez, e fica pendente só o valor da nota no final. Outros nem cadastram as provas. Eu precisava de um robô que varresse essa página e informasse toda vez que algum professor cadastrar uma nova nota. Tem como fazer isso?
  3. Ivan.Teles

    Crawler Web

    Boa tarde, alguém da área .net aqui tem conhecimento para criar um crawler? Estou com um cliente com essa necessidade e preciso de um programador que tenha o devido conhecimento.
  4. Olá a todos, estou desenvolvendo um crawler, mas estou tendo dificuldades em obter os dados da página. Deixa eu explicar de forma detalhada O crawler enxerga o html que a página gera, e tudo bem, a idéia é essa mesmo. Estou buscando o "H1" da página e o crawler não encontra. Quando acesso o site pelo navegador e clico em "ver código fonte" verifico que realmente o "H1" não existe, mas quando peço para "inspecionar elemento" pelo navegador o "H1" está lá, justamente na página que estou fazendo a pesquisa com o crawler. Alguém me dá uma luz de como posso obter esses dados?
  5. Estou pensando em desenvolver um trabalho sobre ferramentas de pesquisa. Confesso que sou iniciante e pouco sei sobre programação, mas sei que aqui terei as respostas que preciso pra este trabalho. Pesquisei sobre crawlers, web crawlers, bots e afins e muito se fala que eles "varrem" a World Wide Web atrás dos resultados para exibir, mas, confesso, que custo a acreditar porque me pergunto como eles fazem a indexação dos sites na internet? De forma automatizada? Por isso a pergunta acima. Agradeço a quem dispor de tempo pra me responder, valeu!
  6. Micilini Roll

    Opções de armazenamento de dados

    Considerando criar um sistema que armazene todas as possíveis url's de uma determinada pagina em uma variável, temos duas possíveis soluções de armazenamento: Inserir dentro de um banco de dados, aonde cada linha armazena uma url. Inserir em um arquivo .txt, comprimir e salva-lo em uma determinada pasta. Priorizando o armazenamento interno da maquina, qual das soluções acima consumiria menor espaço de armazenamento? Dado um outro momento, devemos verificar cada url armazenada (banco de dados ou arquivo) afim de evitar endereços repetidos, para isso dependendo da solução escolhida acima, nós temos: Para a solução 1: Executar uma query SQL afim de verificar se determinado valor já existe na tabela Para a solução 2: Abrir o arquivo, e executar um loop afim de verificar se determinado valor já existe Priorizando a capacidade de processamento da maquina, qual das soluções teria o menor consumo de processamento da maquina? Analisando cada uma das alternativas ditas acima, qual delas iria suprir as prioridades a curto prazo? e a longo prazo?
  7. gabrieldarezzo

    [RESOLVIDO] Crawler - Listagem de todas as URLS

    Salve galera. Alguem sabe uma maneira de listar todas as urls de um site: Ex: se no google eu utilizar a técnica: site:http://meusite.com.br/ Ele vai listar varias paginas indexadas. Queria isto de uma maneira mais agressiva / automatizada. Seria para entender melhor a estrutura do site. Abraços.
  8. rhenan silverio

    Chamando apenas as Perguntas

    Bom eu já fiz uma postagem sobre o PHP Crawler, pois bem mexi e comecei a entender mais ou menos o problema é que ele puxa url toda, ok ai tudo certo, mas eu só queria somente puxar as perguntas que tem nessa url, se alguem puder ajudar, me explicar vou deixar o script de como está <?php $to_crawl = "https://www.qconcursos.com/questoes-de-concursos/questoes/search?utf8=%E2%9C%93&todas=on&q=&instituto=&organizadora=&prova=&ano_publicacao=&cargo=&escolaridade=&modalidade=&disciplina=3+&assunto=&esfera=&area=&nivel_dificuldade=&periodo_de=&periodo_ate=&possui_gabarito_comentado_texto_e_video=&possui_comentarios_gerais=&possui_comentarios=&possui_anotacoes=&sem_dos_meus_cadernos=&sem_anuladas=&sem_desatualizadas=&sem_anuladas_impressao=&sem_desatualizadas_impressao=&caderno_id=&migalha=&data_comentario_texto=&data=&minissimulado_id=&resolvidas=&resolvidas_certas=&resolvidas_erradas=&nao_resolvidas="; function get_links($url) { $input = @file_get_contents($url); //$regexp = "/ [a-zA-Z] + (\ d +) /"; //preg_match_all($regexp, $input, $matches) echo $input; } get_links($to_crawl); no link se forem ver ele tem todo o site e ali indo para baixo vão ver as perguntas. (Não sei deveria ter postado no outro tópico ou não).
  9. rhenan silverio

    Crawler em PHP

    Boa Noite. Sou novo aqui no fórum e pois bem preciso de uma grande ajuda, um cliente meu está pedindo que puxasse vamos se dar exemplo, 100 perguntas de sites de concurso, pensei em usar o crawler, pois nem eu mesmo usei ou testei ( nunca mexi) gostaria que pudesse me dar umas dicas mais ou menos, uma ajudinha. abraços.
×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.