Ir para conteúdo

Pesquisar na Comunidade

Mostrando resultados para as tags ''crawler''.

  • Pesquisar por Tags

    Digite tags separadas por vírgulas
  • Pesquisar por Autor

Tipo de Conteúdo


Todas as áreas do Fórum

  • Q&A Desenvolvimento
    • Perguntas e respostas rápidas
  • Desenvolvimento e Banco de Dados
    • HTML e CSS
    • Java
    • Javascript
    • .NET
    • PHP
    • Python
    • Ruby
    • Mobile
    • Ambientes de Desenvolvimento
    • Arquitetura e Métodos Ágeis
    • Banco de Dados
    • DevOps
    • Desenvolvimento de Games
    • E-Commerce e Pagamentos Online
    • SEO e Otimizações
    • WordPress
    • Algoritmos & Outras Tecnologias
  • Design e Produto
    • Fotografia
    • Photoshop
    • Design de interfaces e UX
    • Edição/Produção de Vídeos
    • Marketing Online
    • Desenho, Ilustração e 3D
  • Entretenimento e uso pessoal
    • Geral
    • Segurança & Malwares
    • Gadgets e wearable
    • Softwares e Apps
    • Entretenimento

Encontrar resultados em...

Encontrar resultados que...


Data de Criação

  • Início

    FIM


Data de Atualização

  • Início

    FIM


Filtrar pelo número de...

Data de Registro

  • Início

    FIM


Grupo


Google+


Hangouts


Skype


Twitter


deviantART


Github


Flickr


LinkedIn


Pinterest


Facebook


Site Pessoal


Localização


Interesses

Encontrado 9 registros

  1. JoãoNeto2

    Pegar conteúdo dinâmico de um site

    Pessoal, Preciso automatizar um processo para pegar informações de alguns determinados sites. Já vi vários exemplos de utilização de curl. Percebi que quando o site tem suas tags fixas funciona direito. Mas quando preciso pegar algo variável parece que não consigo. Por exemplo, essa URL (https://startupbase.abstartups.com.br/startup/4000) contém o nome de uma Startup, cidade e outras informações. Não consigo pegar essa informação. Alguma dica? Abraço
  2. rbcazare

    Ajuda - robô para ler conteúdo de página e informar

    Seguinte, pessoal. O portal de notas da minha faculdade se apresenta conforme a imagem em anexo. Vejam que cada matéria possui 3 provas. Alguns professores cadastram as 3 de uma vez, e fica pendente só o valor da nota no final. Outros nem cadastram as provas. Eu precisava de um robô que varresse essa página e informasse toda vez que algum professor cadastrar uma nova nota. Tem como fazer isso?
  3. Ivan.Teles

    Crawler Web

    Boa tarde, alguém da área .net aqui tem conhecimento para criar um crawler? Estou com um cliente com essa necessidade e preciso de um programador que tenha o devido conhecimento.
  4. Olá a todos, estou desenvolvendo um crawler, mas estou tendo dificuldades em obter os dados da página. Deixa eu explicar de forma detalhada O crawler enxerga o html que a página gera, e tudo bem, a idéia é essa mesmo. Estou buscando o "H1" da página e o crawler não encontra. Quando acesso o site pelo navegador e clico em "ver código fonte" verifico que realmente o "H1" não existe, mas quando peço para "inspecionar elemento" pelo navegador o "H1" está lá, justamente na página que estou fazendo a pesquisa com o crawler. Alguém me dá uma luz de como posso obter esses dados?
  5. Estou pensando em desenvolver um trabalho sobre ferramentas de pesquisa. Confesso que sou iniciante e pouco sei sobre programação, mas sei que aqui terei as respostas que preciso pra este trabalho. Pesquisei sobre crawlers, web crawlers, bots e afins e muito se fala que eles "varrem" a World Wide Web atrás dos resultados para exibir, mas, confesso, que custo a acreditar porque me pergunto como eles fazem a indexação dos sites na internet? De forma automatizada? Por isso a pergunta acima. Agradeço a quem dispor de tempo pra me responder, valeu!
  6. Micilini Roll

    Opções de armazenamento de dados

    Considerando criar um sistema que armazene todas as possíveis url's de uma determinada pagina em uma variável, temos duas possíveis soluções de armazenamento: Inserir dentro de um banco de dados, aonde cada linha armazena uma url. Inserir em um arquivo .txt, comprimir e salva-lo em uma determinada pasta. Priorizando o armazenamento interno da maquina, qual das soluções acima consumiria menor espaço de armazenamento? Dado um outro momento, devemos verificar cada url armazenada (banco de dados ou arquivo) afim de evitar endereços repetidos, para isso dependendo da solução escolhida acima, nós temos: Para a solução 1: Executar uma query SQL afim de verificar se determinado valor já existe na tabela Para a solução 2: Abrir o arquivo, e executar um loop afim de verificar se determinado valor já existe Priorizando a capacidade de processamento da maquina, qual das soluções teria o menor consumo de processamento da maquina? Analisando cada uma das alternativas ditas acima, qual delas iria suprir as prioridades a curto prazo? e a longo prazo?
  7. gabrieldarezzo

    [RESOLVIDO] Crawler - Listagem de todas as URLS

    Salve galera. Alguem sabe uma maneira de listar todas as urls de um site: Ex: se no google eu utilizar a técnica: site:http://meusite.com.br/ Ele vai listar varias paginas indexadas. Queria isto de uma maneira mais agressiva / automatizada. Seria para entender melhor a estrutura do site. Abraços.
  8. rhenan silverio

    Chamando apenas as Perguntas

    Bom eu já fiz uma postagem sobre o PHP Crawler, pois bem mexi e comecei a entender mais ou menos o problema é que ele puxa url toda, ok ai tudo certo, mas eu só queria somente puxar as perguntas que tem nessa url, se alguem puder ajudar, me explicar vou deixar o script de como está <?php $to_crawl = "https://www.qconcursos.com/questoes-de-concursos/questoes/search?utf8=%E2%9C%93&todas=on&q=&instituto=&organizadora=&prova=&ano_publicacao=&cargo=&escolaridade=&modalidade=&disciplina=3+&assunto=&esfera=&area=&nivel_dificuldade=&periodo_de=&periodo_ate=&possui_gabarito_comentado_texto_e_video=&possui_comentarios_gerais=&possui_comentarios=&possui_anotacoes=&sem_dos_meus_cadernos=&sem_anuladas=&sem_desatualizadas=&sem_anuladas_impressao=&sem_desatualizadas_impressao=&caderno_id=&migalha=&data_comentario_texto=&data=&minissimulado_id=&resolvidas=&resolvidas_certas=&resolvidas_erradas=&nao_resolvidas="; function get_links($url) { $input = @file_get_contents($url); //$regexp = "/ [a-zA-Z] + (\ d +) /"; //preg_match_all($regexp, $input, $matches) echo $input; } get_links($to_crawl); no link se forem ver ele tem todo o site e ali indo para baixo vão ver as perguntas. (Não sei deveria ter postado no outro tópico ou não).
  9. rhenan silverio

    Crawler em PHP

    Boa Noite. Sou novo aqui no fórum e pois bem preciso de uma grande ajuda, um cliente meu está pedindo que puxasse vamos se dar exemplo, 100 perguntas de sites de concurso, pensei em usar o crawler, pois nem eu mesmo usei ou testei ( nunca mexi) gostaria que pudesse me dar umas dicas mais ou menos, uma ajudinha. abraços.
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.