Jump to content
Sign in to follow this  
gabrieldarezzo

[RESOLVIDO] Crawler - Listagem de todas as URLS

Recommended Posts

Salve galera.

 

 

Alguem sabe uma maneira de listar todas as urls de um site:

 

 

Ex: se no google eu utilizar a técnica:

site:http://meusite.com.br/

Ele vai listar varias paginas indexadas.

 

 

Queria isto de uma maneira mais agressiva / automatizada.

Seria para entender melhor a estrutura do site.

 

Abraços.

 

Share this post


Link to post
Share on other sites

Encontrei 2 aqui:

 

Tem esse site online (até 500 URLS)

https://www.xml-sitemaps.com/crawl.html

 

 

Agora se a ideia é ser mais agressivo:

http://home.snafu.de/tilman/xenulink.html#Download

 

Desde a criação do tópico foi listado +3.000 URLS,

Legal q tem a opção de 'exportar' para tabulação assim sendo possivel trabalhar com expressão regular ou via Excel/Calc.

 

Abraços.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By Motta
      EUA acusam Google por manter monopólio ilegal em buscas online
       
      Você pode usar o Bing ...
    • By Motta
      Big techs abusam de poder e devem ser divididas, diz relatório da Câmara dos EUA
    • By Motta
      Microsoft Edge supera Google Chrome em testes de bateria e velocidade
       
      Estava usando o FF vou tentar o "beirada" :) ...
    • By Motta
      Google launches free Kotlin developer course for beginners
    • By lamounier
      Bom dia,
      Estou tentando incorporar comentários do google meu negocio no meu site, encotrei um código que quando coloco o id da empresa que quero puxar ele não retorna nada, mas com outro id´s(place_id ) ele funciona:
       
      <!DOCTYPE html> <html> <head> <title>Page Title</title> </head> <body> <div id="wpac-google-review"></div> </body> <script type="text/javascript"> wpac_init = window.wpac_init || []; wpac_init.push({widget: 'GoogleReview', id: 25199, place_id: 'ChIJe76wHt6WpgARKwwUjmwjK78', view_mode: 'list'}); (function() { if ('WIDGETPACK_LOADED' in window) return; WIDGETPACK_LOADED = true; var mc = document.createElement('script'); mc.type = 'text/javascript'; mc.async = true; mc.src = 'https://embed.widgetpack.com/widget.js'; var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(mc, s.nextSibling); })(); </script> </html> Alguém sabe oque pode está errado ou uma outra forma de incorporar os comentários? 
×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.