Jump to content
Sign in to follow this  
gabrieldarezzo

[RESOLVIDO] Crawler - Listagem de todas as URLS

Recommended Posts

Salve galera.

 

 

Alguem sabe uma maneira de listar todas as urls de um site:

 

 

Ex: se no google eu utilizar a técnica:

site:http://meusite.com.br/

Ele vai listar varias paginas indexadas.

 

 

Queria isto de uma maneira mais agressiva / automatizada.

Seria para entender melhor a estrutura do site.

 

Abraços.

 

Share this post


Link to post
Share on other sites

Encontrei 2 aqui:

 

Tem esse site online (até 500 URLS)

https://www.xml-sitemaps.com/crawl.html

 

 

Agora se a ideia é ser mais agressivo:

http://home.snafu.de/tilman/xenulink.html#Download

 

Desde a criação do tópico foi listado +3.000 URLS,

Legal q tem a opção de 'exportar' para tabulação assim sendo possivel trabalhar com expressão regular ou via Excel/Calc.

 

Abraços.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.