Salve galera.
Alguem sabe uma maneira de listar todas as urls de um site:
Ex: se no google eu utilizar a técnica:
site:http://meusite.com.br/
Ele vai listar varias paginas indexadas.
Queria isto de uma maneira mais agressiva / automatizada.
Seria para entender melhor a estrutura do site.
Abraços.