Jump to content
Sign in to follow this  
gabrieldarezzo

[RESOLVIDO] Crawler - Listagem de todas as URLS

Recommended Posts

Salve galera.

 

 

Alguem sabe uma maneira de listar todas as urls de um site:

 

 

Ex: se no google eu utilizar a técnica:

site:http://meusite.com.br/

Ele vai listar varias paginas indexadas.

 

 

Queria isto de uma maneira mais agressiva / automatizada.

Seria para entender melhor a estrutura do site.

 

Abraços.

 

Share this post


Link to post
Share on other sites

Encontrei 2 aqui:

 

Tem esse site online (até 500 URLS)

https://www.xml-sitemaps.com/crawl.html

 

 

Agora se a ideia é ser mais agressivo:

http://home.snafu.de/tilman/xenulink.html#Download

 

Desde a criação do tópico foi listado +3.000 URLS,

Legal q tem a opção de 'exportar' para tabulação assim sendo possivel trabalhar com expressão regular ou via Excel/Calc.

 

Abraços.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Similar Content

    • By parsistrans
      Hi, I encountered a big problem with webmaster tools
      My problem is that Google has indexed and indexed my internal WordPress folders
      For example, some of the indexes are indexed by Google under the following subcategory
      /wp-content/uploads/cache/
      /wp-content/uploads/2017/
      It should be noted that the contents of my file robots.txt are as follows
      User-agent: *
      Disallow: /wp-admin/
      Allow: /wp-admin/admin-ajax.php
      Sitemap: /sitemap.xml
      and input the code Options All -Indexes in htaccess 
      this screan shot error by google 
      please help me 
      http://uupload.ir/files/psn_error_mobail.png
       

    • By Karoline Arias
      Olá, Boa tarde!
      Fizemos um redesign de um e-commerce nacional, onde inserimos recursos do Google Maps na página de localização de lojas deste varejista. O maps incorporado nesta página apresenta o mapa, porem não apresenta a localização do usuário e a marcação (marker) das lojas ou pins.
      Observação: Ao substituirmos a chave Google do varejista, pela chave Google do desenvolvedor, as marcações aparecerem normalmente. Será que pode estar faltando alguma configuração ou componente associado a chave/conta Google do varejista?
      Obrigada!

    • By isaque_cb2
      Bom, eu estou trabalhando em um app que depende de um mapa, gps e coisas do tipo, não é nada grande, e é mais pra estudos mesmo, quero conhecer melhor essa api, mais eu não encontro nenhum tutorial do tipo, todos que encontro são antigos e têm algum erro, alguém pode me ajudar? com tutoriais, dicas, video-aulas (que ainda funcionem...) eu já reproduzi vários, mais sempre tem um erro...
       
      grato por qualquer ajuda!
    • By Motta
      Google afasta Huawei do Android. Chegou a hora do plano B?
    • By Motta
      Google anuncia busca com realidade aumentada e audiodescrição de imagem
×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.