Usamos cookies para medir audiência e melhorar sua experiência. Você pode aceitar ou recusar a qualquer momento. Veja sobre o iMasters.
Tem alguma maneira de capturar todas as urls do site?
Testei pelo google mas ele retorna apenas alguns resultados pelo jeito que testei
consegui amigo utilizando php crawler
Se o site tem um sitemap, é entrar na URL do sitemap e obter as URLs que ele disponibiliza lá.