Listar todos o links de um site

[Teteu 0]

Olá, alguém saberia como posso acessar um site e listar todos os links e sub-links dele. Como faz esse o gerador de sitemap http://www.xml-sitemaps.com/

 

vlw.

[Teteu 0]

Olá, alguém saberia como posso acessar um site e listar todos os links e sub-links dele. Como faz esse o gerador de sitemap http://www.xml-sitemaps.com/

 

vlw.

 

Estou apanhando aqui, consigo listar os links da pagina que informo inicialmente, mas para ler as demais pagina a partir dessa tá osso.

[Beraldo 864]

isso é a lógica de um bot ou spider. Geralmente usa-se cURL para fazer isso

 

Basicamente, é uma função recursiva: busca os links da primeira página; para cada link encontrado, visita-o e lista seus links