Ir para conteúdo

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

Marcosvn

Varredura em site por links expecíficos

Recommended Posts

amigos boa noite, não sei se estou postando no fórum correto mas como não tinha certeza resolver postar aqui, talves vcs possam me ajudar

 

estou criando um site de videos mas boa parte dos videos vem de um site externo, eu preciso varrer este site em busca de um determinado link: http://youwatch.org

 

como faço pra fazer essa varredura no site completa em busca somente dos links que começam com o site citado a cima

 

obrigado

abraço

Compartilhar este post


Link para o post
Compartilhar em outros sites

Você está querendo fazer um crawler.

Dá pra fazer em qualquer linguagem, mas algumas possuem recursos melhores.

 

A ideia é simples: entrar na primeira página de um site e depois ir entrando nos links de cada página.

 

Para PHP, existe o PHPCrawl, mas nunca usei e não sei se é, de fato, bom.

 

Vejo muitos crawlers em Python, usando Scrappy ou BeautifulSoup, por exemplo. Outra vantagem é que Python suporte multi-thread e seu crawler pode ficar mais rápido.

Compartilhar este post


Link para o post
Compartilhar em outros sites

×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.