Desafio WebCrawler

[dsmachado 14]

galera meu desafio eh essi...

 

objetivo:

criar um webcrawler que pegue links, titulo, codigo fonte, e o texto da página(sem usar o comando striptags()).

 

 

prazo:

2 dias a partir da aceitação

 

 

vence quem fizer o crawler que seja mais preciso e mais rapido

[André D. Molin 15]

2 dias? Nem chamando os engenheiros do Google...

[Bruno Augusto 417]

Bom, em um Desafio, o Desafiante deve postar algo sob o qual se começar o trabalho.

 

Depois, não pode definir sozinho um prazo. Há-se uma "votação informal" a respeito tempo no prórpio tópico.

 

Pra mim? Como pessoa e na sinceridade? Você quer um crawler, não sabe como fazer e quer que façamos pra você.

 

Mascarando por trás de um Desafio talvez ninguém fosse perceber.

[dsmachado 14]

bom a respeito do tempo, tdo bem acho q 2 dias podi ser pouco..

 

 

Pra mim? Como pessoa e na sinceridade? Você quer um crawler, não sabe como fazer e quer que façamos pra você.

 

Mascarando por trás de um Desafio talvez ninguém fosse perceber.

 

si isso é uq você acha, aceite o desafio intaum

 

u q eu kero eh saber si tem alguem capaz di fazer um bom crawler e discutir ideias sobre eli... pq em foruns brasileiros eh mto dificil de achar... intaum achei q fazendo esse desafio poderia achar alguem que tbm soubesse... mas pelo visto...

[WM _ Guilherme Ferrolli 0]

Da um olhada aqui amigo.

Web crawler em PHP - é possível?

Me diz uma coisa, você chegou mesmo a procurar?

 

Ninguém sabe de tudo e isso é fato,portanto se tem uma dúvida, ou mesmo, se precisa de algo e não sabe por onde começar, o fórum é para isso, e concerteza TODOS os que postam aqui precisaram de ajuda ,cada um em seu nível, e todos tiveram um início aonde não tinham nem nível ainda.

 

Basta criar uma ER para os tipos de Tag e pronto.

<?php
ini_set("max_execution_time", -1);
ini_set("memory_limit", -1);
function obter_links($url){
	if (!file_get_contents($url)){ return;}
	$conteudo = file_get_contents($url);
	//$tratado = strip_tags($conteudo, "<a>");
        //Comentei a linha acima porque não é necessária.
	preg_match_all("/<a(?:[^>]*)href=\"([^\"]*)\"(?:[^>]*)>(?:[^<]*)<\/a>/is", $conteudo, $resultados);
	return $resultados[1];
}
foreach(obter_links("http://megamod.com.br") as $child) {
	echo $child.'<br/>';
}

?>

Não estou dizendo que você fez o desafio por este motivo. De qualquer forma, se foi, o fórum é para isso, mas não esta sessão.

Abraços.

[André D. Molin 15]

Só se atente, WM _ Guilherme Ferrolli, que você está utilizando file_get_contents() duas vezes, sendo uma delas sem necessidade. E se atente também que isso que postou não é nem a unha de um motor de busca.

 

Basta criar uma ER para os tipos de Tag e pronto.

E pronto? É só isso mesmo o que um motor de busca faz? :D

[João Batista Neto 448]

u q eu kero eh saber si tem alguem capaz di fazer um bom crawler... intaum achei q fazendo esse desafio poderia achar alguem que tbm soubesse... mas pelo visto...

 

Encontrar alguém capaz de fazer um crawler é muito fácil e, aqui mesmo no fórum, existem N.

 

A questão é que para abrir um desafio é necessário expor os quesitos necessários, métricas para avaliação.

 

Da forma que você abriu o desafio ficou, para muita gente, a mesma impressão que o Bruno Augusto teve e que eu também tive.

[Filsoldier 0]

Realmente complicado...

 

Motor de busca em 15 linhas...

 

Não estou criticando, ate mesmo porque eu não faria em 2 dias nem em 2 semanas. Mas acho muito pouco pra um motor de busca.