Melhorar Desempenho (CURL)

Dê uma olhada em: https://github.com/petewarden/ParallelCurl

Ou

veja se melhorou em alguma coisa o teste abaixo:

<?php
	function file_get_contents_curl($urls) {
 foreach($urls as $url){
 $ch = curl_init();
 curl_setopt($ch, CURLOPT_URL, $url);
 curl_setopt($ch, CURLOPT_HEADER, 0);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION , 1);
 curl_setopt($ch, CURLOPT_USERAGENT , "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
 curl_setopt($ch, CURLOPT_ENCODING, 'gzip'); // ISSO DIMINUI A ESPERA EM 30%
 $data = curl_exec($ch);

 $pagina = '';
 $erro = '';
 $req = null;

 if($data === false)
 $erro .= curl_errno();
 else
 $pagina .= $data;

 $req[] = array ('pagina' => $pagina , 'erro' => $erro);
 curl_close($ch);
 }
 return $req;
	}

	$urls = array(
 'google.com.br' ,
 'yahoo.com.br' ,
 'terra.com.br' ,
 'submarino.com.br' ,
 'uol.com.br' ,
 'bol.uol.com.br',
 'mercadolivvre.com.br',
 'riodejaneiro.olx.com.br/nf/all-results/',
 'voegol.com.br',
 'tam.com.br'
 );

	// TEMPO DE EXECUCAO
	$time_start = microtime(true);

	$conts = file_get_contents_curl($urls);

	$time_end = microtime(true);

	$time = $time_end - $time_start;

 echo "Tempo do processo: {$time}";

	print_r($conts);
?>

O código não deu certo. Considerando com a função que eu postei, fiz 5 testes com um array de url de tamanho 10 e obtive os seguinte tempos:

19.8
21.2
24.2
19.8
20.4
Média: 21,08

A nova função que foi postada obtive o seguinte:

21.4
20.2
22.5
21.4
21.2
Média: 21,34

O que impera aqui é o tempo de conexão com os links.

Se a resposta da página alvo demorar, não há mágica..

Mas há soluções alternativas.

Sim, o @hinom tem plena certeza, os links tem q ajudar tb :D

Procurei saber, encontrei algo como sobre a biblioteca Dom do próprio PHP. (DOMDocument).

Fiz alguns testes, e o retorno dele é extremamente mais rápido, porém ele retonar tudo em DOM mesmo, como se fosse JavaScript.

Tendo que usar métodos do objeto dom, para comseguir o conteúdo de uma div por exemplo.

Alguém sabe o método mais simples utilizando essa biblioteca?

Apesar de ter conhecimento em JavaScript DOM, não tenho certeza se a lógica é a mesma.

DOM e CURL não tem nada em comum!

Não entendi o link que você fez com as duas tecnologias

Pode deixar ja consegui, usando o objeto DOM JUNTO COM O CURL, reduzi o tempo em 90%

O máximo que ocorreu foi que a sua máquina fez cache ou algum(s) servidor(es) melhorou(aram) o tempo de resposta. Usar DOM é para análise, não para criar requisições HTTP.

/applications/core/interface/imageproxy/imageproxy.php?img=http://xion.org.pl/wp-content/uploads/2012/01/wat-gigantic-duck.jpg&key=88f70623ad6e0ca647788a36d7e53eb16cd8512bbbb851376cb04552b578816f" alt="wat-gigantic-duck.jpg" />

:upset: :no:

O meu Chrome é habilitado navegação anônina. Ele não armazena Cache.

Não há relação alguma com browser pois a operação não utiliza browser.

Posta a soluçao ae cara
Tem como?