Limpar memoria PHP após Loops

[Thiago Lenzi 3]

Bom dia senhores.

Tenho 3 arquivos ligados por includes e suas funções são fazer Downloads e Uploads, todos utilizam function em Php7 e são rodados a cada minuto via Cron job.

No entanto, mesmo pensando em performance e evitando o sobrecarregamento do servidor, estou vendo a memória chegar aos 96% de uso. E mesmo quando encerro todos os processos a memória não baixa a carga, fica lá, cheia, por muito tempo.

Portanto, quero saber se existe alguma função que posso colocar no fim do script e limpar toda a memória.

Ps. Como todos os comando são executados via Function, utilizo apena um unset na ultima variável que sobra. Está certo?

Dicas para alta performance de PHP server side serão bem vindas.

[ygor.anjos 23]

Recomendo você verificar quanto tempo o script ta demorando para rodar, pois se ele estiver demorando mais que 1 minuto o cron vai fazer ele rodar de novo sem esperar o anterior terminar.

[Thiago Lenzi 3]

Recomendo você verificar quanto tempo o script ta demorando para rodar, pois se ele estiver demorando mais que 1 minuto o cron vai fazer ele rodar de novo sem esperar o anterior terminar.

Sim, você tem toda razão. Neste ponto o servidor está bem servido de recursos e nos dá liberdade para acelerar a produção.

Já o gargalo é a memória, 24 horas de trabalho e 21GB de Memória são atingidos. Esse é o nosso ponto fraco.

[Beraldo 864]

Depende muito da rotina executada. O que ela faz? Como ela faz?
Loops não consomem muita memória. Eles consomem CPU.
Vão consumir memória se eles criarem muitas variáveis ou grandes arrays.

Trabalhar os arquivos por blocos de bytes pode ajudar muito, sem ocupar muita memória. Mas não sei dizer se o PHP permite isso. Talvez um simples script shell resolva mais facilmente

[Thiago Lenzi 3]

Depende muito da rotina executada. O que ela faz? Como ela faz?

Loops não consomem muita memória. Eles consomem CPU.

Vão consumir memória se eles criarem muitas variáveis ou grandes arrays.

Trabalhar os arquivos por blocos de bytes pode ajudar muito, sem ocupar muita memória. Mas não sei dizer se o PHP permite isso. Talvez um simples script shell resolva mais facilmente

Grande Beraldo, recebo suas Newsletters.

Vamos Lá.

Lembrando que este servidor no momento, é dedicado apenas para essa função.

Tenho um banco de dados com aprox. 2.5 Mi de urls para diretórios públicos, onde ali, contém artigos científicos e suas devidas imagens.

O objetivo do script é fazer o Download diretamente para o Wordpress, através de sua API.

Sendo assim, o script se ressume a isso:

<?php
$array_de_url=...//Este array é composto 2 urls para o Posts com imgs a serem atualizadas em nosso repositório.

foreach($array_de_url as $url){

$html = new DOMDocument();//nativo php
$html->loadHtmlFile($url['url']);
$xpath = new DOMXPath($html);//nativo php

//Aqui buscaremos todos os links das imgs que estão na div ciência
$node_img= $xpath->query('//div[@class="science"]/img/@src');
	

     //Aqui ordenaremos as urls e enviaremos para API update Wordpress
     foreach($node_img as $img)	
	{		
		$link_img_science=$img->nodeValue;
                $resposta=updateWordpress($link_img_science,$url['id']);
		if($resposta ===1){
                upaBDupdateIMGscience($url['id']);// Essa Api é a fornecida pelo Wp e manda as informações para fora do Server
                }
		
		
	}

}

// Returns array of all defined variables
$allVars = get_defined_vars(); 
foreach ($allVars as $allVars) { 
unset($allVars); 
}

Não escrevi os selects/updates por serem desnecessários. A API é oficial do Wordpress.

Enfim, não consigo com prender onde a memória é sobrecarregada e, mesmo após o fim dos processos, com o servidor quieto, a memória continua nas alturas.

[Gabriel Heming 766]

Se o seu script faz muita coisa, é normal ele ser custoso.

Se a questão toda é sobre uso de memória, uma saída seria utilizar generators. No link abaixo, há o exemplo mais básico de generator para reduzir consumo de memória na leitura de arquivos:

http://php.net/manual/en/language.generators.overview.php#112985

É perceptível que o seu script está carregando em memória, você pode substituir as linhas abaixo:

$html = new DOMDocument();//nativo php
$html->loadHtmlFile($url['url']);
$xpath = new DOMXPath($html);//nativo php

//Aqui buscaremos todos os links das imgs que estão na div ciência
$node_img= $xpath->query('//div[@class="science"]/img/@src');

Por alguma versão usando generator, e apenas chamar no foreach:

foreach(minha_funcao_usando_generators() as $img)	
{		
    $link_img_science=$img->nodeValue;
    $resposta=updateWordpress($link_img_science,$url['id']);
    if($resposta ===1){
        upaBDupdateIMGscience($url['id']);// Essa Api é a fornecida pelo Wp e manda as informações para fora do Server
    }
}

Em teoria, teria uma drástica redução no consumo de memória.