Limpar memoria PHP após Loops

Recomendo você verificar quanto tempo o script ta demorando para rodar, pois se ele estiver demorando mais que 1 minuto o cron vai fazer ele rodar de novo sem esperar o anterior terminar.

Recomendo você verificar quanto tempo o script ta demorando para rodar, pois se ele estiver demorando mais que 1 minuto o cron vai fazer ele rodar de novo sem esperar o anterior terminar.

Sim, você tem toda razão. Neste ponto o servidor está bem servido de recursos e nos dá liberdade para acelerar a produção.

Já o gargalo é a memória, 24 horas de trabalho e 21GB de Memória são atingidos. Esse é o nosso ponto fraco.

Depende muito da rotina executada. O que ela faz? Como ela faz?
Loops não consomem muita memória. Eles consomem CPU.
Vão consumir memória se eles criarem muitas variáveis ou grandes arrays.

Trabalhar os arquivos por blocos de bytes pode ajudar muito, sem ocupar muita memória. Mas não sei dizer se o PHP permite isso. Talvez um simples script shell resolva mais facilmente

>
Depende muito da rotina executada. O que ela faz? Como ela faz?

Loops não consomem muita memória. Eles consomem CPU.

Vão consumir memória se eles criarem muitas variáveis ou grandes arrays.

Trabalhar os arquivos por blocos de bytes pode ajudar muito, sem ocupar muita memória. Mas não sei dizer se o PHP permite isso. Talvez um simples script shell resolva mais facilmente

Grande Beraldo, recebo suas Newsletters.

Vamos Lá.

Lembrando que este servidor no momento, é dedicado apenas para essa função.

Tenho um banco de dados com aprox. 2.5 Mi de urls para diretórios públicos, onde ali, contém artigos científicos e suas devidas imagens.

O objetivo do script é fazer o Download diretamente para o Wordpress, através de sua API.

Sendo assim, o script se ressume a isso:

<?php
$array_de_url=...//Este array é composto 2 urls para o Posts com imgs a serem atualizadas em nosso repositório.

foreach($array_de_url as $url){

$html = new DOMDocument();//nativo php
$html->loadHtmlFile($url['url']);
$xpath = new DOMXPath($html);//nativo php

//Aqui buscaremos todos os links das imgs que estão na div ciência

$node_img= $xpath->query('//div[@class="science"]/img/@src');

 //Aqui ordenaremos as urls e enviaremos para API update Wordpress
 foreach($node_img as $img)
	{
 $link_img_science=$img->nodeValue;
 $resposta=updateWordpress($link_img_science,$url['id']);
 if($resposta ===1){
 upaBDupdateIMGscience($url['id']);// Essa Api é a fornecida pelo Wp e manda as informações para fora do Server
 }

	}

}

// Returns array of all defined variables

$allVars = get_defined_vars();
foreach ($allVars as $allVars) {
unset($allVars);
}

Não escrevi os selects/updates por serem desnecessários. A API é oficial do Wordpress.

Enfim, não consigo com prender onde a memória é sobrecarregada e, mesmo após o fim dos processos, com o servidor quieto, a memória continua nas alturas.

Se o seu script faz muita coisa, é normal ele ser custoso.

Se a questão toda é sobre uso de memória, uma saída seria utilizar generators. No link abaixo, há o exemplo mais básico de generator para reduzir consumo de memória na leitura de arquivos:

http://php.net/manual/en/language.generators.overview.php#112985

É perceptível que o seu script está carregando em memória, você pode substituir as linhas abaixo:

$html = new DOMDocument();//nativo php
$html->loadHtmlFile($url['url']);
$xpath = new DOMXPath($html);//nativo php

//Aqui buscaremos todos os links das imgs que estão na div ciência
$node_img= $xpath->query('//div[@class="science"]/img/@src');

Por alguma versão usando generator, e apenas chamar no foreach:

foreach(minha_funcao_usando_generators() as $img)
{

 $link_img_science=$img->nodeValue;
 $resposta=updateWordpress($link_img_science,$url['id']);
 if($resposta ===1){
 upaBDupdateIMGscience($url['id']);// Essa Api é a fornecida pelo Wp e manda as informações para fora do Server
 }
}

Em teoria, teria uma drástica redução no consumo de memória.