Como exibir porcentagem de carregamento massivo MySQL + PHP + AJAX

[AnthraxisBR 56]

Bom, eu tenho um sistema, e em determinada área, eu preciso executar uma rotina, que é executada uma vez por mês pra preparar o banco de dados pra trabalhar com o mês correspondente, porém, essa parte efetua uma ação muito lenta, ela insere cerca de 3.000  linhas no banco no banco de dados em diversas tabelas e sob diversas verificações e validações.

 

Estou procurando um meio de exibir ao usuário administrador do sistema, o que efetua as rotinas, a porcentagem de conclusão dessas rotinas, algo parecido como quando descompactamos um arquivo com winrar e lista os arquivos descompactados.

 

Jjá pesquisei bastante e ainda não achei um modo, por isso até não tenho código pra mostrar como estou tentando fazer, o que eu tenho agora no sistema é totalmente diferente do que eu preciso.

 

Alguém saberia me dizer o que pesquisar pra conseguir fazer isso ?

[gabrieldarezzo 255]

Salve @AnthraxisBR

Vamos dividir o problema...

 

7 horas atrás, AnthraxisBR disse:

banco de dados pra trabalhar com o mês correspondente, porém, essa parte efetua uma ação muito lent

Recomendo a leitura:

http://rberaldo.com.br/o-problema-do-n-mais-1/

 

7 horas atrás, AnthraxisBR disse:

o como quando descompactamos um arquivo com winrar e lista os arquivos descompactados.

Bom novamente...

Dividir para conquistar, a parte visual pode ser desde uma simples div com width: % + background-color

Até Progress Bars do Bootstrap (ou do seu FW de css preferido)

https://www.w3schools.com/bootstrap/bootstrap_progressbars.asp

 

Agora a questão é como descobrir a % do seu processamento.

 

Talvez após o 'start' da parada, ficar dando uns request via ajax que de um COUNT() where processado = 0 na tabela, assim tendo uma noção dos registros total/feitos = %

 

Sobre o ajax, veja se ajuda:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/ajax#guia-definitivo-ajax

 

Bons estudos.

 

 

[AnthraxisBR 56]

Salve @gabrieldarezzo

 

Então, as partes da consulta, não são consultas, elas são inserções no banco de dados, elas realmente são demoradas, não tem como melhorar por ora.

 

Mas indo ao que é relacionado, eu uso um template premium Clip-two, então as exibições são bem simples utilizando os plugins que ele oferece, tanto que agora no momento em que o sistema está fazendo o carregamento no banco, eu coloquei uma barra de porcentagem, o problema está em:

 

Esta barra de porcentagem possui uma valor falso, ou seja, ela não mostra a porcentagem real de carregamento, estipulei um tempo de demora, e ela roda a porcentagem nesse tempo (2 minutos no caso).

 

Eu to batendo a cabeça pra calcular antes de iniciar os INSERTS o tempo que vai demorar pra todos eles serem feitos.

 

E na questão de 'exibir como quando extrai do winrar' estou fazendo um requisição ajax a cada do 4 segundos com uma query buscando os novos dados enquanto os outros dados ainda estão estão sendo inseridos, e dando um append("<li> dados </li>") na lista com as respostas, essa parte até da pra quebrar um galho assim, o que eu realmente queria (mais por questão de orgulho mesmo kkk) era conseguir esse valor estipulado verdadeiro de tempo de carregamento.

[marsolim 110]

já fiz isso em vb calculando o que já foi pro banco e o que ainda falta pra ir. no momento de mandar a parada tu já tem a quantidade total de registro não tem? não sei de que forma estais a enviar os dados mas acho que um total versus o que já foi enviado é o que precisa. como o php não exibe a coisa em tempo real um ajaxsinho básico é o que há. só que claro que não vai ser segundo a segundo senão sobrecarrega a parada mas de 15 em 15 segundos acho que dá de boa. tu guarda o total numa var e vai fazendo uma consultinha básica pra ver o que já tem lá e faz os calculos conforme sugerência do @gabrieldarezzo

[gabrieldarezzo 255]

1 hora atrás, AnthraxisBR disse:

Então, as partes da consulta, não são consultas, elas são inserções no banco de dados, elas realmente são demoradas, não tem como melhorar por ora.

Você esta usando qual instrução para a inserção?

Sigle Commit?

 

Da uma olhada num exemplo de 20k  de insert de 1x por chamadas em ajax:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/20k

 

Exemplo de um Commit menos performático:

INSERT INTO emails (email) VALUES ('email@teste.com.br');
INSERT INTO emails (email) VALUES ('email2@teste.com.br');

Exemplo de um Single Commit:

INSERT INTO emails (email) VALUES ('email@teste.com.br'), ('email2@teste.com.br');

Ainda acho q da pra melhorar a performance, ao invés de chutar o tempo, você ir exibindo a qnt de registros restantes comparados ao total.

 

Utilizando uma FLAG de processado/concluído na tabela.

 

 

[AnthraxisBR 56]

1 minuto atrás, marsolim disse:

já fiz isso em vb calculando o que já foi pro banco e o que ainda falta pra ir. no momento de mandar a parada tu já tem a quantidade total de arquivos não tem? não sei de que forma estais a enviar os dados mas acho que um total versus o que já foi enviado é o que precisa. como o php não exibe a coisa em tempo real um ajaxsinho básico é o que há. só que claro que não vai ser segundo a segundo senão sobrecarrega a parada mas de 15 em 15 segundos acho que dá de boa. tu guarda o total numa var e vai fazendo uma consultinha básica pra ver o que já tem lá e faz os calculos conforme sugerência do @gabrieldarezzo

Opa @marsolim

 

Eu não tinha entendido o que @gabrieldarezzo havia dito, agora consegui entender.

 

Seria:

 

Contar os campos que serão inseridos, e a cada X segundos, contar quantos realmente foram, e exibir a diferença com a famigerada regrinha de 3 ?

 

Vai dar um pouco de trabalho, mas acho que vai dar boa kk

[AnthraxisBR 56]

15 minutos atrás, gabrieldarezzo disse:

Você esta usando qual instrução para a inserção?

Sigle Commit?

 

Da uma olhada num exemplo de 20k  de insert de 1x por chamadas em ajax:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/20k

 

Exemplo de um Commit menos performático:

INSERT INTO emails (email) VALUES ('email@teste.com.br');
INSERT INTO emails (email) VALUES ('email2@teste.com.br');

Exemplo de um Single Commit:

INSERT INTO emails (email) VALUES ('email@teste.com.br'), ('email2@teste.com.br');

Ainda acho q da pra melhorar a performasse, ao invés de chutar o tempo, você ir exibindo a qnt de registros restantes comparados ao total.

 

Utilizando uma FLAG de processado/concluído na tabela.

 

 

 

Acho que por curiosidade e pra servir pra outras pessoas:

 

Eu uso o comando INSERT básico

 

Citar

INSERT INTO tabela VALUES ('tal','tal',tal');

 

Esses INSERTS são condicionais de acordo com outras consultas, por exemplo:

 

Eu seleciono do banco todas as empresas, depois com o código das empresas, eu adiciono uma linha pra cada empresa, relacionando o mes/ano de exercício, na tabela controle_fiscal_obrigacoes, esse é uma das dezenas de partes da rotina fiscal.

 

Obs.: A seleção das empresas é a base pra quase todas as outras inserções, são muitas empresas e várias tabelas que deverão gerar uma linha por empresa por mês em cada rotina.

 

Na resposta no meu INSERT, que vai estar rodando dentro do loop das empresas, eu abro uma chave nas respostas, e crio um índice de resposta pra cada uma das linhas cadastradas, e se houve erro ( quase nunca da erro, só quando o usuário fecha o firefox achando que ta demorando mt kkk), armazeno em uma temp_table as respostas das linhas com erros e também armazeno em outra temp_table as respostas com sucesso, e verifico de novo, se o sistema consegue inserir as linhas com erro, se o erro prossegue, tudo que foi feito é desfeito ( por isso armazeno as linhas com sucesso também), e o usuário é bloqueado pra tentar efetuar novamente a rotina.

 

Por causa desse monte de coisas que é feito com muitos campos que o sistema demora até mais de 5 minutos as vezes pra efetuar essa rotina.

 

Mas vou tentar usar a classe PDO como no seu exemplo nessas inserções, estou usando PDO apenas pra consultas, acho que assim talvez melhore o desempenho e não precise mais desse calculo de porcentagem.