Ir para conteúdo

POWERED BY:

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

  • 0
AnthraxisBR

Como exibir porcentagem de carregamento massivo MySQL + PHP + AJAX

Pergunta

Bom, eu tenho um sistema, e em determinada área, eu preciso executar uma rotina, que é executada uma vez por mês pra preparar o banco de dados pra trabalhar com o mês correspondente, porém, essa parte efetua uma ação muito lenta, ela insere cerca de 3.000  linhas no banco no banco de dados em diversas tabelas e sob diversas verificações e validações.

 

Estou procurando um meio de exibir ao usuário administrador do sistema, o que efetua as rotinas, a porcentagem de conclusão dessas rotinas, algo parecido como quando descompactamos um arquivo com winrar e lista os arquivos descompactados.

 

Jjá pesquisei bastante e ainda não achei um modo, por isso até não tenho código pra mostrar como estou tentando fazer, o que eu tenho agora no sistema é totalmente diferente do que eu preciso.

 

Alguém saberia me dizer o que pesquisar pra conseguir fazer isso ?

Compartilhar este post


Link para o post
Compartilhar em outros sites

6 respostas a esta questão

Recommended Posts

Salve @AnthraxisBR

Vamos dividir o problema...

 

7 horas atrás, AnthraxisBR disse:

banco de dados pra trabalhar com o mês correspondente, porém, essa parte efetua uma ação muito lent

Recomendo a leitura:

http://rberaldo.com.br/o-problema-do-n-mais-1/

 

7 horas atrás, AnthraxisBR disse:

o como quando descompactamos um arquivo com winrar e lista os arquivos descompactados.

Bom novamente...

Dividir para conquistar, a parte visual pode ser desde uma simples div com width: % + background-color

Até Progress Bars do Bootstrap (ou do seu FW de css preferido)

https://www.w3schools.com/bootstrap/bootstrap_progressbars.asp

 

Agora a questão é como descobrir a % do seu processamento.

 

Talvez após o 'start' da parada, ficar dando uns request via ajax que de um COUNT() where processado = 0 na tabela, assim tendo uma noção dos registros total/feitos = %

 

Sobre o ajax, veja se ajuda:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/ajax#guia-definitivo-ajax

 

Bons estudos.

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

Salve @gabrieldarezzo

 

Então, as partes da consulta, não são consultas, elas são inserções no banco de dados, elas realmente são demoradas, não tem como melhorar por ora.

 

Mas indo ao que é relacionado, eu uso um template premium Clip-two, então as exibições são bem simples utilizando os plugins que ele oferece, tanto que agora no momento em que o sistema está fazendo o carregamento no banco, eu coloquei uma barra de porcentagem, o problema está em:

 

Esta barra de porcentagem possui uma valor falso, ou seja, ela não mostra a porcentagem real de carregamento, estipulei um tempo de demora, e ela roda a porcentagem nesse tempo (2 minutos no caso).

 

Eu to batendo a cabeça pra calcular antes de iniciar os INSERTS o tempo que vai demorar pra todos eles serem feitos.

 

E na questão de 'exibir como quando extrai do winrar' estou fazendo um requisição ajax a cada do 4 segundos com uma query buscando os novos dados enquanto os outros dados ainda estão estão sendo inseridos, e dando um append("<li> dados </li>") na lista com as respostas, essa parte até da pra quebrar um galho assim, o que eu realmente queria (mais por questão de orgulho mesmo kkk) era conseguir esse valor estipulado verdadeiro de tempo de carregamento.

Compartilhar este post


Link para o post
Compartilhar em outros sites

já fiz isso em vb calculando o que já foi pro banco e o que ainda falta pra ir. no momento de mandar a parada tu já tem a quantidade total de registro não tem? não sei de que forma estais a enviar os dados mas acho que um total versus o que já foi enviado é o que precisa. como o php não exibe a coisa em tempo real um ajaxsinho básico é o que há. só que claro que não vai ser segundo a segundo senão sobrecarrega a parada mas de 15 em 15 segundos acho que dá de boa. tu guarda o total numa var e vai fazendo uma consultinha básica pra ver o que já tem lá e faz os calculos conforme sugerência do @gabrieldarezzo

Compartilhar este post


Link para o post
Compartilhar em outros sites
1 hora atrás, AnthraxisBR disse:

Então, as partes da consulta, não são consultas, elas são inserções no banco de dados, elas realmente são demoradas, não tem como melhorar por ora.

Você esta usando qual instrução para a inserção?

Sigle Commit?

 

Da uma olhada num exemplo de 20k  de insert de 1x por chamadas em ajax:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/20k

 

Exemplo de um Commit menos performático:

INSERT INTO emails (email) VALUES ('email@teste.com.br');
INSERT INTO emails (email) VALUES ('email2@teste.com.br');

Exemplo de um Single Commit:

INSERT INTO emails (email) VALUES ('email@teste.com.br'), ('email2@teste.com.br');

Ainda acho q da pra melhorar a performance, ao invés de chutar o tempo, você ir exibindo a qnt de registros restantes comparados ao total.

 

Utilizando uma FLAG de processado/concluído na tabela.

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites
1 minuto atrás, marsolim disse:

já fiz isso em vb calculando o que já foi pro banco e o que ainda falta pra ir. no momento de mandar a parada tu já tem a quantidade total de arquivos não tem? não sei de que forma estais a enviar os dados mas acho que um total versus o que já foi enviado é o que precisa. como o php não exibe a coisa em tempo real um ajaxsinho básico é o que há. só que claro que não vai ser segundo a segundo senão sobrecarrega a parada mas de 15 em 15 segundos acho que dá de boa. tu guarda o total numa var e vai fazendo uma consultinha básica pra ver o que já tem lá e faz os calculos conforme sugerência do @gabrieldarezzo

Opa @marsolim

 

Eu não tinha entendido o que @gabrieldarezzo havia dito, agora consegui entender.

 

Seria:

 

Contar os campos que serão inseridos, e a cada X segundos, contar quantos realmente foram, e exibir a diferença com a famigerada regrinha de 3 ?

 

Vai dar um pouco de trabalho, mas acho que vai dar boa kk

Compartilhar este post


Link para o post
Compartilhar em outros sites
15 minutos atrás, gabrieldarezzo disse:

Você esta usando qual instrução para a inserção?

Sigle Commit?

 

Da uma olhada num exemplo de 20k  de insert de 1x por chamadas em ajax:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/20k

 

Exemplo de um Commit menos performático:


INSERT INTO emails (email) VALUES ('email@teste.com.br');
INSERT INTO emails (email) VALUES ('email2@teste.com.br');

Exemplo de um Single Commit:


INSERT INTO emails (email) VALUES ('email@teste.com.br'), ('email2@teste.com.br');

Ainda acho q da pra melhorar a performasse, ao invés de chutar o tempo, você ir exibindo a qnt de registros restantes comparados ao total.

 

Utilizando uma FLAG de processado/concluído na tabela.

 

 

 

Acho que por curiosidade e pra servir pra outras pessoas:

 

Eu uso o comando INSERT básico

 

Citar

INSERT INTO tabela VALUES ('tal','tal',tal');

 

Esses INSERTS são condicionais de acordo com outras consultas, por exemplo:

 

Eu seleciono do banco todas as empresas, depois com o código das empresas, eu adiciono uma linha pra cada empresa, relacionando o mes/ano de exercício, na tabela controle_fiscal_obrigacoes, esse é uma das dezenas de partes da rotina fiscal.

 

Obs.: A seleção das empresas é a base pra quase todas as outras inserções, são muitas empresas e várias tabelas que deverão gerar uma linha por empresa por mês em cada rotina.

 

Na resposta no meu INSERT, que vai estar rodando dentro do loop das empresas, eu abro uma chave nas respostas, e crio um índice de resposta pra cada uma das linhas cadastradas, e se houve erro ( quase nunca da erro, só quando o usuário fecha o firefox achando que ta demorando mt kkk), armazeno em uma temp_table as respostas das linhas com erros e também armazeno em outra temp_table as respostas com sucesso, e verifico de novo, se o sistema consegue inserir as linhas com erro, se o erro prossegue, tudo que foi feito é desfeito ( por isso armazeno as linhas com sucesso também), e o usuário é bloqueado pra tentar efetuar novamente a rotina.

 

Por causa desse monte de coisas que é feito com muitos campos que o sistema demora até mais de 5 minutos as vezes pra efetuar essa rotina.

 

Mas vou tentar usar a classe PDO como no seu exemplo nessas inserções, estou usando PDO apenas pra consultas, acho que assim talvez melhore o desempenho e não precise mais desse calculo de porcentagem.

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por violin101
      Caros amigos, saudações.
       
      Por favor, me permita tirar uma dúvida com os amigos.

      Tenho um Formulário onde o Usuário digita todos os Dados necessários.

      Minha dúvida:
      --> como faço após o usuário digitar os dados e salvar, o Sistema chamar uma Modal ou mensagem perguntando se deseja imprimir agora ?

      Grato,
       
      Cesar
    • Por Carcleo
      Tenho uma abela de usuarios e uma tabela de administradores e clientes.
      Gostaria de uma ajuda para implementar um cadastro
       
      users -> name, login, passord (pronta) admins -> user_id, registratiom, etc.. client -> user_id, registratiom, etc...
      Queria ajuda para extender de user as classes Admin e Client
      Olhem como estáAdmin
      <?php namespace App\Models; use Illuminate\Database\Eloquent\Factories\HasFactory; use Illuminate\Database\Eloquent\Model; class Admin extends User {     use HasFactory;            protected $fillable = [         'name',         'email',         'password',         'registration'     ];      private string $registration;     public function create(         string $name,          string $email,          string $password,         string $registration     )     {         //parent::create(['name'=>$name, 'email'=>$email, 'password'=>$password]);         parent::$name = $name;         parent::$email = $email;         parent::$password = $password;         $this->registration = $registration;     } } User
      <?php namespace App\Models; // use Illuminate\Contracts\Auth\MustVerifyEmail; use Illuminate\Database\Eloquent\Factories\HasFactory; use Illuminate\Foundation\Auth\User as Authenticatable; use Illuminate\Notifications\Notifiable; use Illuminate\Database\Eloquent\Relations\BelongsToMany; class User extends Authenticatable {     /** @use HasFactory<\Database\Factories\UserFactory> */     use HasFactory, Notifiable;     static string $name;     static string $email;     static string $password;     /**      * The attributes that are mass assignable.      *      * @var list<string>      */     protected $fillable = [         'name',         'email',         'password',     ];          /**      * The attributes that should be hidden for serialization.      *      * @var list<string>      */     protected $hidden = [         'remember_token',     ];     /**      * Get the attributes that should be cast.      *      * @return array<string, string>      */     protected function casts(): array     {         return [             'email_verified_at' => 'datetime',             'password' => 'hashed',         ];     }          public function roles() : BelongsToMany {         return $this->belongsToMany(Role::class);     }       public function hasHole(Array $roleName): bool     {                 foreach ($this->roles as $role) {             if ($role->name === $roleName) {                 return true;             }         }         return false;     }         public function hasHoles(Array $rolesName): bool     {                 foreach ($this->roles as $role) {             foreach ($rolesName as $rolee) {             if ($role->name === $rolee) {                 return true;             }          }         }         return false;     }         public function hasAbility(string $ability): bool     {         foreach ($this->roles as $role) {             if ($role->abilities->contains('name', $ability)) {                 return true;             }         }         return false;     }     } Como gravar um Admin na tabela admins sendo que ele é um User por extensão?
      Tentei assim mas é claro que está errado...
      public function store(Request $request, Admin $adminModel) {         $dados = $request->validate([             "name" => "required",             "email" => "required|email",             "password" => "required",             "registration" => "required"         ]);         $dados["password"] =  Hash::make($dados["password"]);                  $admin = Admin::where("registration",  $dados["registration"])->first();                  if ($admin)              return                    redirect()->route("admin.new")                             ->withErrors([                                 'fail' => 'Administrador já cadastrados<br>, favor verificar!'                   ]);                            $newAdmin = $adminModel->create(                                    $dados['name'],                                    $dados['email'],                                    $dados['password'],                                    $dados['registration']                                 );         dd($newAdmin);         $adminModel->save();         //$adminModel::create($admin);                  return redirect()->route("admin.new")->with("success",'Cadastrado com sucesso');     }  
    • Por violin101
      Caros amigos, saudações.
       
      Gostaria de tirar uma dúvida com os amigos, referente a PDV.
       
      Estou escrevendo um Sistema com Ponto de Vendas, a minha dúvida é o seguinte, referente ao procedimento mais correto.

      Conforme o caixa vai efetuando a venda, o Sistema de PDV já realiza:
      a baixa direto dos produtos no estoque
      ou
      somente após concretizar a venda o sistema baixa os produtos do estoque ?
       
      Grato,
       
      Cesar
       
    • Por violin101
      Caros amigos do grupo, saudações e um feliz 2025.
       
      Estou com uma pequena dúvida referente a Teclas de Atalho.

      Quando o Caps Lock está ativado o Comando da Tecla de Atalho não funciona.
      ou seja:
      se estiver para letra minúscula ====> funciona
      se estiver para letra maiúscula ====> não funciona
       
      Como consigo evitar essa falha, tanto para Letra Maiúscula quanto Minúscula ?

      o Código está assim:
      document.addEventListener( 'keydown', evt => { if (!evt.ctrlKey || evt.key !== 'r' ) return;// Não é Ctrl+r, portanto interrompemos o script evt.preventDefault(); });  
      Grato,
       
      Cesar
    • Por ILR master
      Fala galera, tudo certo?
       
      Seguinte: No servidor A estou tentando fazer uma consulta com o servidor B, mas está dando erro.
      Estou usando o mesmo código de conexão do servidor B que funciona perfeitamente, mas no servidor A, dá erro.
      Segue código:
       
      $host = 'servidor B';
      $user = 'user';
      $pass = '********';
      $db   = 'banco';
       
      // conexão e seleção do banco de dados
      $conexao = mysqlI_connect($host, $user, $pass, $db);
      mysqlI_set_charset($conexao,"utf8");
      //print "Conexão rodando e OK!"; 
      //mysqlI_close($conexao);
       
      Alguém pode me ajudar?
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.