Ir para conteúdo

POWERED BY:

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

  • 0
AnthraxisBR

Como exibir porcentagem de carregamento massivo MySQL + PHP + AJAX

Pergunta

Bom, eu tenho um sistema, e em determinada área, eu preciso executar uma rotina, que é executada uma vez por mês pra preparar o banco de dados pra trabalhar com o mês correspondente, porém, essa parte efetua uma ação muito lenta, ela insere cerca de 3.000  linhas no banco no banco de dados em diversas tabelas e sob diversas verificações e validações.

 

Estou procurando um meio de exibir ao usuário administrador do sistema, o que efetua as rotinas, a porcentagem de conclusão dessas rotinas, algo parecido como quando descompactamos um arquivo com winrar e lista os arquivos descompactados.

 

Jjá pesquisei bastante e ainda não achei um modo, por isso até não tenho código pra mostrar como estou tentando fazer, o que eu tenho agora no sistema é totalmente diferente do que eu preciso.

 

Alguém saberia me dizer o que pesquisar pra conseguir fazer isso ?

Compartilhar este post


Link para o post
Compartilhar em outros sites

6 respostas a esta questão

Recommended Posts

Salve @AnthraxisBR

Vamos dividir o problema...

 

7 horas atrás, AnthraxisBR disse:

banco de dados pra trabalhar com o mês correspondente, porém, essa parte efetua uma ação muito lent

Recomendo a leitura:

http://rberaldo.com.br/o-problema-do-n-mais-1/

 

7 horas atrás, AnthraxisBR disse:

o como quando descompactamos um arquivo com winrar e lista os arquivos descompactados.

Bom novamente...

Dividir para conquistar, a parte visual pode ser desde uma simples div com width: % + background-color

Até Progress Bars do Bootstrap (ou do seu FW de css preferido)

https://www.w3schools.com/bootstrap/bootstrap_progressbars.asp

 

Agora a questão é como descobrir a % do seu processamento.

 

Talvez após o 'start' da parada, ficar dando uns request via ajax que de um COUNT() where processado = 0 na tabela, assim tendo uma noção dos registros total/feitos = %

 

Sobre o ajax, veja se ajuda:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/ajax#guia-definitivo-ajax

 

Bons estudos.

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

Salve @gabrieldarezzo

 

Então, as partes da consulta, não são consultas, elas são inserções no banco de dados, elas realmente são demoradas, não tem como melhorar por ora.

 

Mas indo ao que é relacionado, eu uso um template premium Clip-two, então as exibições são bem simples utilizando os plugins que ele oferece, tanto que agora no momento em que o sistema está fazendo o carregamento no banco, eu coloquei uma barra de porcentagem, o problema está em:

 

Esta barra de porcentagem possui uma valor falso, ou seja, ela não mostra a porcentagem real de carregamento, estipulei um tempo de demora, e ela roda a porcentagem nesse tempo (2 minutos no caso).

 

Eu to batendo a cabeça pra calcular antes de iniciar os INSERTS o tempo que vai demorar pra todos eles serem feitos.

 

E na questão de 'exibir como quando extrai do winrar' estou fazendo um requisição ajax a cada do 4 segundos com uma query buscando os novos dados enquanto os outros dados ainda estão estão sendo inseridos, e dando um append("<li> dados </li>") na lista com as respostas, essa parte até da pra quebrar um galho assim, o que eu realmente queria (mais por questão de orgulho mesmo kkk) era conseguir esse valor estipulado verdadeiro de tempo de carregamento.

Compartilhar este post


Link para o post
Compartilhar em outros sites

já fiz isso em vb calculando o que já foi pro banco e o que ainda falta pra ir. no momento de mandar a parada tu já tem a quantidade total de registro não tem? não sei de que forma estais a enviar os dados mas acho que um total versus o que já foi enviado é o que precisa. como o php não exibe a coisa em tempo real um ajaxsinho básico é o que há. só que claro que não vai ser segundo a segundo senão sobrecarrega a parada mas de 15 em 15 segundos acho que dá de boa. tu guarda o total numa var e vai fazendo uma consultinha básica pra ver o que já tem lá e faz os calculos conforme sugerência do @gabrieldarezzo

Compartilhar este post


Link para o post
Compartilhar em outros sites
1 hora atrás, AnthraxisBR disse:

Então, as partes da consulta, não são consultas, elas são inserções no banco de dados, elas realmente são demoradas, não tem como melhorar por ora.

Você esta usando qual instrução para a inserção?

Sigle Commit?

 

Da uma olhada num exemplo de 20k  de insert de 1x por chamadas em ajax:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/20k

 

Exemplo de um Commit menos performático:

INSERT INTO emails (email) VALUES ('email@teste.com.br');
INSERT INTO emails (email) VALUES ('email2@teste.com.br');

Exemplo de um Single Commit:

INSERT INTO emails (email) VALUES ('email@teste.com.br'), ('email2@teste.com.br');

Ainda acho q da pra melhorar a performance, ao invés de chutar o tempo, você ir exibindo a qnt de registros restantes comparados ao total.

 

Utilizando uma FLAG de processado/concluído na tabela.

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites
1 minuto atrás, marsolim disse:

já fiz isso em vb calculando o que já foi pro banco e o que ainda falta pra ir. no momento de mandar a parada tu já tem a quantidade total de arquivos não tem? não sei de que forma estais a enviar os dados mas acho que um total versus o que já foi enviado é o que precisa. como o php não exibe a coisa em tempo real um ajaxsinho básico é o que há. só que claro que não vai ser segundo a segundo senão sobrecarrega a parada mas de 15 em 15 segundos acho que dá de boa. tu guarda o total numa var e vai fazendo uma consultinha básica pra ver o que já tem lá e faz os calculos conforme sugerência do @gabrieldarezzo

Opa @marsolim

 

Eu não tinha entendido o que @gabrieldarezzo havia dito, agora consegui entender.

 

Seria:

 

Contar os campos que serão inseridos, e a cada X segundos, contar quantos realmente foram, e exibir a diferença com a famigerada regrinha de 3 ?

 

Vai dar um pouco de trabalho, mas acho que vai dar boa kk

Compartilhar este post


Link para o post
Compartilhar em outros sites
15 minutos atrás, gabrieldarezzo disse:

Você esta usando qual instrução para a inserção?

Sigle Commit?

 

Da uma olhada num exemplo de 20k  de insert de 1x por chamadas em ajax:

https://github.com/gabrieldarezzo/desafiosInternos/tree/master/20k

 

Exemplo de um Commit menos performático:


INSERT INTO emails (email) VALUES ('email@teste.com.br');
INSERT INTO emails (email) VALUES ('email2@teste.com.br');

Exemplo de um Single Commit:


INSERT INTO emails (email) VALUES ('email@teste.com.br'), ('email2@teste.com.br');

Ainda acho q da pra melhorar a performasse, ao invés de chutar o tempo, você ir exibindo a qnt de registros restantes comparados ao total.

 

Utilizando uma FLAG de processado/concluído na tabela.

 

 

 

Acho que por curiosidade e pra servir pra outras pessoas:

 

Eu uso o comando INSERT básico

 

Citar

INSERT INTO tabela VALUES ('tal','tal',tal');

 

Esses INSERTS são condicionais de acordo com outras consultas, por exemplo:

 

Eu seleciono do banco todas as empresas, depois com o código das empresas, eu adiciono uma linha pra cada empresa, relacionando o mes/ano de exercício, na tabela controle_fiscal_obrigacoes, esse é uma das dezenas de partes da rotina fiscal.

 

Obs.: A seleção das empresas é a base pra quase todas as outras inserções, são muitas empresas e várias tabelas que deverão gerar uma linha por empresa por mês em cada rotina.

 

Na resposta no meu INSERT, que vai estar rodando dentro do loop das empresas, eu abro uma chave nas respostas, e crio um índice de resposta pra cada uma das linhas cadastradas, e se houve erro ( quase nunca da erro, só quando o usuário fecha o firefox achando que ta demorando mt kkk), armazeno em uma temp_table as respostas das linhas com erros e também armazeno em outra temp_table as respostas com sucesso, e verifico de novo, se o sistema consegue inserir as linhas com erro, se o erro prossegue, tudo que foi feito é desfeito ( por isso armazeno as linhas com sucesso também), e o usuário é bloqueado pra tentar efetuar novamente a rotina.

 

Por causa desse monte de coisas que é feito com muitos campos que o sistema demora até mais de 5 minutos as vezes pra efetuar essa rotina.

 

Mas vou tentar usar a classe PDO como no seu exemplo nessas inserções, estou usando PDO apenas pra consultas, acho que assim talvez melhore o desempenho e não precise mais desse calculo de porcentagem.

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por luiz monteiro
      Olá, tudo bem?
       
      Estou melhorando meu conhecimento em php e mysql e, me deparei com o seguinte. A tabela da base de dados tem um campo do tipo varchar(8) o qual armazena números. Eu não posso alterar o tipo desse campo. O que preciso é fazer um select para retornar o números que contenham zeros a direita ou a esquerda.
      O que tentei até agora
       
      Ex1
      $busca = $conexao->prepare("select campo form tabela where (campo = :campo) ");
      $busca->bindParam('campo', $_REQUEST['campo_form']);
       
      Se a direita da string $_REQUEST['campo_form'] termina ou inicia com zero ou zeros, a busca retorna vazio.
      Inseri dados numéricos, da seguinte maneira para testar: 01234567;  12345670: 12345678: 12340000... entre outros nessa coluna. Todos os valores que não terminam ou não iniciam com zero ou zeros, o select funciona.
       
       
      Ex2
      $busca = $conexao->prepare("select campo form tabela where (campo = 0340000) ");
      Esse número está cadastrado, mas não retorna.
       
      Ex3
      $busca = $conexao->prepare("select campo form tabela where (campo = '02340001' ) ");
      Esse número está cadastrado, mas não retorna.
       
       
      Ex4
      $busca = $conexao->prepare("select campo form tabela where (campo like 2340000) ");
      Esse número está cadastrado, mas não retorna.
       
      Ex5
      $busca = $conexao->prepare("select campo form tabela where (campo like '12340000') ");
      Esse número está cadastrado, mas não retorna.
       
      Ex6
      $busca = $conexao->prepare("select campo form tabela where (campo like '"12340000"' ) ");
      Esse número está cadastrado, mas não retorna.
       
       
      Ex7
      $busca = $conexao->prepare("select campo form tabela where (campo like :campo) ");
      $busca->bindParam('campo', $_REQUEST['campo_form'])
      Não retorna dados.
       
      O  $_REQUEST['campo_form'] é envio via AJAX de um formulário. 
      Usei o gettype para verificar o post, e ele retorna string.
      Fiz uma busca com número 12345678 para verificar o que o select retorna, e também retrona como string.
       
      Esse tipo de varchar foi usado porque os números que serão gravados nesse campo,  terão zeros a direita ou na esquerda. Os tipos number do mysql não gravam zeros, então estou usando esse. O problema é a busca.
      Agradeço desde já.
       
       
    • Por daemon
      Boa tarde,
       
      Eu tenho uma rotina que faz uma leitura do arquivo .xml de vários sites.

      Eu consigo pegar o tópico e a descrição, e mostrar a imagem que esta na pagina do link.
      Para isso utilizo esta função:
      function getPreviewImage($url) { // Obter o conteúdo da página $html = file_get_contents($url); // Criar um novo objeto DOMDocument $doc = new DOMDocument(); @$doc->loadHTML($html); // Procurar pela tag meta og:image $tags = $doc->getElementsByTagName('meta'); foreach ($tags as $tag) { if ($tag->getAttribute('property') == 'og:image') { return $tag->getAttribute('content'); } } // Se não encontrar og:image, procurar pela primeira imagem na página $tags = $doc->getElementsByTagName('img'); if ($tags->length > 0) { return $tags->item(0)->getAttribute('src'); } // Se não encontrar nenhuma imagem, retornar null return null; } // Uso: $url = "https://example.com/article"; $imageUrl = getPreviewImage($url); if ($imageUrl) { echo "<img src='$imageUrl' alt='Preview'>"; } else { echo "Nenhuma imagem encontrada"; }  
      Mas estou com um problema, esta funcão funciona quando coloco em uma pagina de teste.php. Preciso mostrar em uma página inicial diversas fotos de todos os links. (No caso acima só funciona 1).
    • Por violin101
      Caros amigos, saudações.
       
      Por favor, me permita tirar uma dúvida com os amigos.

      Tenho um Formulário onde o Usuário digita todos os Dados necessários.

      Minha dúvida:
      --> como faço após o usuário digitar os dados e salvar, o Sistema chamar uma Modal ou mensagem perguntando se deseja imprimir agora ?

      Grato,
       
      Cesar
    • Por Carcleo
      Tenho uma abela de usuarios e uma tabela de administradores e clientes.
      Gostaria de uma ajuda para implementar um cadastro
       
      users -> name, login, passord (pronta) admins -> user_id, registratiom, etc.. client -> user_id, registratiom, etc...
      Queria ajuda para extender de user as classes Admin e Client
      Olhem como estáAdmin
      <?php namespace App\Models; use Illuminate\Database\Eloquent\Factories\HasFactory; use Illuminate\Database\Eloquent\Model; class Admin extends User {     use HasFactory;            protected $fillable = [         'name',         'email',         'password',         'registration'     ];      private string $registration;     public function create(         string $name,          string $email,          string $password,         string $registration     )     {         //parent::create(['name'=>$name, 'email'=>$email, 'password'=>$password]);         parent::$name = $name;         parent::$email = $email;         parent::$password = $password;         $this->registration = $registration;     } } User
      <?php namespace App\Models; // use Illuminate\Contracts\Auth\MustVerifyEmail; use Illuminate\Database\Eloquent\Factories\HasFactory; use Illuminate\Foundation\Auth\User as Authenticatable; use Illuminate\Notifications\Notifiable; use Illuminate\Database\Eloquent\Relations\BelongsToMany; class User extends Authenticatable {     /** @use HasFactory<\Database\Factories\UserFactory> */     use HasFactory, Notifiable;     static string $name;     static string $email;     static string $password;     /**      * The attributes that are mass assignable.      *      * @var list<string>      */     protected $fillable = [         'name',         'email',         'password',     ];          /**      * The attributes that should be hidden for serialization.      *      * @var list<string>      */     protected $hidden = [         'remember_token',     ];     /**      * Get the attributes that should be cast.      *      * @return array<string, string>      */     protected function casts(): array     {         return [             'email_verified_at' => 'datetime',             'password' => 'hashed',         ];     }          public function roles() : BelongsToMany {         return $this->belongsToMany(Role::class);     }       public function hasHole(Array $roleName): bool     {                 foreach ($this->roles as $role) {             if ($role->name === $roleName) {                 return true;             }         }         return false;     }         public function hasHoles(Array $rolesName): bool     {                 foreach ($this->roles as $role) {             foreach ($rolesName as $rolee) {             if ($role->name === $rolee) {                 return true;             }          }         }         return false;     }         public function hasAbility(string $ability): bool     {         foreach ($this->roles as $role) {             if ($role->abilities->contains('name', $ability)) {                 return true;             }         }         return false;     }     } Como gravar um Admin na tabela admins sendo que ele é um User por extensão?
      Tentei assim mas é claro que está errado...
      public function store(Request $request, Admin $adminModel) {         $dados = $request->validate([             "name" => "required",             "email" => "required|email",             "password" => "required",             "registration" => "required"         ]);         $dados["password"] =  Hash::make($dados["password"]);                  $admin = Admin::where("registration",  $dados["registration"])->first();                  if ($admin)              return                    redirect()->route("admin.new")                             ->withErrors([                                 'fail' => 'Administrador já cadastrados<br>, favor verificar!'                   ]);                            $newAdmin = $adminModel->create(                                    $dados['name'],                                    $dados['email'],                                    $dados['password'],                                    $dados['registration']                                 );         dd($newAdmin);         $adminModel->save();         //$adminModel::create($admin);                  return redirect()->route("admin.new")->with("success",'Cadastrado com sucesso');     }  
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.