Ir para conteúdo

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

  • 0
diego.baiao

Otimização Banco de Dados x Aplicação

Pergunta

Olá boa tarde!

 

Queria tirar uma duvida de como posso melhorar o desempenho no cenário citado abaixo: 1 - Aplicação desenvolvido com PHP (Zend Framework 1) * sei que esta obsoleto mais... o código é extenso demais para mudança agora! 2 - Banco de dados Postgres 9.6.0 (um banco unico onde tudo está nele, relatorios, envios, etc... todo serviço nele)

 

O sistema: 1.1 - Plataforma de envios de mensagens via web e via api, com diversos tratamentos pesados incluindo "strings". (citei string que sabemos que compração de string é pesada) e tem clientes que enviam 50.000 em requisições exemplo de 5000 cada requisição... tem envios que chegam a 140.000 e nossa aplicação pega e trata tudo que tiver disponível em cada tarefa no CRON que passa de minuto em minuto.

 

2.2 - Banco de dados "Postgres" com diversas tabelas interligadas (80 tabelas) mais ou menos, usamos indexadores em algumas tabelas com campos de "inteiros" e "datas". (melhorou bem) mais mesmo assim está ruim o banco arreia constantemente com picos de 100% no hardware. A questão não é aumetnar o hardware por que o mesmo é bem pontente e com sobras para atender nossas necessidades.

 

Nosso banco de dados tem em media 5.5 GB de dados e em média chega a aumentar por dia 100MB com picos de vez em quando de 300MB .

Quando temos envios muito grandes isso consume muito banco, nosso sistema funciona de modo que temos tarefas rodando em segundo plano que são chamadas em periodos programados sendo que as mais importantes rodam de minuto a minuto, isto é, a cada 1 minuto.

 

O hardware é potente 8 nucleos de processamento e 16GB de ram da Azure.

 

Passamos por muitas vezes com altos disparos dessas mensagens e a gama de tratamento nas mensagens e endereços fazem o banco chegar a picos de 100% fazendo as vezes o nosso sistema ficar fora do ar por alguns segundos.

 

Estávamos pensando em usar MONGO_DB / NO SQL para montar um segundo banco de dados e separar os serviços em microserviços para aliviar as rotinas da aplicação e estressar menos o banco de dados.Também balanceamento de carga mais seria em segundo momento...

 

Alguém teria uma dica de correção na implementação para conseguir uma melhora no serviço para suavizar esses processos de pesados, tipo dividir o banco em servidores diferentes, usar mciroserviços, algum tipo de banco especifico que alguem tenha experiência e esteja rodando atualmente, alguma técnica funcional para esse caso ?

Compartilhar este post


Link para o post
Compartilhar em outros sites

1 resposta a esta questão

Recommended Posts

Amigo.Li sua demanda e realmente você precisa um sistema distribuído.Eu sei que o CRON é um serviço de indexação de dados livre desenvolvido em Pearl.Sim você precisa de um banco Nosql.

No meu caso,preferiria dividir os dados em 5 partes de 1,1 GB cada, em 5 banco de dados diferentes,usando 5 maquinas de 4 GB de RAM.Sobre estes tipo de demanda eu fiz um vídeo:

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por ILR master
      Fala galera.
      Espero que todos estejam bem.
      Seguinte: Tenho um arquivo xml onde alguns campos estão com : (dois pontos), como o exemplo abaixo:
       
      <item>
      <title>
      d sa dsad sad sadasdas
      </title>
      <link>
      dsadas dsa sad asd as dsada
      </link>
      <pubDate>sadasdasdsa as</pubDate>
      <dc:creator>
      d sad sad sa ad as das
      </dc:creator>
      </item>
       
      Meu código:
       
      $link = "noticias.xml"; 
      $xml = simplexml_load_file($link); 
      foreach($xml -> channel as $ite) {     
           $titulo = $ite -> item->title;
           $urltitulo = $ite -> item->link;
           print $urltitulo = $ite -> item->dc:creator;
      } //fim do foreach
      ?>
       
      Esse campo dc:creator eu não consigo ler. Como faço?
       
      Agradeço quem puder me ajudar.
       
      Abs
       
       
    • Por First
      Olá a todos!
       
      Eu estou criando um sistema do zero mas estou encontnrando algumas dificuldades e não estou sabendo resolver, então vim recorrer ajuda de vocês.
      Aqui está todo o meu código: https://github.com/PauloJagata/aprendizado/
       
      Eu fiz um sistema de rotas mas só mostra o conteúdo da '/' não sei porque, quando eu tento acessar o register nada muda.
      E eu também quero que se não estiver liberado na rota mostra o erro de 404, mas quando eu tento acessar um link inválido, nada acontece.
      Alguém pode me ajudar com isso? E se tiver algumas sugestão para melhoria do código também estou aceitando.
       
       
      Desde já, obrigado.
    • Por landerbadi
      Olá pessoal, boa tarde
       
      Tenho uma tabela chamada "produtos" com os seguintes campos (id, produto) e outra tabela chamada "itens" com os seguintes campos (id, prod_01, prod_02, prod_03, prod_04).
       
      Na tabela produtos eu tenho cadastrado os seguintes produtos: laranja, maçã, uva, goiaba, arroz, feijão, macarrão, etc.
       
      Na tabela itens eu tenho cadastrado os itens da seguinte maneira:
       
      1, laranja, uva, arroz, feijão;
      2, maçã, macarrão, goiaba, uva;
      3, arroz, feijão, maçã, azeite
       
      Meu problema é o seguinte: 
      Eu escolho um produto da tabela "produtos", por exemplo "uva".  Preciso fazer uma consulta na tabela "itens" para ser listado todos os registros que contenham o produto "uva" e que todos os demais produtos estejam cadastrados na tabela "produtos".
       
      No exemplo acima seria listado apenas dois registros, pois o terceiro registro não contém o produto "uva". 
       
      Alguém pode me ajudar? Pois estou quebrando a cabeça a vários dias e não consigo achar uma solução.
    • Por landerbadi
      Boa tarde pessoal. Estou tentado fazer uma consulta no banco de dados porém estou tendo dificuldades. Tenho uma tabela chamada "itens" com os seguintes campos: id, item, plural, ativo. Nela tem cadastrado vários itens e seu respectivo plural. No campo ativo eu coloco a letra "S" para informar que esta palavra está ativa no sistema. Por exemplo: 1, casa, casas, S 2, mesa, mesas, S 3, cama, camas, S 4, moto, motos, S 5, rádio, rádios O quinto registro "radio" não está ativo no sistema pois não tem um "S" no campo ativo. E outra tabela chamada "variações" com os seguintes campos (id, item1, item2, item3) com os seguintes registros: 1, casa, camas, moto 2, mesas, casas, radio 3, rádio, cama, mesa Eu preciso fazer uma busca na tabela variações da seguinte maneira: Eu escolho um registro na tabela "itens", por exemplo "casa". Preciso fazer com que o php me liste todos os registros da tabela "variações" que contenham a palavra "casa". Porém se tiver algum registro com a palavra "casas" também tem que ser listado. Neste caso ele irá encontrar dois registros. Agora eu preciso que o php verifique os demais itens e faça a listagem apenas dos item que estão ativos (que contenham um "S" no campo ativo. Neste caso ele irá encontrar apenas um registro, pois o segundo registro contém a palavra "rádio". E "rádio" não está ativo na tabela itens. Como faço isso?
    • Por First
      Olá a todos!
       
      Quando eu tento fazer o login me mostra esse erro "Could not log you in."; Alguém sabe me ajudar a resolver esse problema no meu código?
      <?php require_once("core/init.php"); if (Input::exists()) { if (Token::check(Input::get("token"))) { $validate = new Validate(); $validation = $validate->check($_POST, array( "username" => array("required" => true), "password" => array("required" => true) )); if ($validation->passed()) { $user = new User(); $remember = (Input::get("remember")) === "on" ? true : false; $login = $user->login(Input::get("username"), Input::get("password"), $remember); if ($login) { Session::flash("home", "Welcome back!"); Redirect::to("index.php"); } else { echo "Could not log you in."; } } else { foreach ($validation->errors() as $error) { echo $error."<BR>"; } } } } ?> <form action="" method="POST"> <div class="field"> <label for="username">Username</label> <input type="text" name="username" id="username"> </div> <div class="field"> <label for="password">Password</label> <input type="password" name="password" id="password"> </div> <div class="field"> <label for="remember"> <input type="checkbox" name="remember" id="remember"> Remember me </label> </div> <input type="hidden" name="token" value="<?php echo Token::generate(); ?>"> <input type="submit" value="Log in"> </form>  
       
      Desde já obrigado.
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.