Ir para conteúdo

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

  • 0
diego.baiao

Otimização Banco de Dados x Aplicação

Pergunta

Olá boa tarde!

 

Queria tirar uma duvida de como posso melhorar o desempenho no cenário citado abaixo: 1 - Aplicação desenvolvido com PHP (Zend Framework 1) * sei que esta obsoleto mais... o código é extenso demais para mudança agora! 2 - Banco de dados Postgres 9.6.0 (um banco unico onde tudo está nele, relatorios, envios, etc... todo serviço nele)

 

O sistema: 1.1 - Plataforma de envios de mensagens via web e via api, com diversos tratamentos pesados incluindo "strings". (citei string que sabemos que compração de string é pesada) e tem clientes que enviam 50.000 em requisições exemplo de 5000 cada requisição... tem envios que chegam a 140.000 e nossa aplicação pega e trata tudo que tiver disponível em cada tarefa no CRON que passa de minuto em minuto.

 

2.2 - Banco de dados "Postgres" com diversas tabelas interligadas (80 tabelas) mais ou menos, usamos indexadores em algumas tabelas com campos de "inteiros" e "datas". (melhorou bem) mais mesmo assim está ruim o banco arreia constantemente com picos de 100% no hardware. A questão não é aumetnar o hardware por que o mesmo é bem pontente e com sobras para atender nossas necessidades.

 

Nosso banco de dados tem em media 5.5 GB de dados e em média chega a aumentar por dia 100MB com picos de vez em quando de 300MB .

Quando temos envios muito grandes isso consume muito banco, nosso sistema funciona de modo que temos tarefas rodando em segundo plano que são chamadas em periodos programados sendo que as mais importantes rodam de minuto a minuto, isto é, a cada 1 minuto.

 

O hardware é potente 8 nucleos de processamento e 16GB de ram da Azure.

 

Passamos por muitas vezes com altos disparos dessas mensagens e a gama de tratamento nas mensagens e endereços fazem o banco chegar a picos de 100% fazendo as vezes o nosso sistema ficar fora do ar por alguns segundos.

 

Estávamos pensando em usar MONGO_DB / NO SQL para montar um segundo banco de dados e separar os serviços em microserviços para aliviar as rotinas da aplicação e estressar menos o banco de dados.Também balanceamento de carga mais seria em segundo momento...

 

Alguém teria uma dica de correção na implementação para conseguir uma melhora no serviço para suavizar esses processos de pesados, tipo dividir o banco em servidores diferentes, usar mciroserviços, algum tipo de banco especifico que alguem tenha experiência e esteja rodando atualmente, alguma técnica funcional para esse caso ?

Compartilhar este post


Link para o post
Compartilhar em outros sites

1 resposta a esta questão

Recommended Posts

Amigo.Li sua demanda e realmente você precisa um sistema distribuído.Eu sei que o CRON é um serviço de indexação de dados livre desenvolvido em Pearl.Sim você precisa de um banco Nosql.

No meu caso,preferiria dividir os dados em 5 partes de 1,1 GB cada, em 5 banco de dados diferentes,usando 5 maquinas de 4 GB de RAM.Sobre estes tipo de demanda eu fiz um vídeo:

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por violin101
      Caros amigos, saudações.
       
      Humildemente peço desculpa por postar uma dúvida que tenho.

      Preciso salvar no MySql, os seguinte Registro:

      1 - Principal
      ====> minha dúvida começa aqui
      ==========> como faço para o Sistema Contar Automaticamente o que estiver despois do 1.____?
      1.01 - Matriz
      1.01.0001 - Estoque
      1.01.0002 - Oficina
      etc

      2 - Secundário
      2.01 - Loja_1
      2.01.0001 - Caixa
      2.01.0002 - Recepção
      etc
       
      Resumindo seria como se fosse um Cadastro de PLANO de CONTAS CONTÁBEIL.

      Grato,


      Cesar









       
    • Por violin101
      Caros amigos, saudações.

      Por favor, me perdoa em recorrer a orientação dos amigos.

      Preciso fazer um Relatório onde o usuário pode Gerar uma Lista com prazo para vencimento de: 15 / 20/ 30 dias da data atual.

      Tem como montar uma SQL para o sistema fazer uma busca no MySql por período ou dias próximo ao vencimento ?

      Tentei fazer assim, mas o SQL me traz tudo:
      $query = "SELECT faturamento.*, DATE_ADD(faturamento.dataVencimento, INTERVAL 30 DAY), fornecedor.* FROM faturamento INNER JOIN fornecedor ON fornecedor.idfornecedor = faturamento.id_fornecedor WHERE faturamento.statusFatur = 1 ORDER BY faturamento.idFaturamento $ordenar ";  
      Grato,
       
      Cesar
       
       
       
       
    • Por violin101
      Caros amigos, saudações
       
      Por favor, me perdoa em recorrer a orientação dos amigos, tenho uma dúvida.
       
      Gostaria de uma rotina onde o Sistema possa acusar para o usuário antes dos 30 dias, grifar na Tabela o aviso de vencimento próximo, por exemplo:
       
      Data Atual: 15/11/2024
                                           Vencimento
      Fornecedor.....................Data.....................Valor
      Fornecedor_1...........01/12/2024..........R$ 120,00 <== grifar a linha de Laranja
      Fornecedor_1...........01/01/2025..........R$ 130,00
      Fornecedor_2...........15/12/2024..........R$ 200,00 <== grifar a linha de Amarelo
      Fornecedor_2...........15/01/2025..........R$ 230,00
      Fornecedor_3...........20/12/2024..........R$ 150,00
       
      Alguém tem alguma dica ou leitura sobre este assunto ?

      Grato,
       
      Cesar
    • Por violin101
      Caros amigos, saudações.

      Por favor, me perdoa em recorrer a ajuda dos amigos, mas preciso entender uma processo que não estou conseguindo sucesso.

      Como mencionado no Título estou escrevendo um Sistema Web para Gerenciamento de Empresa.
       
      Minha dúvida, que preciso muito entender:
      - preciso agora escrever a Rotina para Emissão de NFe e essa parte não estou conseguindo.
       
      tenho assistido alguns vídeos e leituras, mas não estou conseguindo sucesso, já fiz toda as importações das LIB da NFePhp conforme orientação.

      Preciso de ajuda.

      Algum dos amigos tem conhecimento de algum passo-a-passo explicando a criação dessa rotina ?

      tenho visto alguns vídeos com LARAVEL, mas quando tento utilizar e converter para PHP+Codeiginter, dá uma fila de erros que não entendo, mesmo informando as lib necessárias.

      Alguns do amigo tem algum vídeo, leitura explicando essa parte ?

      Grato,

      Cesar.
    • Por violin101
      Caros amigos, saudações.

      Por favor, me perdoa em recorrer ao auxílio dos amigos, mas preciso entender e resolver um problema.
       
      Tenho uma Rotina que o usuário seleciona os produtos que deseja para requerer ao setor responsável.
       
      O usuário escolhe um produto qualquer e Clicla em um button para incluir a lista.

      O problema que estou enfrentando é que após escolher o produto e teclar ENTER o Sistema já salva no BD.
       
      Gostaria de criar uma Tecla de Atalho, para quando incluir/escolher o produto na lista, o usuário tecla como exemplo:
      ALT+A  para agregar a lista
      ALT+S para salvar a lista de itens desejados.

      Assim, quando teclar enter, o sistema não dispara o GRAVAR na Base de Dados.

      Grato,

      Cesar
       
       
       
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.