Jump to content
leo.silvagomes

Importar arquivo CSV para SQL

Recommended Posts

Boa noite!

Tenho um programa que importa determinado arquivo CSV para um banco SQL afim de depois comparar os dados entre versões diferentes do mesmo arquivo, por exemplo uma versão do arquivo é do dia 01/09 e outra do dia 15/09, a finalidade do arquivo é comparar o que mudou

Uso uma procedure para importar os dados do arquivo para um objeto JvMemoryData e outra para alimentar uma ADOProc que faz o insert no SQL com os dados desse JvMD

 

Ocorre que o arquivo tem um padrão de 38 colunas e algo prox de 1 milhão de linhas! Como o cliente não usa toda a informação na planilha fiz uma opção de importação rápida que faz o input somente das colunas utilizadas, mas mesmo assim o processo de leitura e importação do arquivo demora até 50 min

 

Como posso deixar isso mais rápido? 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Similar Content

    • By adrianno
      Boa noite, tenho a seguinte questão, tenho uma tabela com  campo  "valor"  que guarda um valor monetário e campo "data" com a data do lançamento e um campo "tipo" marcando se é entrada ou saida,  ao cadastrar um valor, coloco a data e qual tipo "entrada" ou "saida"    quero montar uma view que soma todos os valores por mês, separados por tipo, se é entrada ou saida.   A seguinte query me tras a soma, porém não agrupa pelo MES/ANO
      SELECT DATE_FORMAT(data, "%m/%Y") as MES, (select Sum(valor) from controle WHERE tipo = 'SAIDA' ) as VS, // soma tudo que for SAIDA (select Sum(valor) from controle WHERE tipo = 'ENTRADA' ) as VE // soma tudo que for ENTRADA FROM controle GROUP BY YEAR(data), MONTH(data) // agrupa por ANO/MES mas este grupo nao opera nas somas dos valores ORDER BY data DESC  Esta query  somas os valores  mas não filtra pelo mes/ano e tras a soma total de tudo ignorando o mes,  mostra o mesmo valor total de cada tipo em todos os meses:
      EXEMPLO DO RESULTADO
      MES                 VS(saida)     VE(entrada)
      06/2020         4600,00        9750,00
      05/2020         4600,00        9750,00
      04/2020         4600,00        9750,00
       
      Na prática cada mês deveria retornar as somas dos valores apenas dele. Como fazer com que  GROUP BY YEAR(data), MONTH(data)   tenha efeito correto em cada tipo?   
    • By junior3d
      Estudo há poucos dias PHP e gostaria de saber no trecho abaixo por que usa-se o bindValue para jogar o conteúdo da variável na sql do método prepare do PDO?
      segue o trecho:
      $sql = $pdo->prepare("INSERT INTO usuarios (nome, email, telefone, senha) VALUES (:n, :t, :e, :s)"); $sql->bindValue(":n",$nome); $sql->bindValue(":t",$telefone); $sql->bindValue(":e",$email); $sql->bindValue(":s",$senha); $sql->execute(); Por que não poderia assim?
      $sql = $pdo->prepare("INSERT INTO usuarios (nome, email, telefone, senha) VALUES ($nome, $telefone, $email $senha)"); $sql->execute();  
    • By sirrocha
      Pessoal, tenho duas tabelas. Uma se chama prestacoes e a outra despesas.
      Cada prestação criada gera um id_prestacao que é único para cada uma gerada. Dentro da tabela despesas, se eu registro, por exemplo, 4 despesas, ficarão:
       
      id_prestacao = 1, 1, 1, 1
      id_despesa = 1, 2, 3, 4
       
      -> Cada despesa tem um valor, ao qual está na tabela despesas com o nome precoDespesa.
       
      -> O que eu gostaria é de poder, na tabela prestacoes, somar o valor destas despesas e colocar na coluna "valor_total" para cada id_prestacao gerado.
       
      Qual seria a maneira mais adequada de fazer isto, e que eu poderia compreender a estrutura criada para fazer essa "filtragem"
       
      UPDATE prestacoes SET valor_total = (
          SELECT SUM(precoDespesa) FROM despesas
          ORDER BY id_prestacao
      )
       
      Na tabela despesas, tenho atualmente
      id_prestacao - id_despesa - Valor
      1 - 1 - 30
      1 - 2 - 40
      1 - 3 - 30
       
      Com essa tentativa, vamos supor que tenho a tabela prestações:
      id_prestacao - projeto - ValorTotal
      1 - Projeto A - 100 
      2 - Projeto B - 100
      3 - Projeto C - 100
       
      Ou seja, o valor total do somatório para o id_prestação está vindo como 100 (até ai tudo bem), porém não está filtrando na tabela prestações onde deve ser colocado. O 100, nesse caso, deveria ficar apenas na primeira linha, sendo os valores totais de B e C igual a 0.
    • By Rafael Castelhano
      Olá, tenho 4 tabelas com a seguinte estrutura:
      OCORRENCIAS
      Data Pasta TERCEIROS
      Pasta Acordo CUSTOS
      Pasta Valor COBRANCAS
      Pasta Valor Todas as tabelas relacioanadas pelo campo Pasta. Preciso montar uma consulta que mostre na mesma linha, para cada pasta a soma dos acordos (tabela TERCEIROS), a soma dos valores da tabela CUSTOS, e a soma dos valores da tabela COBRANCAS, o resultado seria algo como:
      --
      Data                   Pasta          Acordos              Custos       Cobrancas
      17/05/2020       55                 850                       320                 50
      --
      Meu select está desta forma
      SELECT OCORRENCIAS.Data, OCORRENCIAS.Pasta, SUM(TERCEIROS.Acordo) AS Acordos, SUM(CUSTOS.Valor) AS Custos, SUM(COBRANCAS.Valor) AS Cobrancas FROM ((OCORRENCIAS INNER JOIN TERCEIROS ON OCORRENCIAS.Pasta = TERCEIROS.Pasta) LEFT JOIN CUSTOS ON OCORRENCIAS.Pasta = CUSTOS.Pasta) LEFT JOIN COBRANCAS ON OCORRENCIAS.Pasta = COBRANCAS.Pasta GROUP BY OCORRENCIAS.Data, OCORRENCIAS.Pasta; O Problema é que ele multiplica o valor dos acordos pra cada ocorrência na tabela cobranças (por exemplo).
       
      Alguma dica pra resolver o problema?
    • By Karlo Uchoa
      Boa tarde meus amigos,  Estou implementando uma integração entre um banco de dados local e outro na nuvem da Amazon. Estou com um problema sério aqui: ao fazer o Putclientes, por exemplo, ou seja, ao enviar ao servidor as alterações e inserções do Banco local, se, após um insert em lote na tabela da nuvem, o Result da função Put não conseguir retornar ao cliente rest que o chamou, por uma queda do link de internet, por exemplo, esses inserts já foram commitados na nuvem, mas os relacionamentos entre o código externo gerado e o código interno enviado, não pode ser concebida. Sendo assim, no próximo Put, os clientes sem a relação entre os códigos, serão inseridas novamente, gerando duplicidade de cadastros na nuvem. Meu problema é saber como commitar a transação na nuvem somente após o Result chegar ao cliente rest que fez a chamada. Alguém pode me ajudar com isso?
×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.