Jump to content
bradry

Como continuar uma extração de onde parei ?

Recommended Posts

Eae galera tranquilo ?

 

Sou novo no SQL. E estou usando bastante banco agora na empresa e tenho a seguinte dúvida..

 

Tenho uma base de 1 milhão de registros formados de CPF, NOME e TELEFONE.

 

Tenho que extrai 10 mil registros por dia. Como faço para continuar de onde parei ? por exemplo, extrai  20 mil reg. é depois como faço pra pegar da linha 20 mil até o 30 mil ?

Share this post


Link to post
Share on other sites

Como se dá esta extração ?

De onde para onde ?

Esta tabela origem tem alguma chave ?

Qual a razão dos "10 mil registros por dia" , não é viável importar tudo ?

 

Share this post


Link to post
Share on other sites

Olá Motta.

 

Esta tabela origem tem alguma chave ?

 

Não. Foi feita de maneira muito simples a principio para somente consulta, não tem nada de muito complexo ainda, mas pretendo melhora lá.

 

Qual a razão dos "10 mil registros por dia" , não é viável importar tudo ?

 

Eu posso importar tudo sim mas queria aprender mais para fins de aprendizado pois tbm tenho arquivos de vão muito além de 1milhão.

 

Suas outras duas perguntas não entendei desculpe

Share this post


Link to post
Share on other sites

Bom uma solução possível seria :
 

select cpf,nome,telefone
from <tabela_origem>
where not exists (select null
                  from   <tabela_destino>
                  where <tabela_destino>.cpf = <tabela_origem>.cpf)
limit 10000

mas dependendo do ambiente , índices etc , esta pode ser inviável.

 

com mais detalhes seria possível pensar uma solução melhor.

 

Share this post


Link to post
Share on other sites

Obrigado pelo retorno !

 

Vou tentar melhorar a estrutura dessa tabela para melhorar a consulta.

 

Tem alguma dica do que posso utilizar nessa nova criação para melhorar ?

 

 

Share this post


Link to post
Share on other sites

índices , estatísticas atualizadas etc

 

 

Share this post


Link to post
Share on other sites

Olá Motta,

 

Depois de alguns dias estudando consegui melhorar a estrutura do meu banco deixei da seguinte forma.

image.png.5acbf9bab54dda2a6cb0fe555f2a7e15.png

 

ID esta com AI, ZF, P Key.

 

Só que tem um porém, eu preciso pegar somente os números que iniciam com 21, pra isso eu utilizo a query abaixo

 

select Tel_1
from base_pre
where  substr(TEL_1,1,2) = '21';

 

Até aqui consigo me virar. Agora eu queria controlar essa saída de dados de melhor forma utilizando a coluna Data_exp

 

Teria alguma forma de eu colocar a data nos casos que peguei delimitado ao inicio 21 e inserir na coluna Data_exp  ?

 

 

 

 

Share this post


Link to post
Share on other sites
Citar

 

Até aqui consigo me virar. Agora eu queria controlar essa saída de dados de melhor forma utilizando a coluna Data_exp

 

Teria alguma forma de eu colocar a data nos casos que peguei delimitado ao inicio 21 e inserir na coluna Data_exp  ?

 

 

Desculpe , não entendi o problema.

Share this post


Link to post
Share on other sites

Queria inserir a data nos dados que já extrai

 

Por exemplo, para pegar o inicio 21 faço a substr.

 

select Tel_1
from base_pre
where  substr(TEL_1,1,2) = '21';

 

Depois que retorna o resultado, quero utilizar somente 100 linhas. Minha dúvida e a seguinte , como posso colocar a data nas 100  primeiras linhas ? 

 

Se eu não tivesse o critério do inicio 21 usaria isso

 

UPDATE teste
SET data_exp = "2019-06-18"
WHERE  ID BETWEEN 1 and 100;

 

Tem alguma ideia de como poderia fazer isso ?

 

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Similar Content

    • By gersonab
      Boa tarde a todos, tenho um sistema de upload de arquivos que funciona perfeitamente, agora eu gostaria que estes arquivos fossem armazenados em nuvem, não no servidor, poderiam indicar um tutorial ou como proceder.
    • By k9studio
      Olá Pessoal,
       
      Tenho um campo em uma tabela que grava os dados neste formato a baixo:
      {""user_id":"1","user_token":"5181e24c8a7e60304156e08595f48ad6"}
       
      como faço para chamar esses dados no php separados...
       
      fico grato se alguém puder ajudar..
    • By Hamilcar
      Bom dia!
      Peguei um sistema para atualizar para funcionar, o problema é que foi criado uma ligação de tabelas meio louca aqui, vou tentar explicar, tem uma tabela usuários que tem um id, e tem uma outra tabela em que a usuários é ligada e nela pode ter um ou mais usuários, o problema é que foi colocado os ids na mesma linha separados por um caracter, e os usuários se repetem, vou colocar abaixo para exemplificar:
      Tabela Usuarios/id 
                   id1, id2, id3...
       
      Tabela Escala
                  id_escala1_idUser -> id1|id2|id3...
                  id_escala2_idUser -> id1|id2|id3...
       
      Como vou gastar um tempo para refazer novamente o banco de dados, queria fazer funcionar momentaneamente, e gostaria da ajuda para tentar se possível fazer uma consulta que me traga todos os usuarios listados na tabela escala
    • By adrianno
      Boa noite, tenho a seguinte questão, tenho uma tabela com  campo  "valor"  que guarda um valor monetário e campo "data" com a data do lançamento e um campo "tipo" marcando se é entrada ou saida,  ao cadastrar um valor, coloco a data e qual tipo "entrada" ou "saida"    quero montar uma view que soma todos os valores por mês, separados por tipo, se é entrada ou saida.   A seguinte query me tras a soma, porém não agrupa pelo MES/ANO
      SELECT DATE_FORMAT(data, "%m/%Y") as MES, (select Sum(valor) from controle WHERE tipo = 'SAIDA' ) as VS, // soma tudo que for SAIDA (select Sum(valor) from controle WHERE tipo = 'ENTRADA' ) as VE // soma tudo que for ENTRADA FROM controle GROUP BY YEAR(data), MONTH(data) // agrupa por ANO/MES mas este grupo nao opera nas somas dos valores ORDER BY data DESC  Esta query  somas os valores  mas não filtra pelo mes/ano e tras a soma total de tudo ignorando o mes,  mostra o mesmo valor total de cada tipo em todos os meses:
      EXEMPLO DO RESULTADO
      MES                 VS(saida)     VE(entrada)
      06/2020         4600,00        9750,00
      05/2020         4600,00        9750,00
      04/2020         4600,00        9750,00
       
      Na prática cada mês deveria retornar as somas dos valores apenas dele. Como fazer com que  GROUP BY YEAR(data), MONTH(data)   tenha efeito correto em cada tipo?   
    • By Rebeca Julia Bronzatti
      Oiê gente, eu queria a ajuda de vocês numa coisa que acredito ser simples, mas como sou iniciante tô encontrando dificuldade, é eu tenho duas tabelas uma chamada imóvel e outra arquivoimagem, onde em imóvel eu tenho os dados de um imóvel e em arquivoimagem o nome das imagens e os id delas, eu tô com um problema tanto no SGC quanto no site final, por se tratar de uma imobiliária os imóveis terão mais de uma imagem associadas a ele o dilema é que na hora que eu trago esses dados ele fica me replicando, por exemplo eu tenho um imóvel com 5 imagens associadas a ele, ele réplica esses dados 5 vezes, mudando somente a imagem, só que isso é inútil pra mim. Eu tenho ciência que o código da forma que está faz exatamente o que falei, problema é que eu não sei como mudar isso para o real objetivo.  
      Eu queria que ele viesse somente uma imagem da base de dados associada aquele imóvel, se alguém puder me ajudar eu agradeço.
      $result_imoveis = "SELECT imovel.id, imovel.tipo, imovel.locacao, imovel.valorLocacao, imovel.numQuartos, imovel.numSuites, imovel.numBanheiros, imovel.status, imovel.numVagas, imovel.descricao, imovel.rua, imovel.num, imovel.bairro, arquivoimagem.arquivo FROM imovel INNER JOIN arquivoimagem ON imovel.id = arquivoimagem.imovel_id WHERE locacao = 'Sim' AND status = 'Disponível'"; $resultado_imoveis = mysqli_query($cnn, $result_imoveis); $total_imoveis = mysqli_num_rows($resultado_imoveis); //Seta a quantidade de cursos por pagina $quantidade_pagina = 8; //Calcular o número de página necessaria $num_paginas = ceil($total_imoveis / $quantidade_pagina); //Calcula o inicio da visuzalização $inicio = ($quantidade_pagina * $pagina) - $quantidade_pagina; //Selecionar os imoveis a serem apresentados na página $consultaPagina = "SELECT imovel.id, imovel.tipo, imovel.locacao, imovel.valorLocacao, imovel.numQuartos, imovel.numSuites, imovel.numBanheiros, imovel.status, imovel.numVagas, imovel.descricao, imovel.rua, imovel.num, imovel.bairro, arquivoimagem.arquivo FROM imovel INNER JOIN arquivoimagem ON imovel.id = arquivoimagem.imovel_id WHERE locacao = 'Sim' AND status = 'Disponível' LIMIT $inicio, $quantidade_pagina"; $conPagina = mysqli_query($cnn, $consultaPagina); $total_imoveis = mysqli_num_rows($conPagina); <?php while ($dado = $conPagina->fetch_array()) { $dado['id']; ?> <div class="col s12 m12 l6"> <div class="card"> <div class="card-image"> <img src="<?php echo 'http://localhost/SGC/arquivo/' . $dado ['arquivo']; ?>" class="img-responsive"> <span class="card-title"><?php echo $dado['tipo']; ?></span> </div> <div class="card-content"> <p><?php echo $dado['descricao']; ?></p> <br> <div class="detalhes center-align"> <div class="number "><img src="img/cama.png" style="margin-left: 10px; margin-right: 8px;"><?php echo $dado['numQuartos']; ?></div><br> <div class="number "><img src="img/garagem.png" style="margin-left: 10px; margin-right: 8px;"><?php echo $dado['numVagas']; ?></div><br> <div class="number "><img src="img/banheiro.png" style="margin-left: 10px; margin-right: 8px;"><?php echo $dado['numBanheiros']; ?></div> <div class="number "><img src="img/suite.png" style="margin-left: 10px; margin-right: 8px;"><?php echo $dado['numSuites']; ?></div> </div> </div> <div class="card-action"> <a href="<?php echo "imovel.php?id=" . $dado['id'] ?>"><button type="submit" name="action" class="btn waves-effect waves-ligth btn-small right"> Ver Mais</button></a> <a class="valor" href="#">R$ <?php echo number_format($dado["valorLocacao"], 2, ',', '.');?></a> </div> </div> </div> <?php } ?>  
×

Important Information

Ao usar o fórum, você concorda com nossos Terms of Use.